Categories
29 pages
开发日志
Pico-vLLM开发日志 #15 序列内并行的Attention算子优化：Flash Decode方案
Femtotron开发日志 #12 Interleaved 1F1B
Femtotron开发日志 #11 监督微调 Supervised Fine-Tuning, SFT
Femtotron开发日志 #10 ZeRO-3、SAC和PP：一个简单的显存节省收益数据测试和分析
Femtotron开发日志 #9 流水线并行 Pipeline Parallelism
Femtotron开发日志 #8 选择性激活检查点 Selective Activation Checkpointing
Femtotron开发日志 #7 ZeRO-3模式：抽象设计、Bug排查和教训总结
Femtotron开发日志 #6 ZeRO-1和ZeRO-2模式：抽象设计、工程实现和占位符
Femtotron开发日志 #5 数据并行 Data Parallelism
Femtotron开发日志 #4 混合精度训练
1
2
3