Section
37 pages
Posts
Femtotron开发日志 #6 ZeRO-1和ZeRO-2模式：抽象设计、工程实现和占位符
Femtotron开发日志 #5 数据并行 Data Parallelism
Femtotron开发日志 #4 混合精度训练
Femtotron开发日志 #3 逸闻：记一次掉卡故障的排查和分析
Femtotron开发日志 #2 训练框架中的TP并行模式，工厂模式、注册表模式和函数修饰器
Femtotron开发日志 #1 Loss函数曲线、训练过程的常识及Sanity Check
Femtotron开发日志 #0 预期目标和特性规划
LLM 学习日志 #5 后训练框架：veRL、OpenRLHF、TRL和NeMo
LLM 学习日志 #4 预训练框架：Megatron-LM、DeepSpeed和FSDP
LLM 学习日志 #3 训练、预训练和后训练基础
1
2
3
4