Tags
14 pages
Megatron
Femtotron开发日志 #2 训练框架中的TP并行模式，工厂模式、注册表模式和函数修饰器
Femtotron开发日志 #1 Loss函数曲线、训练过程的常识及Sanity Check
Femtotron开发日志 #0 预期目标和特性规划
LLM 学习日志 #4 预训练框架：Megatron-LM、DeepSpeed和FSDP
1
2