Tags

13 pages

Megatron

Femtotron开发日志 #1 Loss函数曲线、训练过程的常识及Sanity Check

Femtotron开发日志 #0 预期目标和特性规划

LLM 学习日志 #4 预训练框架：Megatron-LM、DeepSpeed和FSDP