Tags
16 pages
训练框架
Femtotron开发日志 #2 训练框架中的TP并行模式，工厂模式、注册表模式和函数修饰器
Femtotron开发日志 #1 Loss函数曲线、训练过程的常识及Sanity Check
Femtotron开发日志 #0 预期目标和特性规划
LLM 学习日志 #5 后训练框架：veRL、OpenRLHF、TRL和NeMo
LLM 学习日志 #4 预训练框架：Megatron-LM、DeepSpeed和FSDP
LLM 学习日志 #3 训练、预训练和后训练基础
1
2