Categories
5 pages
学习日志
LLM 学习日志 #5 后训练框架：veRL、OpenRLHF、TRL和NeMo
LLM 学习日志 #4 预训练框架：Megatron-LM、DeepSpeed和FSDP
LLM 学习日志 #3 训练、预训练和后训练基础
LLM 学习日志 #2 集合通信拓扑、原语和实现
LLM 学习日志 #1 并行方案和通信模式