Section

32 pages

Posts

Femtotron开发日志 #1 Loss函数曲线、训练过程的常识及Sanity Check

Femtotron开发日志 #0 预期目标和特性规划

LLM 学习日志 #5 后训练框架：veRL、OpenRLHF、TRL和NeMo

LLM 学习日志 #4 预训练框架：Megatron-LM、DeepSpeed和FSDP

LLM 学习日志 #3 训练、预训练和后训练基础

Pico-vLLM 开发日志 #14 Prefix Caching

Pico-vLLM 开发日志 #13 PD分离（续）同步异步模式

Pico-vLLM 开发日志 #12 PD分离

Pico-vLLM 开发日志 #11 张量并行（续）数据对比分析

Pico-vLLM 开发日志 #10 张量并行 TensorParallel