Section

37 pages

Posts

LLM学习日志 #8 NVSHMEM初探

Pico-vLLM开发日志 #15 序列内并行的Attention算子优化：Flash Decode方案

Femtotron开发日志 #12 Interleaved 1F1B

LLM 学习日志 #7 RDMA（上）

LLM 学习日志 #6 巨型内核：MegaKernel

Femtotron开发日志 #11 监督微调 Supervised Fine-Tuning, SFT

Femtotron开发日志 #10 ZeRO-3、SAC和PP：一个简单的显存节省收益数据测试和分析

Femtotron开发日志 #9 流水线并行 Pipeline Parallelism

Femtotron开发日志 #8 选择性激活检查点 Selective Activation Checkpointing

Femtotron开发日志 #7 ZeRO-3模式：抽象设计、Bug排查和教训总结