学习日志

LLM学习日志 #8 NVSHMEM初探

开发日志

Pico-vLLM开发日志 #15 序列内并行的Attention算子优化：Flash Decode方案

开发日志

Femtotron开发日志 #12 Interleaved 1F1B

学习日志

LLM 学习日志 #7 RDMA（上）

学习日志

LLM 学习日志 #6 巨型内核：MegaKernel

开发日志

Femtotron开发日志 #11 监督微调 Supervised Fine-Tuning, SFT

开发日志

Femtotron开发日志 #10 ZeRO-3、SAC和PP：一个简单的显存节省收益数据测试和分析

开发日志

Femtotron开发日志 #9 流水线并行 Pipeline Parallelism

开发日志

Femtotron开发日志 #8 选择性激活检查点 Selective Activation Checkpointing

开发日志

Femtotron开发日志 #7 ZeRO-3模式：抽象设计、Bug排查和教训总结