Pico-vLLM 开发日志 #0 博客安装

HelloWorld!

今天的任务是先把博客搞好,然后把刚刚跑通能吐一个token的框架py代码推送。

测试一下


测试成功了,后面就在这里更新。目前的计划是先跑通自回归的引擎,然后做最基本的profiling,随后逐步优化。具体的实现可以参考vllm和sglang,另外预计也会有很多写py的过程中想到的可以优化的点,后面都会整理在这里。