V2EX › 开源软件 开源了一个 1600 行的大模型推理引擎,能跑真实模型,测试场景吞吐超过 vLLM mumu157 · 9h 14m ago · 263 views 想入门大模型推理,直接读 vLLM 太重。所以开源了 LiteMoE:约 1600 行 Python ,能跑真实的 Granite 模型,一个下午能读完主线。
适合想快速上手推理的同学: 交互演示,逐步看一次真实推理: /ai-market-guide/ lang=zh 教程,从 KV Cache 、MoE 讲到 DeepSeek 、Kimi 、Qwen 的新设计: https://github.com/ZhuLinsen/LiteMoE/blob/main/docs/tutorial.zh-CN.md 固定批次的测试场景下,吞吐是 vLLM 的 105 ~ 109%,脚本可复现。
算子用的是 vLLM 的,提升来自算子外的执行层。定位是学习和实验,上线还是用 vLLM 。
如果大家感兴趣,后面会继续做多卡、CPU 版本系列。项目: https://github.com/ZhuLinsen/LiteMoE 演示: /ai-market-guide/
lang=zh No Comments Yet 推理 大模型 LiteMoE