VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

[开源软件] 开源了一个 1600 行的大模型推理引擎,能跑真实模型,测试场景吞吐超过 vLLM

想入门大模型推理,直接读 vLLM 太重。所以开源了 LiteMoE:约 1600 行 Python ,能跑真实的 Granite 模型,一个下午能读完主线。 适合想快速上手推理的同学: 交互演示,逐步看一次真实推理:

www.v2ex.com · 2026-11-02T14:20:40+00:00

V2EX › 开源软件 开源了一个 1600 行的大模型推理引擎,能跑真实模型,测试场景吞吐超过 vLLM mumu157 · 9h 14m ago · 263 views 想入门大模型推理,直接读 vLLM 太重。所以开源了 LiteMoE:约 1600 行 Python ,能跑真实的 Granite 模型,一个下午能读完主线。

适合想快速上手推理的同学: 交互演示,逐步看一次真实推理: /ai-market-guide/ lang=zh 教程,从 KV Cache 、MoE 讲到 DeepSeek 、Kimi 、Qwen 的新设计: https://github.com/ZhuLinsen/LiteMoE/blob/main/docs/tutorial.zh-CN.md 固定批次的测试场景下,吞吐是 vLLM 的 105 ~ 109%,脚本可复现。

算子用的是 vLLM 的,提升来自算子外的执行层。定位是学习和实验,上线还是用 vLLM 。

如果大家感兴趣,后面会继续做多卡、CPU 版本系列。项目: https://github.com/ZhuLinsen/LiteMoE 演示: /ai-market-guide/

lang=zh No Comments Yet 推理 大模型 LiteMoE

返回 AI 市场导读

来源:v2ex.com