爱意满满的作品展示区。 Advertisement V2EX › 分享创造 让你的 Jev 模型最高加速 9 倍,决策推理引擎 Flide 开源 hjdhduyeh · 3h 12m ago · 215 views Flide V 站的朋友们大家好,我们开发了一个面向本地部署的决策模型的推理引擎,相比于 vLLM 和 SGLang 等 LLM 框架,在决策任务上可最高加速 9.5 倍。
目前已经支持三十多款 Jev 模型,更多模型还在陆续接入中。代码已经开源,可直接 pip 下载 pip install flide 文档: /ai-market-guide/ 代码: https://github.com/OmniJev/flide 网站: /ai-market-guide/ 安装包: /ai-market-guide/ 欢迎大家关注、试用和并提建议!
No Comments Yet 推理引擎 决策模型 开源