最近我们做了一个新项目 LLMPod ,定位是开源的私有化 LLM 推理服务平台,目前正在招募首批体验用户。做这个项目主要是因为自己部署大模型之后,会发现“把模型跑起来”其实只是第一步。
后面还有 GPU 节点管理、推理引擎、模型部署、API Gateway 、故障切换、API Key 、配额、调用日志以及多用户权限等一系列问题。 LLMPod 希望把这部分能力整合起来。
目前主要包括: 接入和管理自己的 GPU 节点; 可视化部署、管理模型; 支持 vLLM / SGLang 等推理引擎; 将模型发布为 OpenAI 兼容 API ; 统一管理外部模型 API ; API Key 、配额、用量及调用日志管理; 路由、权重和 Failover 。开源自托管版本可以免费使用。
目前项目还处在比较早期的阶段,所以这次主要想找一些 真正有 GPU 服务器或者有多模型 API 管理需求 的朋友参与测试。如果实际部署过程中遇到兼容性问题、Bug ,或者觉得产品设计有什么不合理的地方,都欢迎反馈。
官网: /ai-market-guide/ GitHub: https://github.com/llmpod/llmpod 另外说明一下,LLMPod 和之前的 AingDesk 不是同一个方向:AingDesk 更偏本地 AI 客户端, LLMPod 更偏模型部署、推理服务和 GPU 基础设施管理 。