V2EX › 问与答 开源大模型网关求推荐 cowcomic · 15 mins ago · 46 views 主要场景 私有化大模型产品，用的大模型也是私有化部署 对网关的基础功能需求： 模型的负载均衡 模型切换时能够平滑切换 管理模型的 APIKEY LLM ，embedding ，rerank 都支持 各种模型的各种来源的使用统计 加分项： 比较轻量，资源占用少 负载均衡的时候能够兼顾 KV cache 能够做提示词的审计或者黑名单 能够区分提示词的业务（比如通过关键词），针对业务进行统计 看到有不少做大模型网关的，我没具体用过 求助有用过的推荐推荐 大模型 网关 私有化 1 replies • 2026-10-23 14:32:05 +08:00 1 elron 5 mins ago axonhub 企业内部几千人用了 5 个月了 没啥问题
市场信息
[问与答] 开源大模型网关求推荐
主要场景 私有化大模型产品，用的大模型也是私有化部署 对网关的基础功能需求： 模型的负载均衡 模型切换时能够平滑切换 管理模型的 APIKEY LLM ，embedding ，rerank 都支持 各种模型的各种来源的使用统计 加分项： 比较轻量，资源占用少 负载均衡的时候能够兼顾 KV cache 能够做提示词的审计或者黑名单 能够区分提示词的业务（比如通过关键词），针对业务进行统计 看到有不…
来源：v2ex.com