VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

[Claude] 分享下轻量好用的模型网关 GT AI Gateway 新版本,增加了多上游负载均衡和自动故障切换

大家好,分享一个我自己维护的开源项目:GT AI Gateway 。它解决的问题很朴素——当你手里有一个或多个上游 API Key ,想分给团队里多个人用的时候,直接发 Key 既控制不了用量,也防不住泄漏。这个网关就是插在中间的那一层。 项目地址:

www.v2ex.com · 2026-09-13T07:31:08+00:00

大家好,分享一个我自己维护的开源项目:GT AI Gateway 。它解决的问题很朴素——当你手里有一个或多个上游 API Key ,想分给团队里多个人用的时候,直接发 Key 既控制不了用量,也防不住泄漏。

这个网关就是插在中间的那一层。项目地址: /ai-market-guide/ 多上游负载均衡与故障切换 一个模型可以同时挂多个上游渠道(比如官方 + 代理 + 备用)。

请求会自动分摊到各个渠道上,某个渠道挂了会自动切到还活着的那个,用的人基本无感。选渠道的方式可以自己定:让同一个用户固定走同一个渠道(上游那边的缓存命中率更高,更省钱),或者每次请求都随机分配。

失败后要不要自动切换,是个独立开关。限流与访问控制(本版新增) 举个常见的例子:上游 API 被单个用户占满了怎么办?

有人跑了批任务,或者不小心写出个死循环,把上游额度刷满,其他人就跟着一起干等。这个版本加了限流和访问控制,可以在网关这一层把问题挡掉: 按用户限速 :给每个人配一个每分钟请求上限。

避免出现单个用户把整个上游占满的情况。按模型、按渠道限速 :也可以给某个模型或某个上游渠道设总量上限,防止被集中打满。

被拦下时给出明确反馈 :网关会告诉客户端等多久再试,客户端据此退避就行,不用盲目猛冲。访问控制 :也可以按用户控制可以访问的模型。

什么是 GT AI Gateway ? (写给还没用过的朋友) 如果你是第一次看到这个项目,简单来说,GT AI Gateway 是一个轻量级、开箱即用的 AI API 网关。

它的核心作用是帮你聚合和管理各种大模型 API 。当你手头有多个大模型接口( OpenAI, Anthropic, Gemini 等)时,可以通过它实现: 🔍 请求分析与改写: 深入解析请求上下文,支持在网关层对请求体和提示词进行拦截、分析及智能改写。

🔄 协议转换与兼容: 统一 API 入口,支持主流大模型协议( OpenAI 、Anthropic 等)的自动适配与双向转换。 🔐 用户管理与鉴权: 支持把单个上游 API 分发给多用户使用,精准控制各自用量,有效防止上游 Key 泄漏。

📝 完整请求记录: 全量记录所有 AI 请求、响应日志以及耗时数据,方便进行排查、对账和二次分析。 ⚡ 极轻量与高性能: 低资源占用,无额外的独立数据库依赖。

Serverless 模式下使用 Cloudflare 原生的 D1 数据库,其他环境下默认使用轻量级内嵌的 SQLite 。 🚀 多运行模式:支持 Serverless 部署、Docker 部署、本地源码运行以及跨平台桌面端应用 (App) 运行。

如果你在寻找一个好用的工具来统一接管你的 AI 开发流,或者想在团队内更优雅地分发大模型接口,非常推荐试一试!项目地址: /ai-market-guide/ 欢迎大家来体验,有任何建议都可以回帖,或者提 Issue ; 如果觉得有用,求个 Star 支持一下~🙏

返回 AI 市场导读

来源:v2ex.com