最近在折腾 Sub2API 的账号池,做了个模型质量巡检工具,分享给有同样需求的佬友。一个分组里挂了好几个上游账号,接口都能正常返回,但有的账号碰到同一道题就是答不好。
我想做的是让 Sub2API 自己定时出题、记录结果,发现异常就先把那个账号移出调度,等复测过了再放回来。可以直接嵌进 Sub2API 巡检服务用 Docker Compose 单独部署,连上已有的 Sub2API,再加一个自定义菜单,就能在原来的面板里打开巡检页面。
沿用 Sub2API 登录,无需改网关源码。管理员可以配置巡检,普通用户也能选自己的 Key 测一轮。
自动剔除后,怎么恢复?举个例子,给一个分组设成每小时巡检一次,选一道逻辑题和一道 JSON 题。
如果某个账号明确答错了标准答案题,开启自动剔除后,巡检就会暂时停用这个账号的调度。冷却结束后,系统会单独复测原账号。
这时候账号还在暂停调度,全部复测题通过才会恢复接单。如果没通过,就继续冷却。
遇到超时、限额之类的请求问题,巡检可以按优先级换同组账号,结果也会单独记录。自动剔除默认关闭,可以先跑几轮看看结果,再决定要不要开。
能测哪些题?内置了糖果题、逻辑选择题、数值计算、JSON 指令遵循、指纹观察、鹈鹕骑自行车。
每个分组可以多选题目,还能改题干、标准答案和每题请求次数。有标准答案的题可以自动判。
像「鹈鹕骑自行车」这类题,可以直接在结果页看 SVG 作品,也能翻历史,把不同时间的回答放在一起看。单轮答错适合当排查线索,判断模型表现有多稳定,可以多看几轮。
项目基于 NoonWake.AI 的 AI Drool Router 二次开发。欢迎佬友试用,尤其想听听大家平时都用什么题来测模型,或者希望巡检遇到什么情况时自动暂停账号。
项目地址 https://github.com/daQzi/code1024-drool-router