上周复盘一个AI智能体项目时,我最不敢相信的不是代码报错,而是代码完全不报错。市场资料里的Minecraft Agent已经把问题演示得很直白:15.7万方建筑编译一次通过,进游戏却发现洞顶漏了69列;澡堂观景台的CLI退出码是0,第一人称画面却有62.49%被实心石栏杆挡住;33.4万方夜景街区的静态文件全合法,导入原版客户端后仍掉下203盏灯笼。
说真的,如果验收只看“编译成功”,这类项目会在最晚、最贵的阶段暴露问题。
为什么绿灯仍会错
编译器只能证明代码或静态结构通过了既定规则,不能证明真实环境里的空间、视线和交互结果正确。资料中的15.7万方山地建筑没有碰撞错误,却出现69列未封顶的洞顶,瀑布也只是悬空水帘;33.4万方街区的离线.schem检查合法,进入原版客户端后却有203盏灯笼掉落。
对独立开发者来说,真正要验收的不是“工具调用有没有返回成功”,而是输入要求是否转化成了可观察、可复核的结果。
同一份资料还给了一个很难忽略的反转:澡堂观景台的命令行渲染退出码为0,eyesInSolid也是空数组,但人眼高度正前方仍被石栏杆挡住62.49%的画面,池水可见度为0.00%。更麻烦的是,参与建造的Agent进行Self-Critique时没有发现问题,独立视觉评审模型盲审后才指出应把实心墙改成透空栏杆。
我的判断是,生成者自检不能单独算验收,必须把“生成”和“评审”拆成两个角色,至少把结果交给人工或独立检查流程。
怎么写验收契约
最有效的改法,是先用Python把每次工具调用的输入、预期输出、实际输出和异常状态写成契约,再让Agent按契约回放。契约不需要一开始就覆盖所有复杂情况,可以先规定任务编号、输入摘要、预期结构、必须满足的检查项、允许的异常和人工确认项;工具返回后,再逐项记录通过、失败或待核实。
市场资料里,冰川裂隙天文台虽然编译零差异、静态路线380步可走通,独立视觉评审仍给出74/100并标记HOLD,这正说明“技术检查通过”与“正式验收通过”应当是两个状态。
我会把结果状态固定成几类,而不是让模型自由发挥。例如“PASS”代表契约检查和人工验收都通过,“FAIL”代表出现明确错误,“HOLD”代表结果可运行但仍需人工判断,“UNVERIFIED”代表缺少真实环境证据。
Python只负责设计和执行这些规则,不替你控制Minecraft,也不能凭空证明真实客户端中的画面、物理或玩家路线正确。需要在线试运行小段逻辑时,可用Python在线运行验证输入输出格式,但真实环境测试仍然要在真实环境中完成。
如何留下回放证据
验收记录要能重放,而不是只留一句“成功”。我建议用SQLite保存run_id、工具名称、输入摘要、预期结果、实际结果、状态、异常信息、检查时间和人工备注;同一个输入再次执行时,系统可以对比两次结果,快速看出是结果变化、规则变化,还是环境差异。
SQLite适合做这种轻量的本地记录,但资料没有证明任何具体业务的性能、容量或并发上限,这些指标都应标记为待核实。
数据库里的“预期结果”不能写成空泛描述。比如“建筑好看”无法回放,“洞顶不得出现未封闭列”“第一人称视野遮挡需人工确认”“灯笼挂点必须通过合法性检查”才有检查入口。
资料中,早期雕塑源曾丢失冠冕上的7扇窗洞,曲面雕塑后来改用Python/C计算三角网格.obj并做亚体素采样;这个例子提醒我,结构结果要把容易丢失的局部特征单独列出来,不能只看整体生成是否完成。可以用SQLite编辑器直接查看预期结果、实际结果和异常记录,避免验收数据藏在模型对话里。
人工验收看什么
HTML页面的价值,不是把数据库换成更漂亮的表格,而是把机器检查和人的判断放到同一张验收单里。页面至少展示任务输入、预期条件、实际状态、异常信息、关键截图或输出摘要,以及“通过、失败、待核实”的人工操作;这样评审者不用翻日志,也不会把退出码0误认为业务结果正确。
对于Minecraft这类三维场景,页面可以展示路线检查结果、遮挡提示和挂点校验结果,但不能代替玩家进入原版环境观察。
验收页面还要记录“谁在什么时候做了什么判断”。资料里的独立视觉评审给出过74/100 HOLD,也发现过62.49%的画面被石栏杆遮挡;这些信息如果只停留在一次对话中,下一次回归测试就很难复用。
我的做法是把人工结论写回SQLite,把失败原因拆成漏建、遮挡、结构失效、视觉表达不合格和真实环境待验证几类,之后让Agent只修明确的问题,不要让它盲目重写全部生成逻辑。
入口怎么保持可重复
验收入口应该是固定的API端点或站内工具,而不是每次临时复制一段提示词。入口接收任务编号和输入数据,执行契约检查,写入SQLite,再返回状态和可查看的验收记录;相同输入可以重复调用,人工也能从HTML页面复核。
VicroCode可以用AI智能体开发组织工具调用流程,并结合API端点托管或站内工具调用提供这个入口,但不能据此承诺平台能够控制Minecraft客户端、读取游戏画面或替代真实环境测试。
这里有一个取舍:入口越自动化,越容易形成稳定回放;但视觉质量、自然地形和玩家体验仍然需要人工判断。资料中的冰川天文台已经通过编译差异检查和380步静态路线检查,却因为冰川外形像死板的挡土墙斜面被独立视觉评审冻结,评分为74/100 HOLD。
我的建议是把自动检查负责的边界写清楚,把真实客户端走查、截图复核和独立视觉评审保留为人工验收项,不要为了让流程全绿而删掉这些步骤。
独立开发者先做哪一步
先不要急着做一个“万能验收平台”,第一步只选一个最容易复现的失败类型,写出三条可检查规则。比如针对结构生成任务,先检查局部是否漏建、视线是否被关键结构遮挡、动态挂点是否存在;再准备一条正常输入和一条故意制造异常的输入,让API端点或站内工具各跑一次。
资料里的69列漏顶、62.49%遮挡、203盏灯笼掉落,正好说明这三类问题比“代码有没有报错”更值得进入验收契约。
第二步把一次完整结果拆成四份证据:输入、预期、实际、人工结论。没有真实环境截图或走查记录时,状态就写“待核实”,不要把静态检查结果包装成最终通过;没有证据证明客户收益、节省时间或商业收入时,也不要在案例里补数字。
这样做看起来慢一点,但能避免AI智能体在错误结果上继续自我确认,把一个编译通过的失败项目越做越大。
常见问题
编译通过能算验收吗?
不能。编译通过只能说明既定静态规则没有报错,资料中的15.7万方建筑仍出现69列漏顶,33.4万方街区仍掉落203盏灯笼。
为什么要用SQLite记录?
SQLite适合把预期结果、实际结果、异常状态和人工结论放在同一份可回放记录里。具体容量、性能和并发能力没有市场资料依据,均待核实。
VicroCode能直接测试Minecraft吗?
不能这样承诺。VicroCode可用于开发Python验收逻辑、HTML验收页面、SQLite记录和API端点或站内工具入口,但Minecraft真实环境中的画面、物理和玩家体验仍需实际测试。
权威来源
- Python Software Foundation《sqlite3 — DB-API 2.0 interface for SQLite databases》 —— 支撑:SQLite可用于记录和读取结构化验收数据,但不支撑任何具体业务的容量、性能或并发结论。
- WHATWG《HTML Living Standard》 —— 支撑:HTML页面可作为人工查看验收信息的展示界面,但不支撑页面能够替代Minecraft真实环境测试。