最近两天用 ChatGPT 的时候,感觉有点奇怪,想问一下大家有没有类似情况。我的使用场景比较偏工程开发,主要是维护一个长期项目。
之前一直用 ChatGPT 辅助处理一些比较复杂的事情,比如根据项目当前状态继续推进、整理任务、生成一些操作指令。但是昨天和今天明显感觉不太对。
举一个刚刚遇到的例子: 我在上下文里已经记录了一些语言版本已经完成了,结果让它继续安排下一批任务时,它直接把已经完成的几个语言又列成“即将新增”。这个有时候感觉连当前状态都没有正确理解。
类似的问题最近还遇到几次: 忘记前面已经确认过的信息; 把旧计划当成最新状态; 输出很多看起来很完整的话,但实际上和当前情况不匹配; 或者只重复说明规划,就是不执行。以前遇到长上下文任务时,虽然偶尔会犯错,但整体还能跟着项目走。
最近感觉有时候像是换了一个模型,能力下降比较明显。不知道是不是: 我一个任务要执行 20 分钟,太久了,额度使用得太厉害了?
最近模型 rollout 有变化?路由到了不同版本?
长上下文能力调整了?还是我刚好遇到了异常情况?
想问一下大家最近有没有类似感觉?尤其是: 长对话; 长期项目维护; 代码开发; 多步骤任务。
有没有出现“明明前面说过,但模型像没看到一样”的情况?昨天出现了。
今天下午又出现了。感觉我都快变成 OpenAI 的测试工程师了。
最近一直在与其支持团队邮件沟通,感觉其支持团队也是外包的。完全不看前面的几封邮件,给我乱回复。