Saturn 的一项研究显示,ChatGPT、Claude、Copilot、Grok 和 Gemini 等主流 AI 模型在回答财务相关问题时,平均有 57% 会给出错误答案。研究使用了逾百个财务相关问题,分别测试了 ChatGPT、Gemini、Claude 和 Copilot 提供的免费及付费 AI 模型。
每个问题最多重复提问五次,向 18 种 AI 模型共提出了逾 10,000 个问题。研究发现,AI 模型的回答中包含计算错误、遗漏即将实施的税收政策变更,或是凭空捏造规则(即幻觉)。
在最严重的情况下,依赖 AI 对税务问题的回答可能导致严重的经济损失。研究发现,付费模型的回答比免费模型更准确,较新的模型表现优于较旧的模型。
表现最好的是推理模式的 Claude Opus 5,但仍然有 39% 的答案存在错误。