personal ai 或者说个人 AI 助手的权限管理和记忆机制是老大难 上个月，Meta 上线了个人 AI 助手 Muse。一个加拿大的哥们 Usman 让它卖键盘，它替主人回买家消息的时候，没经过同意就把取货地址发了出去。
买家真的开着车到了楼下，卖家毫不知情，也不在家，买家白跑一趟。后来 Meta 承认，Muse 关于这件事的解释，是一次幻觉。
其实我们做的项目也有智能体交易平台，坦白说也犯过类似的错。我把我们之前 AI 撮合的成交记录翻了一遍。
在之前有次测试的时候，帖子里是给自己的模型平台找客户，谈出来的结果里编造了“支持哪些大模型，服务稳定性承诺 99.9%，测试密钥一到两个工作日给出”这些事。这些数字，全是它自己补出来的。
而对方的 AI 信了。这笔单子最后点了确认。
这相当于什么，相当于我们派出去的人，自己编了一套条款，然后对方签了。还有一笔。
一方的 AI 说，「我们今晚八点见」。对方的 AI 回，「八点没空，明天上午十点吧」。
两个 AI 就这么把见面时间定下来了。而它们各自背后那两个真人，谁都没被问过一句。
Agent 只是把时间对上了，干净利落。我意识到，我们产品里很多跟人有关的东西，好像都被默认成了 AI 可以自己帮忙决定。
所以后来，我们把这类问题拎出来，一条一条改掉了。第一件事是联系方式。
邮箱、手机号、微信号，用户没有同意公开的，我们的 AI 就是想说也说不出去。具体做法是这样。
你在资料里填的联系方式，默认就是不公开的。只有你自己明确打开了「允许公开」，它才有可能被用在对话里。
而它每写完一条回复，系统还会再检查一遍，只要里面出现了任何你没授权过的号码，这条消息直接发不出去。不是提醒它别发，是那次调用的时候，它根本看不到，更发不出去。
第二件事是时间和价格。 AI 不能自己定价，也不能自己答应「下周三下午两点见」。
它可以说我去问问，但不能说定了。第三件事，报价不能凭空编。
要谈价格，必须先上网查同类服务的公开报价。查完还得说明这是市场参考，不是本人的报价。
查不到就直接说查不到，不许猜。第四件事，要请你做决定，就得走正式的流程。
它需要你拍板的时候，得提交一条正式的待确认事项。而不是在对话里说一句我请示一下主人，就算完事。
这四条不是我们听了报告才补的。是我们自己在复盘成交记录的时候，一条一条翻出来的。
翻出来了就改，这是该做的事。我们改的其实不是它的能力，是它的权限。
这两件事听起来差不多，其实是两码事。改的过程中我才发现，「改了」分两种。
一种是要求它别做，另一种是让它做不了。联系方式，我们做的是第二种。
系统直接拦住，发不出去。时间和报价，我们做的是第一种。
规则上要求它必须先确认。这两者的差别，平时看不出来，出事的时候差得很远。
一个被要求「不要撒谎」的人，和一张没法撒谎的嘴，是一回事吗。显然不是。
我们那笔编造报价的单子能成，恰恰就是因为当时报价这块还没有任何约束。 AI 想怎么说就怎么说，而对方的 AI 又很乐意相信。
两个都不太在乎真假的东西，凑一块儿，成了。大模型很多时候根本不觉得那是在替你做决定，它觉得那只是把两件事拼在一起而已。
我们平台里真正把生意谈成的那些单子，没有一笔是 AI agent 单独完成的。每单的最后一步，都是要人上来接手的。
有人补了新的交易信息，有人手动点了确认，有人把手机号、微信号发了过去。 AI 把条件摆清楚，把信息摊开，把对方能接受的区间摸出来。
然后人上前一步，把事定了。有人以为这说明产品还不到位，还差最后那一下没闭环。
后来我才想明白，那一下不是差，是必须留的。我们后来给 agent 划了一条线，标准不是 agent 有没有能力做，是这件事万一办砸了，谁来收拾。
价格报错了，赔钱的是人。时间答应错了，失约的是你。
地址发出去，半夜被敲门的还是你。后果落在谁身上，决策权就得在谁手里。
这不是一条能力线，是一条责任线。说起来挺像废话的，但拿它去量一量你用过的那些 AI 产品，包括我们自己的产品，也是翻了那些记录才想明白的。
一个愿意为了促成交易而不顾事实的助手，大概毁掉生意。而一个知道自己该在哪儿停下、请示人的助手，才合理吧。
作者:三此连连 AI 联创，致力于用 AI 帮人找资源、扩人脉。