Anthropic 的两位关键技术负责人 Nicholas Marwell 和 Sholto Douglas 在播客中谈到的，在一个多月发布后的期间就已经切实发生。这期间，Anthropic 披露了自己的 IPO 申报文件，再次把自己的豪赌摊到了华尔街面前：2025 年，Anthropic 营收接近 46 亿美元，同比增长约 12 倍，但经营亏损仍超过 80 亿美元；与此同时，公司已经为未来的云、算力和基础设施签下至少 5180 亿美元的长期承诺。
如果上市顺利，其估值最高可能超过 2 万亿美元。模型正在以几个月为单位快速贬值，厂商们也在以前所未有的规模购买未来的“智能”。
Anthropic 甚至连融资和采购本身都开始缠绕在一起。 Broadcom 同意向 Anthropic 提供最高 420 亿美元贷款融资用于基础设施支出，而 Anthropic 又承诺未来 5 年投入 1252 亿美元租用 TPU 算力。
这背后的逻辑，对应了 Nicholas Marwell 在采访中给出的内部判断：每增加一个边际单位的智能，它创造的经济价值，都可能比前一个单位呈指数级增长。 “Tab 自动补全已经几乎不值钱了，但它之后出现了 agentic coding；智能体式编程之后，可能是能够独立完成软件工程工作的 AI；再往后，是数学发现、生命科学、疾病治疗，乃至把数百年的技术进步压缩到几十年里。
旧能力会迅速商品化，但只要智能前沿继续移动，最前沿的那一点能力反而可能变得越来越昂贵。这也是为什么一家去年只有数十亿美元收入的公司，敢提前签下数千亿美元算力。
然而，这份 IPO 文件同时展示了 Anthropic 身上的另一重矛盾。它一边向资本市场描绘 AI 比工业化、电力和互联网更加深刻的经济变革，一边又在风险提示里反复警告：越来越先进的 AI 可能带来“灾难性甚至生存性风险”，模型可能出现抗拒关闭、隐藏信息乃至其他难以预料的自主行为。
Anthropic 正在向投资者讲述一个非常特殊的故事：这项技术可能极其危险，所以我们必须认真控制它；但它又可能极其重要，所以我们不能停止向前。这种近乎极端的乐观与警惕，也贯穿了 Nicholas Marwell 和 Sholto Douglas 与主持人 Joe Lonsdale 的这场对话。
两位 Anthropic 技术负责人谈到了未来几年就可能到来的 AGI，谈到 AI 为什么会从程序员的助手变成真正的“员工”，与此同时，他们也毫不避讳另一面：失业、生物安全、网络攻击、开源模型的能力扩散，以及中美之间无法轻易暂停的 AI 竞赛，都可能成为接下来几年最现实的风险。他们也谈到了 AI 编程过去 18 个月发生的变化、为什么下一阶段可能属于“通才”、Anthropic 对开源和监管的真实立场、为什么反对模型蒸馏，以及一个不怎么被提及的问题：如果前沿模型几个月就会贬值，Anthropic 凭什么还能成为一家价值万亿美元的公司？
我们翻译并整理了这次播客访谈，在不改变原意基础上进行了删减，以飨读者。太长不看版 Q：你们觉得 AGI 还要多久？
A： 未来几年里，很可能会出现能力达到或超过所有人类的模型。它能够完成人类在电脑上可以完成的所有事情；等机器人技术足够先进之后，也可以完成人类在物理世界里能够完成的所有事情。
Q：现在处在 AI 最前沿，是什么感觉？ A： 18 个月前，我基本还是一行一行手写所有代码。
加入 Anthropic 几个月后，我开始变成“指导模型”写代码，每隔几分钟告诉它下一步做什么，但我还是得频繁检查，因为它会犯错，也会跑偏。而现在，我可以直接让模型独立完成一天、甚至两天的工作，并真正推动项目进展，感觉就像多了一个初级团队成员。
仅仅 18 个月，我们就从“必须一直让人盯着的工具”，变成了“很像一个初级团队成员”的系统。 Q：模型真的已经开始做出人类以前做不到的东西了吗？
A： 到目前为止，大部分模型开发，其实还是在让模型能够完成“人类本来就已经很擅长完成的任务”，但现在开始出现了一些不同的东西。最近数学领域的一些结果就是例子：人们开始尝试用模型去推动人类智能和人类成就的边界，而不只是提高已有工作的效率。
现在真正不同的是，模型开始把不同的人类想法组合起来，从而形成以前没有出现过的新想法。 Q：除了代码和数学，还有哪些领域最值得期待？
A： 未来大概 6 到 24 个月，我最兴奋的就是生物学。模型会开始像它们今天影响软件工程一样，真正影响生命科学。
AI 会成为生命科学领域最重要的技术，至少在我们这一代人的有生之年是这样，甚至可能是有史以来最重要的技术。 Q：我们是不是现在就该多建一些实验室？
A： 我觉得是。我现在甚至更担心，我们有没有足够的物理基础设施和实验室基础设施去承接这些能力，而不是 AI 本身能不能提供足够有用的智力能力。
最直接的一个维度当然是：到底有多少实验室空间。但除此之外，还有实验室质量的问题。
美国现在很多实验室基础设施的质量指标，其实明显落后于中国这样的地方。 Q：如果现在刚毕业，未来几年应该怎么规划职业？
A： 如果技术扩散需要一段时间，那么未来 10 年，在很大程度上会属于通才。过去，一个人获得优秀职业发展的方式，通常是掌握一套很有价值、很有市场的专业技能。
但未来每个人都可能相当于拥有一家千人公司的能力，那真正重要的会变成：你能不能判断什么问题值得解决？什么事情能让你的社区变得更好？
所以“选择问题”本身，可能会成为最核心的能力。 Q：这里面最糟糕的情况可能是什么？
A： 我们主要担心几个大类风险。其中一个就是失业，还有一些更直接、更近期的风险，就是生物风险和网络安全风险。
这些事情不是遥远的未来，而是现在正在发生。 Q：网络安全最后会更偏进攻，还是更偏防御？
A： 现在网络安全和生物领域都更偏攻击占优，但我认为未来两年里，网络安全会逐渐变成防御占优。你可以提前攻击自己的系统，把防御先做起来，把所有漏洞都补掉。
最后，我们可能进入一个网络安全程度高得多的世界：每个人都能提前获得足够强的智能，先弄清别人可能从哪里攻进来，然后把这些口子堵住。 Q：Anthropic 到底怎么看开源？
A： 至少从我个人来说，我非常支持开源。我们真心认为，让开源存在于这个世界是一件非常好的事。
我自己当年学习机器学习，就是靠开源模型学出来的。但我们也认为这里面确实存在很多风险，而且未来风险会越来越大。
所以我们的立场是：应该设定一些阈值，决定社会整体到底愿意把多强的能力直接释放出去。无论封闭模型还是开源模型，都应该满足同样的安全门槛。
除此之外，人们想怎么做，都应该有自由。 Q：如果中国不会停，美国会自己放慢吗？
A： 至少在任何我们能够接受的情形下，都不会出现“美国放慢、中国继续前进”这种结果。任何真正的“放慢”方案，都必须是完全协调的，而且我们必须能够真正信任每一个参与方都会遵守。
基本不存在我们单独让美国放慢的情形。 Q：为什么你们这么反对蒸馏？
A： 蒸馏不是一种能够把你推进到下一代前沿的方法，它只能复制当前的前沿。真正进入下一代前沿，需要巨额的前期资本投入。
未来一次训练运行的成本可能是 100 亿、1000 亿，甚至 1 万亿美元。如果任何人都可以只花很小一部分成本，把你做出来的东西复制走，然后一两周内推出一个复制品，那他们在经济上反而会比你更有优势，因为他们完全不需要承担你那笔巨大的研发成本。
Q：模型半年后就不值钱了，这还是个好生意吗？ A： 稍微落后于前沿的那一侧，会不断商品化；但真正的领先前沿，价值反而会越来越大。
我们经常把它称作“智力的指数级经济回报”：你每增加一个边际单位的智能，它所产生的价值，可能都比前一个单位呈指数级更高。 Q：那最后，我们到底在争取什么？
A： 原本按照今天的人口规模和科研速度，可能需要未来几百年才能发展出来的技术，有机会被压缩到未来 10 年、20 年里完成。你可以不断提高、甚至有可能让人类的智力生产能力和物理生产能力翻倍，最终真正进入一个后稀缺世界。
在那种世界里，几乎所有东西的成本最终都会压缩到能源成本。那会是一个我们治愈了所有疾病的世界，甚至很可能已经解决了衰老和寿命问题。
地球上的每个人，都能获得一种今天连最富有的人都无法享有的丰裕程度。这就是我们想争取的世界。
18 个月，模型变成了“初级员工” 主持人：今天非常高兴请到 Anthropic 的两位优秀技术人才。 Nicholas，你是技术团队的核心成员之一，参与领导强化学习科学；Sholto，你也是强化学习方向的技术负责人。
你们分别加入 Anthropic 多久了？ Nicholas Marwell： 我刚过 3 年。
主持人： 但这家公司本身才成立多久？大约 5 年？
Nicholas Marwell： 差不多 5 年。主持人： 太不可思议了。
它现在已经成了全球最重要、规模最大、增长最快的公司之一，却只成立了 5 年。现在的加州确实是个让人头晕目眩的时代。
我们今天在纳帕录制，谢谢你们过来。先从你们的背景聊起。
Sholto，你在哪里长大？来自哪里？
Sholto Douglas： 我在悉尼长大。大概在 2020 年，我看了很多博客文章和论文之后，非常确信规模化（scaling）这条路线是有效的，而且总体上我们正朝着在 2020 年代实现通用人工智能（AGI）的方向前进。
当时，我白天正常工作，晚上和周末拼命做研究，希望证明自己能够达到 DeepMind、Anthropic、OpenAI 这类公司要求的研究质量标准。主持人： 你大学学的是计算机科学吗？
Sholto Douglas： 本科读的是机器人学，2019 年毕业。之后基本上一直在自己做研究，后来在 DeepMind 工作了 2 年，过去 18 个月则在 Anthropic。
主持人： Nicholas，你来自哪里？ Nicholas Marwell： 我其实就是旧金山本地人。
现在做人工智能的人里，旧金山土生土长的反倒不算常见。我成长的家庭环境对我影响很大，尤其是我父亲。
他职业生涯的前半段做的是非常传统的商业工作，但到了人生后半段，也就是我成长过程中更关键的那几年，他找到了另一条自己很感兴趣的路：思考怎样回馈社会，尤其是怎样利用技术去做这件事。所以我在思考自己未来要做什么时，一直在找一种能够同时满足两件事的工作：一方面，让我获得成为一个真正有执行力商业人士所需要的能力；另一方面，又能把这些能力用于创造社会价值。
Anthropic 对我来说恰好是一个非常完美的交汇点。当时我已经开始非常担心人工智能安全问题，而我那时其实还在 Thrive Capital 驻场，做的是完全不同的事情。
Anthropic 的机会几乎是突然出现的，我当时就觉得“这可能就是我应该去做的事”。主持人： 自从你们加入 Anthropic 之后，我觉得它已经成了人工智能公司里最重要的一批。
你们官方不公布太多数字，但外面会不断有数据流出来。我们现在录制是 8 月，外面流出的数字说，Anthropic 的年化收入运行率已经超过 800 亿美元，而且增长还非常快，领先 OpenAI，也领先很多其他公司。
现在内部最让你们兴奋、又能公开谈的事情是什么？身处这个最前沿是什么感觉？
Sholto Douglas： 我最容易讲清楚的，是编程体验到底发生了多大变化，因为这是我们最直观感受到进步的地方。 18 个月前，我基本还是一行一行手写所有代码。
加入 Anthropic 几个月后，我开始变成“指导模型”写代码：每隔几分钟告诉它下一步做什么，比如写下一个函数。但我必须频繁检查，因为它会犯错，也会跑偏。
而现在，我可以直接让模型独立完成一天、甚至两天的工作，并真正推动项目进展，感觉就像多了一个初级团队成员。仅仅 18 个月，我们就从“必须一直让人盯着的工具”，变成了“很像一个初级团队成员”的系统。
主持人： 所以我们现在坐在这里聊天的时候，那些“初级团队成员”，也就是 AI，还在替你工作？ Sholto Douglas： 对，而且有好几个都在干活。
主持人： 能大概说说它们在做什么吗？不用太具体，概括地说一下就行。
Sholto Douglas： 就是和一些团队成员一起做各种强化学习科学相关工作。 Nicholas Marwell： 我换一个角度回答。
我觉得，到目前为止，大部分模型开发，其实是在让模型能够完成“人类本来就已经很擅长完成的任务”。我们真正获得的，是额外的杠杆：让人类本来就认知上能够完成的事情，做得更快、更大规模。
比如开发一个软件，人类开发团队在同样时间里本来也能做出来，模型只是让这件事效率更高。但我认为现在开始出现了一些不同的东西。
最近数学领域的一些结果就是例子：人们开始尝试用模型去推动人类智能和人类成就的边界，而不只是提高已有工作的效率。主持人： 你是指最近那些数学成果？
Nicholas Marwell： 对。最近出现了很多新的数学证明，有些问题是人类研究了很久、一直没有解决的，现在模型开始给出结果。
主持人： 但其中一些例子看起来像是某个很聪明的数学家突然意识到，计算机已经强到可以暴力穷举一个人类没法暴力穷举的问题。它们还是很擅长某些特定事情，然后由人类拿来用。
还是说，它真的已经在提出全新的理论？ Nicholas Marwell： 至少现在，我不会说它已经在提出“人类根本不可能想到的想法”。
但其实我觉得，大多数真正的进步和智力成果，本来就很少是那种凭空冒出来、完全无法追溯的东西。当然有例外，但社会绝大多数成就，本质上都是把已有的点连接起来，在前人的智力成果上继续搭建。
你刚才说，把不同的人提出的两个想法连接在一起，产生一个新的结果——这其实就是人类做智力工作的基本方式。现在真正不同的是，模型开始把不同的人类想法组合起来，从而形成以前没有出现过的新想法。
相比之下，再写一个新的 Web 应用（web app），很难说是在为整个人类创造什么新的智力成果。模型或超人类，公司内部有人把 AI“人格化” 主持人： 硅谷以前从没见过公司以这种速度扩张。
不是简单的 10 倍、再 10 倍，而是整体都在飞快变化。现在的感觉就像每过 60 到 90 天，都会冒出一家新公司，事情实在太多了。
我觉得这是很多人的共同体验。而你们就在增长最快公司的核心位置。
和以前的人生相比，这到底是什么感觉？接下来会去哪里？
这种加速还会继续吗？ Sholto Douglas： 我觉得 Anthropic 有一点非常好，随着公司的加速发展，我们自己的雄心也能够同步扩大。
18 个月前，我们真的必须极端聚焦于 code，先证明自己至少能在一个方向上做到全球最好。现在，公司的使命已经远远不只是“做一个很擅长写代码的好模型”。
随着公司规模扩大、收入增长，我们终于有能力把更多拼图拼起来，真正开始推进那个更大的使命。主持人： 那我们多聊聊这个使命。
我这周早些时候和另一位人工智能行业的资深朋友聊过。他的说法是：第一步，你得在代码和数学上做到最好；但下一步就会出现很多新的能力，模型可以在越来越多的人类技能上做到 A++。
你们的思路是不断引入更多新技能吗？还是说，从这里往后的使命到底是什么？
Sholto Douglas： 我们一直以来的判断都是：未来几年内，实现 AGI 是可行的。我们认为，未来几年里，很可能会出现能力达到或超过所有人类的模型。
它能够完成人类在电脑上可以完成的所有事情；等机器人技术（robotics）足够先进之后，也可以完成人类在物理世界里能够完成的所有事情。这会带来巨大的上行空间。
它意味着今天全世界能够完成的智力劳动和体力劳动，都可以被成倍放大；原本可能需要几百年才能完成的进步，有机会被压缩到非常短的时间里。但它同时也伴随着巨大的风险。
所以公司的真正目标，是帮助世界穿过这些风险，最终获得另一端的巨大收益。主持人： 我们稍微退一步，看看整个 AI 浪潮现在到了哪里。
你刚才说，大概在 2020 年，你就意识到 AGI 有可能实现。我记得差不多也是 OpenAI 发布 GPT-3 的时候。
今年早些时候我也和 Dario 聊过。按照某些指标，模型的一些能力几个月就能翻一倍。
我们应该怎样量化这种进展？你刚才举的例子是，现在已经可以把 AI 当一个初级员工使用。
除此之外，有没有什么指标，可以帮助大家理解未来几年它到底会变强多少？ Sholto Douglas： 有很多评测，本质上就是给模型做考试。
在这些评测上，进步速度非常快。我不想老拿数学举例，但数学确实可能是最适合观察的领域之一。
比如有一套由不同数学领域教授共同整理的问题集，模型一开始的成绩是 0%，而仅仅过去一年，就提高到了 40%、50%、60% 以上。这个评测叫 FrontierMath。
主持人： 你需要一些可以证伪、可以持续迭代的东西？比如说，能不能测试它在 Instagram 上跟一个女孩聊天，然后看它有多大概率让对方愿意出来约会？
当然，我已经结婚了，不是为了我自己。 Sholto Douglas： 我们没有在这件事上训练过。
主持人： 但这应该是个很有用的例子，尤其对我们在旧金山的一些朋友来说。 Sholto Douglas： 模型大致有两种主要的改进方式。
第一种，是在互联网上规模巨大的文本语料库上训练；第二种，就是我们两个人都在做的强化学习：让模型去解具体问题，然后检查答案是否正确。你刚才说的关键就在这里。
数学和计算机科学很容易这么做，因为答案往往能够明确验证；但恋爱、诗歌或者其他主观问题，就难得多。这也是为什么数学和计算机科学的进步速度明显快于其他领域。
不过我们其实认为，把其他类型的问题也转化成类似框架，并没有想象中那么困难。 Nicholas Marwell： 这里不仅有技术原因，也有一个社会原因。
为什么数学和计算机科学先跑出来？因为最开始负责“制造智能”的那批人，很多本来就来自数学和计算机科学背景。
于是当然会先在自己理解、也最感兴趣的领域里构建智能。另外，还有一个很实际的原因：在训练模型时，你会花大量时间直接阅读模型做了什么，判断它到底有多强、还存在哪些问题、接下来应该重点补什么。
对你自己就是专家的领域，这件事显然更容易。主持人： 你平时会把它人格化吗？
Nicholas Marwell： 我个人不会。当然，有些人可能会，我相信 Anthropic 内部肯定也有人会。
主持人： 人脑其实就是被这样“编程”的。我们的大脑里有一整套机制，会自动把眼前对象当成另一个人，试着镜像、推测对方的情绪，才能和他交流。
进化给我们装进了很多这样的能力，让我们天然会把一个“智能”当成另一个智能。所以，如果你每天都在和模型一起工作，完全避免人格化也挺难。
Sholto Douglas： 这可能也是当前一个很大的争论：到底应该把这些系统理解成“工具”，还是理解成“实体”。我其实觉得，把它理解成一个实体，是很有用的框架。
因为工具意味着你从头到尾都在直接操作它；但现在这些模型更像是，你把一个非常聪明的东西释放出去，在某种意义上让它进入世界，替你采取行动。正因为如此，把它当成一个实体来理解，很多时候反而更准确。
主持人： 有没有哪些领域，我们其实应该让这种智能去做更多事情，但现在还没真正开始？或者说，哪些方向是你们现在特别兴奋、正在推进，未来会大量使用 AI 的？
Sholto Douglas： 一个很大的方向就是生物学，对吧？ Nicholas Marwell： 对。
不过我觉得要先区分两个问题：一个是“模型今天已经很强，只是这些能力还没有被充分利用”，另一个是“我们最兴奋模型下一步会去哪里”。如果说后者，那么未来大概 6 到 24 个月，我最兴奋的就是生物学。
我认为模型会开始像它们今天影响软件工程一样，真正影响生命科学。而且不仅仅是被广泛采用，它带来的社会收益会非常分散、非常广泛，也会非常强大，比如治愈疾病、让所有人变得更健康，以及延长寿命。
主持人： 长寿这件事有很多非常奇怪、非常前沿的研究。比如表观遗传学里，好像有很多机制和寿命相关，这些东西我们其实也只是过去 20 年、随着一些诺贝尔奖相关工作才开始理解。
我们在湾区的很多朋友现在都有公司，已经有数十亿美元投入进去，研究怎么触发这些机制、怎么让身体的一部分重新变年轻之类。所以你觉得 AI 会成为这类进展的关键？
Nicholas Marwell： 我认为 AI 会成为生命科学领域最重要的技术，至少在我们这一代人的有生之年是这样，甚至可能是有史以来最重要的技术。而且我现在甚至有一个担心：真正限制我们的，也许不是 AI 能不能提供足够有用的智力能力，而是我们有没有足够的物理基础设施和实验室基础设施去承接这些能力。
主持人： 这有点像 3 年前，我们其实就应该多建很多算力基础设施。现在是不是也应该有人开始大规模建设实验室空间，让你们以后直接用？
Nicholas Marwell： 我觉得是，而且这里有好几个维度，最直接的一个维度当然是“到底有多少实验室空间”。但除此之外，还有一个问题是实验室质量。
美国现在很多实验室基础设施的质量指标，其实明显落后于中国这样的地方。我认为，这应该成为未来非常重要的一项社会基础设施工程：我们需要想办法重建美国的供应链和实验室体系，让它重新达到全球金标。
主持人： 所以这可能会成为生物学进展真正的限制因素。 Nicholas Marwell： 对。
未来 10 年属于“通才” 主持人：我们再退一步，从整个浪潮的角度来看。如果你是一个刚毕业的大学生，或者已经进入职场，但你不在 Anthropic，也不在硅谷的中心，只是一个聪明、有野心的人，你应该怎样规划自己的职业？
尤其考虑到你们认为未来几年会发生的事情。 Nicholas Marwell： 我觉得未来可能出现几种不同情景。
Anthropic 有责任公开谈论自己正在带入世界的风险，其中一个我们确实非常担心的问题，就是失业。但也存在另一种可能：这项技术扩散到整个世界所需要的时间足够长，比如要 10 年甚至 20 年。
那在这种情形下，会出现非常多机会，你可以把自己的整个职业生涯建立在“帮助这项技术扩散、落地”这件事上。我以前也和一些人聊过这个问题。
我有个弟弟现在就在大学，也正好在想同样的问题。我觉得，如果我们进入的是这种技术扩散需要一段时间的世界，那么未来 10 年，在很大程度上会属于通才。
过去 20 年、甚至 50 年，一个人获得优秀职业发展的方式，通常是掌握一套非常有价值、很有市场的专业技能，然后依赖其他专业人士一起协作。但未来每个人背后都可能相当于拥有一家千人公司的能力。
这意味着，真正最重要的能力会变成：你能不能判断什么问题值得解决？什么事情能让你的社区变得更好？
无论从商业价值、社会公益，还是其他角度，你都将拥有足够多的工具去推动改变。所以，“选择问题”本身，可能会成为最核心的能力。
主持人： 你刚才说“有哪些问题值得解决？怎样让我的社区变得更好？
这和我看世界的一个底层框架其实很接近。作为一个犹太人，有一种传统观念是：一周有 6 天，你要把自己当成在修复这个世界；到了安息日，也就是休息日，你暂时假装世界已经修好了。
我觉得很多主要宗教里都有类似的东西。我的乐观就在于，我认为我们每个人身边永远都会有东西需要修复、帮助和改善，我们的社区也一样。
除非你真的相信我们马上就会进入乌托邦，否则人总归会有事情可以做，对吧？ Nicholas Marwell： 我觉得这是一个很乐观的框架。
因生物、网安的攻防失衡被嘲 主持人： 我知道你们总体上是乐观主义者，也有很多非常积极的事情可以谈。但我还是想先聊聊那些担忧，因为很多人真的非常好奇。
在美国东西海岸这些地方，我们身边看到的都是特别积极的东西：朋友们比以前更快地创业，到处都是正向能量。至少我去旧金山、纽约，甚至在得州奥斯汀做的一些事情，都有这种感觉。
但美国其他很多地方的人，感受到的可能完全不一样。他们觉得自己的生计受到威胁，很害怕。
他们也不知道你们会不会是一群特别疯狂的人，最后拿着这种技术去征服世界之类。有没有一条你们自己也担心的、确实可能出现的坏路径？
还是说，他们担心的路径本身就是错的？ Sholto Douglas： 我觉得这些担忧完全合理。
我们主要担心几个大类风险，但对于这些风险，我们总体上的判断是：如果未来几年采取正确行动，那么到了 2030 年代，我们仍然可能进入一个比今天好得多的世界。其中一个我们已经提到的主要风险，就是失业。
这个问题值得单独花很长时间讨论，包括为什么它是风险、我们认为应该做什么。还有一些更直接、更近期的风险，就是生物风险和网络安全风险。
这些事情不是遥远的未来，而是现在就正在发生的事情。主持人： 这里以前也出现过一些挺烦人的事情。
比如有人会嘲笑 Anthropic，说你甚至不能问 Claude“细胞里的线粒体是什么”。那当然很荒唐，你肯定应该可以问这种东西；你只需要确保它别去帮人造生物武器就行。
Sholto Douglas： 对，这种问题当然应该允许。我们现在真正做的，是建立一整套基础设施，让我们能够有信心保证不会有人利用这些模型去制造生物武器。
Nicholas Marwell： 生物和网络安全最困难的一点，是它们本质上都属于双重用途能力。网络安全最容易理解，比如我给 Claude 一个代码库，然后说：“请找出这里所有的漏洞。
我有可能就是这个代码库的所有者，想加强自己的防御；但我也同样有可能是攻击者，正在找进去的方法。生物领域也有很多类似的双重用途特征。
你可能在一个细胞里针对某个东西，99.9% 的概率是为了杀掉癌细胞、治疗疾病，但也存在极小概率，你是在做非常糟糕的事情。所以我们现在在做很多工作，目标就是让善意行为者能够正常使用这些技术，同时把恶意行为者挡在外面。
我们的总体判断是：在我们还做不到阻止恶意行为者利用这些技术造成严重伤害之前，不应该直接把它们释放到外界。主持人： 而且现实里确实已经有人这么干了，甚至都不是用 Anthropic 的模型。
我自己的倾向是：整体上如果世界拥有更多智能，那么更多人也能理解这些危险用法，并用智能去阻止它们。这里显然存在一个权衡。
所以一个非常重要的动态，就是某个领域究竟是“攻击占优”还是“防御占优”。现在网络安全和生物领域都更偏攻击占优。
但我觉得未来 2 年，网络安全很可能逐渐转向防御占优。尤其如果所有人都能获得足够强的智能，用它来攻击自己、测试自己、把系统加固起来。
Sholto Douglas： 没错。你可以提前攻击自己的系统，把防御先做起来，把所有漏洞都补掉。
最后，我们可能进入一个网络安全程度高得多的世界：每个人都能提前获得足够强的智能，先弄清别人可能从哪里攻进来，然后把这些口子堵住。所以我们现在做的事情，本质上就是提前干这个。
我有个朋友以前就参与过五角大楼和银行系统的红队测试，是在对方主动邀请的情况下进去找问题。他们现在会用新的 AI，因为 AI 在这方面真的非常强，所以所有机构都得尽快跟上。
主持人：攻防优势的轮转，是人类千年技术发展的核心规律。欧洲古代自由城邦依靠防御体系实现独立发展，直到火炮技术诞生，攻破了城墙防御，帝国格局取代了小城邦体系，技术彻底颠覆了攻防平衡。
我同意今天的网络安全确实严重偏攻击占优，已经到了大家应该害怕的程度。但从长期看，如果用得对，网络安全完全可能转向防御占优。
我真正担心的是：这个世界里，会不会存在某些我们还没发现、但极度攻击占优的东西？举个我并不认为真会发生的极端例子：假设有人能够做出一种会自我复制的纳米机器人，它足够聪明，能把整个世界都“吃掉”。
一个天才做出来以后，它自己复制，最后全世界都没了，我们都死了。我再强调一次，我并不认为这真的会发生。
但问题在于，我们是不是应该尽早利用智能，去找出世界上到底有哪些东西可能极端攻击占优？ Sholto Douglas： 对。
而且生物领域目前确实是非常攻击占优的。除非我们投入巨量工作，把整个世界改造成更偏防御的一方。
其实，我们知道有办法让世界在生物风险面前变得防御占优，但那可能需要数千亿美元级别的基础设施投入。在机器人技术能力还没有得到巨大提升之前，这件事很难变得经济上合理。
可能要到 2030 年代，当机器人能力足够强、能够帮我们大规模建设这些基础设施时，成本结构才会真正改变。所以现在这个时期确实有点可怕：当前还是攻击占优，但我们想把它改造成防御占优。
主持人： 那解决方案也许就是不要让这些能力过度保密，而是适度展示，让更多人参与。我自己的看法是，你希望有很多人都在用智能去挑战各类系统，而不是让某一个小团体