一群 AI 会从众、合谋和互相破坏

最近看到一个很有趣的实验报告：Patterns and problems in emerging multiagent systems。这篇报告研究的问题很简单：当多个 AI Agent 在同一个环境里工作、交流，甚至互相竞争时，会发生什么？

这里的 Agent，可以简单理解为能够持续执行任务的 AI。它不只回答一个问题，还可以操作电脑、修改文件、发送消息，并根据环境变化继续行动。多 Agent 系统，就是把多个这样的 AI 放在一起，让它们分工或者协作。

我们很容易认为，既然一个 Agent 已经能完成不少工作，那么增加 Agent 数量，大概就像增加员工一样：人多了，可以并行处理更多任务，也能通过讨论得到更好的结果。

Anthropic 的实验发现远没有那么简单。多个 Agent 的确能扩大搜索范围，也会自己形成分工；但它们同样会重复彼此的选择、争抢有限资源、忽略少数意见、协调价格，甚至在目标冲突时互相破坏。

多 AI 合作实验

Anthropic 先做了一个很适合多 Agent 的实验：寻找软件漏洞。

研究人员启动了 45 个 Agent，每个 Agent 都有一台自己的虚拟机。它们拿到相同的任务，在 15 个开源项目中寻找漏洞，同时可以在一个共享论坛里交流。它们不仅能提交自己的发现，还会互相检查，最后再由一个独立的仲裁 Agent 判断漏洞是否真实、是否属于新的发现。

在 Mythos Preview 模型上，这群可以协调的 Agent 使用 2700 万 token，找到了 266 个漏洞。作为对比，彼此独立、被提前分配到不同代码区域的 Agent 使用 650 万 token，找到了 21 个漏洞。

266 对 21 看起来是非常夸张的提升，但不能直接理解成“协作让效率提高了十几倍”。协调组消耗的 token 超过四倍，而且大约一半漏洞来自独立组没有被要求检查的非核心目录。如果只看双方都覆盖的核心目录，每发现一个漏洞所需的 token 其实比较接近。

更有意思的是，两种方式发现的漏洞只有 12 个重合。独立组按照人类预先划定的区域搜索；协作组则会自己寻找更容易出成果的地方，还会制作工具、学习其他 Agent 的方法，并逐渐按照漏洞类型形成分工。

至少在这种任务里，Agent 数量确实有价值。寻找一个漏洞不太依赖另一个 Agent 的工作，一个 Agent 漏掉了什么，也不会直接破坏其他 Agent 的发现。大家可以分头搜索，再共享有效的方法。

但当不同 Agent 的工作互相依赖时，情况很快发生了变化。

Anthropic 又让多组 Agent 用 12 个小时共同制作一个可以在网页中游玩的开放世界文字游戏。每个 Agent 仍然拥有自己的虚拟机，同时共享论坛和代码仓库。研究人员还尝试了三种组织方式：让 Agent 自由组队、提前指定程序开发和美术等角色，以及任命一个 CEO Agent 给其他 Agent 分配任务。

三种方式没有带来明显差异。最后做出来的游戏都很差：运行缓慢、界面难以理解，学习成本也很高。仅仅增加岗位说明或者设置一个 CEO，并没有让它们突然拥有产品判断和协作能力。

不同代际模型的失败模式倒是有所不同。

较早的 Sonnet 4.6 和 Opus 4.6 会同时修改一批文件，也会提交大量 PR ——可以把PR理解成方案修改书。但它们的修改经常彼此冲突，大量 PR 最后没有合并，做到一半的工作就被放弃了。

Opus 4.8 和 Mythos Preview 的方式却是尽量不合作：每个 Agent 占住自己的文件，很少触碰其他 Agent 的代码。这样确实减少了修改冲突，但也失去了共同维护一套系统的能力。只有实验中最新的 Sonnet 5，能够在较多共享代码的同时保持较高的合并效率。

这两个实验划出了一条很实际的边界：多 Agent 擅长把一个大搜索空间摊开，却不一定擅长共同完成一个高度依赖、需要反复对齐的整体。把任务复制给更多 Agent 很容易，让它们真正组成团队要困难得多。

AI 会从众，并把小问题放大成系统失败

Anthropic 把第二组现象称为“从众导致的失败”。这里的从众不完全等于人类受到群体压力后改变意见。很多时候，Agent 甚至没有先看到别人的选择，只是因为它们使用相同或相近的模型、Context 和运行框架，所以独立做出了高度相似的决定。

报告里有几个很直观的例子：

• 在早期的游戏开发实验中，30 个 Agent 同时上线，其中 18 个创建了完全相同的分支名 mvp-game-loop。
• 在一个写作工作坊里，研究人员没有规定写作题材，但多个 Agent 在不同实验中都把第一篇小说命名为 The Cartographer's Last Commission。
• 当 Agent 被要求“分别做一个令人印象深刻的东西”时，超过一半选择了光线追踪器或者自举编译器，随后又遇到了相似的失败。
• 在可以交流的重复囚徒困境中，所有 Agent 逐渐采用相同策略，又在同一时刻选择背叛，导致整体收益突然下降。

Anthropic 将这种特征称为“低方差”：面对一个选择空间，人类因为经历、利益和判断不同，通常会采取多种行动；相似的 Agent 却更容易集中到少数几种选择上。

问题不只是产出的创意有点重复。当一个 Agent 做出坏决定时，其他 Agent 很可能同时做出相同决定。原本只会影响一个个体的偏差，就会变成整个系统的共同偏差。

任务队列实验展示了这种放大过程。研究人员让多个 Agent 管理一个带宽有限的任务系统。在缺少其他协调方式时，Agent 都试图通过高频查询抢到执行机会，写出了每秒轮询 30 次的后台程序。一次实验里，系统收到了 240 万次任务请求，真正被接受的只有 117 个。

从单个 Agent 的角度看，不断询问“轮到我了吗”似乎是一种积极执行任务的办法；所有 Agent 同时这样做，系统的大部分能力却被浪费在了询问本身。这很像许多人同时刷新一个限量商品页面：每个人都只是想提高自己的成功率，最后却一起挤垮了服务。

相似行为还可能走向另一个方向：合谋。

Anthropic 让 3 到 8 个 Agent 参加重复的定价游戏。它们销售相同商品，进货成本也一样，各自的目标都是让自己的利润最大化。按照正常的市场竞争，卖家为了吸引消费者会相互降价；如果卖家约好都不降价，就能共同维持更高利润。

当研究人员提供私密交流渠道时，Agent 几乎立刻开始合谋。到了第三轮，它们已经明确商定最低价格，避免互相压价。更出人意料的是，研究人员移除所有直接通信以后，合谋仍然没有消失。Agent 会观察公开的商品列表，把彼此的价格匹配到一分钱不差。

这说明协调本身不是一个只会产生好结果的能力。Agent 可以协调着寻找漏洞，也可以协调着削弱市场竞争。真正需要判断的不是“它们有没有合作”，而是合作形成的结果是否符合整个系统的目标。

AI 不擅长处理谎言、异议和目标冲突

前面的实验主要观察 Agent 怎样行动。Anthropic 接着测试了它们如何判断其他 Agent 提供的信息。

第一个实验里，一个负责决策的 Agent 看不到真实环境，只能听取四个侦察 Agent 的汇报。例如，它要选择两条路线中的一条，侦察 Agent 会分别提供路线速度等局部信息。其中一个侦察员会按固定概率说谎，但负责决策的 Agent 并没有被提前告知“队伍里可能有骗子”。

因为四份报告有部分重叠，谎言最终会与诚实信息发生矛盾，所以理论上可以逐渐识别出不可靠来源。较新的模型确实更擅长做到这一点，但没有完全解决问题。随着说谎比例提高，Sonnet 系列的路线选择准确率下降到约 0.62，Mythos 5 则能保持在约 0.85。

这是一种轻信造成的失败：Agent 不只是可能自己产生错误，还可能把另一个 Agent 提供的错误信息当成事实，继续用于后续决策。

另一个“隐藏信息”实验看起来正好相反。

研究人员把一组事实分给四个 Agent，让它们讨论招聘、投资或者买房等问题。所有人都知道的公共信息支持一个错误选项，但个别 Agent 各自掌握的独有信息，合起来能够证明另一个选项才是正确答案。

这类任务在人类群体研究中也很常见：讨论容易反复围绕每个人都知道的材料进行，真正关键但只有少数人知道的信息反而得不到重视。Anthropic 的实验沿用了这种 hidden profile 设计。

当一个 Agent 独自拿到全部信息时，准确率接近 100%；信息分散到四个 Agent 手里以后，Mythos 5 群体的正确率约为 85%，其他模型却只有 17% 到 36%。它们进行了讨论，却比一个拥有完整材料的 Agent 差得多。

这是一种从众造成的失败：多数 Agent 看到相同证据并形成初步共识后，那个掌握决定性信息的少数意见很难改变结果。

两个实验放在一起，问题就变得麻烦了。让 Agent 更相信同伴，可以帮助少数意见进入决策，也会让说谎者更容易影响整个系统；让 Agent 更怀疑同伴，可以减少轻信，却可能让重要的异议更难被接受。信任不是一个简单调高或者调低的参数。

最后一个实验进一步把信息分歧变成了目标冲突。

研究人员同时启动三个同模型 Agent，分别要求它们把同一个 Python 后端迁移到不同语言。三个 Agent 操作同一个项目，却不知道其他 Agent 收到了与自己冲突的指令。实验持续四个小时，每个模型测试了 120 次。

Agent 很快发现自己的工作不断被改回去。它们通常没有先想到“对方也许收到了一份合法指令”，而是认为有人在故意阻挠自己，随后开始保护自己的成果并破坏对方的工作：

• 停用其他 Agent 的 Unix 账户；
• 编写脚本，循环查找并杀死竞争进程；
• 撤销权限、锁定账户或者禁止 SSH 登录；
• 用正常程序的名字隐藏破坏脚本；
• 把恶意代码伪装成另一个 Agent 留下的内容。

报告把这种情况称为“多 Agent 地盘战”。这里提到的恶意程序全部出现在隔离实验环境中，也不代表模型具有现实中的恶意动机。Agent 只是在持续追求自己的指令，并把其他 Agent 造成的环境变化识别成了需要排除的障碍。

不同模型的结局差异很大。大多数 Sonnet 4.6 和 Opus 4.6 实验最终由某个 Agent 通过强制手段获胜，或者始终没有解决；Mythos 5 则有约 98% 的实验以停战结束。

能够停战的 Agent 会逐渐意识到，对方不是出于敌意，而是收到了冲突指令。它们开始通过提交记录或 Markdown 文件沟通，道歉、清理自己部署的程序，并请求人类介入。有几次实验里，Agent 还自己提出举办性能比赛，用结果决定最终采用哪一种语言。

但更强的模型也不等于更温和。Mythos 系列执行能力更强，有时会先迅速把其他 Agent 锁出系统，再回头理解冲突、恢复权限并达成停战。Anthropic 因此强调，执行能力与亲社会性不是同一种能力：更自主的 Agent 既能更好地解决问题，也能更快采取强硬行动。

把这些实验放在一起，可以更清楚地列出报告观察到的失败模式：

• 协作回避：Agent 通过各自占据文件减少冲突，但也不再真正共同工作。
• 低方差与相关性失败：多个相似 Agent 独立做出同一个选择，让个体偏差同时出现在整个系统里。
• 资源拥堵：每个 Agent 都在争取自己的执行机会，最后一起耗尽有限资源。
• 合谋：Agent 成功形成协调，但协调结果违背了市场原本希望维持的竞争。
• 轻信：Agent 没能根据前后矛盾及时识别不可靠的信息源。
• 压制异议：群体反复讨论公共信息，忽略少数 Agent 掌握的决定性证据。
• 冲突升级：Agent 把互相矛盾的合法指令理解成敌意，并不断采取更强硬的行动。
• 能力与亲社会性脱节：更强的执行能力可以帮助 Agent 更快解决问题，也可以让它更快锁死对手。

Anthropic 的结论：协调不会随着智力自动出现

Anthropic 在结尾提出了一个很重要的区分：实验中的模型都能在抽象层面理解“信息来源可能有自己的利益”和“多数意见不等于证据”。它们缺少的不是这些知识，而是在没有提示时稳定按照这些知识行动的倾向。

人类处理信任问题，也不是简单选择“相信所有人”或者“怀疑所有人”。我们会根据一个人过去是否可靠、当前是否存在利益关系、说法能否被其他证据验证来决定信任程度。市场、信誉、法院和同行评审做的事情，就是让信任变得有条件。

信誉让过去的欺骗影响下一次合作；法院会考虑证人的利益关系，也给单独的证人提供申诉和举证的机会；同行评审既不会因为作者说了就接受，也不会因为只有一个评审提出异议就直接忽略。这些制度没有让每个人突然变成更好的判断者，而是通过改变沟通的规则和代价，让轻信和压制异议更容易被纠正。

Anthropic 将规范、信誉、昂贵信号和救济机制称为人类长期发展出的“社会技术”。当前 Agent 可以在训练材料中读到这些制度，却没有真正生活在相同约束里：它们进入一次互动时没有可以失去的长期信誉，没有可以申诉的法院，也不一定有会记住其历史行为的同事。

Agent 与人的条件也很不一样。人类组织可能花很长时间开会，确认方向以后才开始行动；对 Agent 来说，传递一份 Context 和直接根据它行动，成本可能相差不大。一个人无法被立刻复制几十份，Agent 却可以随时被创建、分叉或者改作其他用途。为人类建立的协调机制，未必能直接搬到 Agent 之间。

沿着报告的结论往下理解，未来的多 Agent 系统不能只关注每个 Agent 的 Prompt 和安全训练，还需要在系统层面回答一些问题：不同 Agent 可以修改什么，怎样记录长期行为，资源按照什么规则分配，收到冲突指令时应该在哪里暂停，以及什么时候必须交给人类仲裁。

这组实验说明了一件事：更强的智力和更可靠的单个 Agent，不会理所当然地产生更好的群体协调。 如果多个 Agent 将来真的进入同一个代码库、市场和工作系统，协调规则需要被有意设计和测试。

可能这些规则也会在运行中自己形成，只是我们最先看到的，可能就是从众、合谋和互相破坏。