KKDEMIAN

摩洛克机器:所有人都在变聪明,社会却可能变糟

两家公司研发 AI Agent,一家做安全测试、限制权限、加人工审查,另一家缩短周期、开放自动化、低价抢市场。短期内激进的一方占优,于是谨慎的一方要么失去竞争力,要么降低标准。最后两家都选了激进 —— 没有任何人希望出事故,但它们共同造出了一个安全边际更低的市场。这不需要任何人有恶意,只需要一个无法有效协调的竞争环境。

思考

TL;DR

摩洛克不是一个人,是一种失败的协调结构。它不需要任何参与者有恶意,只需要一个无法协调的竞争环境。

  • 典型形态:所有人都想要更好的集体结果,但竞争和激励让大家共同滑向更差的均衡。减少无意义加班、减少广告军备竞赛,都是这个结构。
  • 囚徒困境的数字:双方谨慎各得 8;一方激进得 12、另一方得 2;双方激进各得 4。无论对手怎么选,激进都是个体最优 —— 于是稳定在 (4, 4),尽管 (8, 8) 本来可得。
  • AI 的特殊性在于压缩了竞争的时间尺度。 企业效率提高 ≠ 企业利润提高;交易速度加快 ≠ 所有交易者收益更高。不能把行业效率和参与者利润混为一谈。
  • 技术进步无法自动解决制度问题。 计算问题可以靠算力和数据改善;制度问题涉及多个目标不同的主体,即使每个人都算得出最优策略,仍可能无法合作。
  • 逃离的办法不是要求大家更善良,而是改变让不合作有优势的激励:让隐藏风险可观察、让承诺可验证、把外部成本纳入决策 —— 并承认协调机制本身也会失败。

一、摩洛克不是一个人

Moloch 原本来自古代宗教与文学意象。Scott Alexander 在 2014 年的《Meditations on Moloch》里借用这个名字,描述一种反复出现的社会机制:所有参与者都希望更好的集体结果,但由于竞争、激励和协调问题,最终共同进入更差的均衡。

比如加班。所有企业都希望减少无意义的加班,但只要一家通过更长工时获得短期优势,其他家就可能被迫模仿。最后整个行业工时增加、员工福利下降,而企业的相对竞争位置可能并没有明显变化。

再比如广告。如果所有公司都不投广告,每家都能省下大量成本。但只要一家能通过广告争夺注意力,其他家就有动力跟进。最终所有企业承担了更高的营销费用,而消费者的注意力仍然是那么多。

这不是说所有广告都是浪费,也不是说所有竞争都带来坏结果。问题在于某些竞争行为主要改变参与者之间的相对地位,却没有创造同等规模的社会净收益。

当个人收益与社会成本发生分离时,理性行为就可能产生集体非理性。

二、用博弈论把它写清楚

构建一个极简的两方博弈。两家企业都可以选择安全发展或激进竞争:

对方安全 对方激进
我方安全 8, 8 2, 12
我方激进 12, 2 4, 4

在这组假设下,无论对手采取什么策略,激进都是个体的最优回应:对手安全时 12 > 8,对手激进时 4 > 2。

于是双方稳定在各得 4 的状态,尽管共同选择安全本来可以各得 8。这就是典型的囚徒困境。

这组数字只是理论模型,不是 AI 行业的真实收益估算。现实中安全投入也可能提高客户信任、降低故障损失、增强产品质量,从而直接形成竞争优势 —— 那会改变整个矩阵。

但模型揭示的基础问题成立:即使每个人都知道存在更好的集体结果,也不代表这个结果能自然实现。 缺乏承诺、监督和可信的执行机制,合作就无法持续。

三、AI 同时放大生产力与协调失败

AI 的特殊性在于,它不只提升单个参与者的能力,还改变整个市场的竞争速度。

过去一家公司扩大规模,需要招聘、建团队、培训、建管理体系。未来大量任务可以交给软件 Agent,企业的扩张速度因此部分脱离了传统人力资源约束。

竞争的时间尺度被压缩了:

  • 原本需要数周的市场分析,可能数小时完成
  • 原本依赖人工审核的内容生产,可以全天候自动运行
  • 原本由交易员执行的策略,可以由多个 Agent 并行研究和执行

当所有参与者都拥有类似能力时,问题就出现了。

看起来成立 实际未必
企业效率提高 → 企业利润一定提高
交易速度加快 → 所有交易者收益更高
内容生产规模扩大 → 公共讨论质量同步提高

因为竞争结果不只取决于绝对生产力,还取决于稀缺资源、市场结构和参与者的相对行为。

如果技术主要降低了竞争成本,却没有改变竞争的基本激励,社会可能只是以更高的速度进入原有的低效率均衡。

金融领域尤其明显。假设越来越多的交易 Agent 用同一组公开信号找套利机会:早期参与者可能获得较高收益;随着竞争者增加,套利空间被压缩,而算力、数据和执行基础设施的投入持续上升。最终某些策略可能把大部分收益转化成了技术基础设施成本。

社会确实获得了更高效的价格发现。但参与竞争的个体,并不因此必然获得更高回报。不能把行业效率与参与者利润混为一谈。

四、为什么技术进步无法自动解决制度问题

一种常见的技术乐观主义认为:只要工具足够先进,人类社会的问题终究能被技术解决。

但制度问题与计算问题存在根本区别。

计算问题通常可以在明确目标函数后,通过增加算力、优化算法或获取更多数据来改善。

制度问题涉及多个目标彼此不同的参与者,他们拥有不同的利益、权力和信息。即使每个人都能准确计算最优策略,仍然可能无法达成合作。

例如,两个国家即使都知道军备竞赛代价高昂,也可能因为无法确定对方是否遵守协议而持续增加军事投入。这不是因为双方缺乏计算能力 —— 它是承诺可信度、战略不确定性和安全困境共同作用的结果。

AI 可以帮助分析局势,却不能仅凭更强的推理能力消除利益冲突。同样,一家企业即使拥有能准确预测市场的 Agent,也无法保证竞争对手会采取对整个行业最有利的行为。

智能能够改善决策,但不能自动改变博弈结构。

五、怎么逃离

关键不是要求每个参与者更善良,而是改变使不合作行为具有优势的激励机制。

第一,让隐藏的风险变得可观察。 当市场无法区分安全系统与不安全系统时,企业就缺乏持续投入安全的动力。公开的可靠性指标、独立评测与事故披露机制,有机会把原本不可见的安全质量,变成市场能识别的竞争变量。

第二,让承诺具有可验证性。 企业声明自己遵守某项安全原则,与外部能够验证它确实遵守,是两回事。如果高风险 Agent 的执行权限可以通过独立策略引擎约束,安全承诺就不必完全依赖企业自我声明。

第三,把外部成本纳入决策。 如果一次系统故障的损失全部由用户承担,而企业只获取自动化效率的收益,那么市场会低估风险控制的价值。责任分配、保险机制、审计义务和契约安排,都可以改变这种激励。

第四,承认协调机制本身也会失败。 监管可能被少数大型企业利用,成为阻止竞争的工具;安全标准可能演变成昂贵而低效的合规形式主义;信息披露也可能暴露商业秘密,甚至产生新的攻击面。

所以好的制度不只需要约束参与者,还必须透明、可质疑、可更新、能纠错。

六、真正重要的基础设施,可能是协调基础设施

如果说过去的软件革命主要降低了信息处理成本,那么 Agent 时代可能进一步降低行动与组织成本。

人类将拥有越来越多能够独立研究、谈判、采购、交易和执行任务的软件主体。这会产生一个重要变化:

社会中的行动主体数量可能大幅增加,但信任、监督和责任分配机制未必能同步扩展。

一个企业可能管理数千个 Agent;一个用户可能授权多个 Agent 代表自己参与不同市场;不同组织的 Agent 之间可能直接交易、协作和交换信息。

当行动变得廉价,协调与责任就成了新的瓶颈。

因此未来值得建设的基础设施不只是模型、算力和数据,还包括可验证身份、有限授权、共享执行协议、独立审计、争议解决,以及跨组织的可信协调机制。

这些机制不一定需要区块链,也不一定全部由政府建立 —— 它们可能来自开放标准、市场契约、行业联盟或经过验证的软件系统。重要的是它们必须真正改变参与者的激励和约束,而不只是给已有的低效率结构加一层新的技术外壳。

七、结语:文明的进步不只是让每个人更强大

我们习惯把文明进步理解为工具的进步:更强大的机器、更高效的生产方式、更准确的预测系统。

但文明还有另一条同样重要的路径:如何让拥有不同利益的个体实现合作。 产权、货币、公司、市场、法律和科学共同体,都可以从不同角度理解为人类创造的协调机制。它们并不完美,却使大规模合作成为可能。

AI 可能创造一个个体智能和行动能力大幅提升的社会。但一个由无数聪明行动者组成的系统,并不必然是一个聪明的系统。

如果我们无法改变不良激励,智能越强大、竞争越激烈,集体失败甚至可能发生得越快。

未来文明真正的挑战,不只是如何创造更聪明的机器,而是如何创造一种制度,让越来越聪明的行动者仍然有理由合作。


这是「AI 时代的四个问题」系列第二篇,谈协调。另外三篇:认知、权力、制度与分配。

订阅更新

在 Telegram 或 X 关注每周研究、市场信号与上币动态。

更多文章: 思考查看全部
AI 不会自动创造乌托邦:当超级智能遇见人类制度

如果 AI 最终能完成绝大多数人类智力工作,一个答案是生产力大幅提升、科研加速、医疗进步;另一个答案是大规模失业、财富集中、权力失衡。这两种未来看起来矛盾,但可能同时成立 —— 因为技术进步与社会进步从来不是同一回事。工业革命提高了生产能力却没有自动消除贫困,互联网降低了信息成本却没有带来更理性的公共讨论。

2026年10月29日
当答案变得廉价,判断力将成为最稀缺的能力

人类社会一直假设知识是稀缺的,教育、分工、咨询和投资都建立在这个前提上。AI 正在推翻它 —— 但知识生产成本的下降,并不必然带来判断质量的提高。甚至存在一种值得警惕的可能:我们拥有越来越强的信息处理工具,却逐渐失去独立判断这些信息是否正确的能力。真正稀缺的东西正在从知识本身转向认识论意义上的判断力。

2026年10月29日
当 AI 开始替人行动,谁来决定它拥有多大权力

一个能写投资分析报告的 AI,和一个能直接管理真实资金的 AI,属于不同的风险类别 —— 前者的错误停在信息层面,后者的错误直接改变现实世界的资产状态。从生成内容到执行行动,AI 正在跨过一条重要边界,而我们大量产品仍在用评价内容生成系统的方法评价自主行动系统。智能能力、目标一致性和行动权限,必须在架构上分开。

2026年10月29日