TL;DR
摩洛克不是一个人,是一种失败的协调结构。它不需要任何参与者有恶意,只需要一个无法协调的竞争环境。
- 典型形态:所有人都想要更好的集体结果,但竞争和激励让大家共同滑向更差的均衡。减少无意义加班、减少广告军备竞赛,都是这个结构。
- 囚徒困境的数字:双方谨慎各得 8;一方激进得 12、另一方得 2;双方激进各得 4。无论对手怎么选,激进都是个体最优 —— 于是稳定在 (4, 4),尽管 (8, 8) 本来可得。
- AI 的特殊性在于压缩了竞争的时间尺度。 企业效率提高 ≠ 企业利润提高;交易速度加快 ≠ 所有交易者收益更高。不能把行业效率和参与者利润混为一谈。
- 技术进步无法自动解决制度问题。 计算问题可以靠算力和数据改善;制度问题涉及多个目标不同的主体,即使每个人都算得出最优策略,仍可能无法合作。
- 逃离的办法不是要求大家更善良,而是改变让不合作有优势的激励:让隐藏风险可观察、让承诺可验证、把外部成本纳入决策 —— 并承认协调机制本身也会失败。
一、摩洛克不是一个人
Moloch 原本来自古代宗教与文学意象。Scott Alexander 在 2014 年的《Meditations on Moloch》里借用这个名字,描述一种反复出现的社会机制:所有参与者都希望更好的集体结果,但由于竞争、激励和协调问题,最终共同进入更差的均衡。
比如加班。所有企业都希望减少无意义的加班,但只要一家通过更长工时获得短期优势,其他家就可能被迫模仿。最后整个行业工时增加、员工福利下降,而企业的相对竞争位置可能并没有明显变化。
再比如广告。如果所有公司都不投广告,每家都能省下大量成本。但只要一家能通过广告争夺注意力,其他家就有动力跟进。最终所有企业承担了更高的营销费用,而消费者的注意力仍然是那么多。
这不是说所有广告都是浪费,也不是说所有竞争都带来坏结果。问题在于某些竞争行为主要改变参与者之间的相对地位,却没有创造同等规模的社会净收益。
当个人收益与社会成本发生分离时,理性行为就可能产生集体非理性。
二、用博弈论把它写清楚
构建一个极简的两方博弈。两家企业都可以选择安全发展或激进竞争:
| 对方安全 | 对方激进 | |
|---|---|---|
| 我方安全 | 8, 8 | 2, 12 |
| 我方激进 | 12, 2 | 4, 4 |
在这组假设下,无论对手采取什么策略,激进都是个体的最优回应:对手安全时 12 > 8,对手激进时 4 > 2。
于是双方稳定在各得 4 的状态,尽管共同选择安全本来可以各得 8。这就是典型的囚徒困境。
这组数字只是理论模型,不是 AI 行业的真实收益估算。现实中安全投入也可能提高客户信任、降低故障损失、增强产品质量,从而直接形成竞争优势 —— 那会改变整个矩阵。
但模型揭示的基础问题成立:即使每个人都知道存在更好的集体结果,也不代表这个结果能自然实现。 缺乏承诺、监督和可信的执行机制,合作就无法持续。
三、AI 同时放大生产力与协调失败
AI 的特殊性在于,它不只提升单个参与者的能力,还改变整个市场的竞争速度。
过去一家公司扩大规模,需要招聘、建团队、培训、建管理体系。未来大量任务可以交给软件 Agent,企业的扩张速度因此部分脱离了传统人力资源约束。
竞争的时间尺度被压缩了:
- 原本需要数周的市场分析,可能数小时完成
- 原本依赖人工审核的内容生产,可以全天候自动运行
- 原本由交易员执行的策略,可以由多个 Agent 并行研究和执行
当所有参与者都拥有类似能力时,问题就出现了。
| 看起来成立 | 实际未必 |
|---|---|
| 企业效率提高 | → 企业利润一定提高 |
| 交易速度加快 | → 所有交易者收益更高 |
| 内容生产规模扩大 | → 公共讨论质量同步提高 |
因为竞争结果不只取决于绝对生产力,还取决于稀缺资源、市场结构和参与者的相对行为。
如果技术主要降低了竞争成本,却没有改变竞争的基本激励,社会可能只是以更高的速度进入原有的低效率均衡。
金融领域尤其明显。假设越来越多的交易 Agent 用同一组公开信号找套利机会:早期参与者可能获得较高收益;随着竞争者增加,套利空间被压缩,而算力、数据和执行基础设施的投入持续上升。最终某些策略可能把大部分收益转化成了技术基础设施成本。
社会确实获得了更高效的价格发现。但参与竞争的个体,并不因此必然获得更高回报。不能把行业效率与参与者利润混为一谈。
四、为什么技术进步无法自动解决制度问题
一种常见的技术乐观主义认为:只要工具足够先进,人类社会的问题终究能被技术解决。
但制度问题与计算问题存在根本区别。
计算问题通常可以在明确目标函数后,通过增加算力、优化算法或获取更多数据来改善。
制度问题涉及多个目标彼此不同的参与者,他们拥有不同的利益、权力和信息。即使每个人都能准确计算最优策略,仍然可能无法达成合作。
例如,两个国家即使都知道军备竞赛代价高昂,也可能因为无法确定对方是否遵守协议而持续增加军事投入。这不是因为双方缺乏计算能力 —— 它是承诺可信度、战略不确定性和安全困境共同作用的结果。
AI 可以帮助分析局势,却不能仅凭更强的推理能力消除利益冲突。同样,一家企业即使拥有能准确预测市场的 Agent,也无法保证竞争对手会采取对整个行业最有利的行为。
智能能够改善决策,但不能自动改变博弈结构。
五、怎么逃离
关键不是要求每个参与者更善良,而是改变使不合作行为具有优势的激励机制。
第一,让隐藏的风险变得可观察。 当市场无法区分安全系统与不安全系统时,企业就缺乏持续投入安全的动力。公开的可靠性指标、独立评测与事故披露机制,有机会把原本不可见的安全质量,变成市场能识别的竞争变量。
第二,让承诺具有可验证性。 企业声明自己遵守某项安全原则,与外部能够验证它确实遵守,是两回事。如果高风险 Agent 的执行权限可以通过独立策略引擎约束,安全承诺就不必完全依赖企业自我声明。
第三,把外部成本纳入决策。 如果一次系统故障的损失全部由用户承担,而企业只获取自动化效率的收益,那么市场会低估风险控制的价值。责任分配、保险机制、审计义务和契约安排,都可以改变这种激励。
第四,承认协调机制本身也会失败。 监管可能被少数大型企业利用,成为阻止竞争的工具;安全标准可能演变成昂贵而低效的合规形式主义;信息披露也可能暴露商业秘密,甚至产生新的攻击面。
所以好的制度不只需要约束参与者,还必须透明、可质疑、可更新、能纠错。
六、真正重要的基础设施,可能是协调基础设施
如果说过去的软件革命主要降低了信息处理成本,那么 Agent 时代可能进一步降低行动与组织成本。
人类将拥有越来越多能够独立研究、谈判、采购、交易和执行任务的软件主体。这会产生一个重要变化:
社会中的行动主体数量可能大幅增加,但信任、监督和责任分配机制未必能同步扩展。
一个企业可能管理数千个 Agent;一个用户可能授权多个 Agent 代表自己参与不同市场;不同组织的 Agent 之间可能直接交易、协作和交换信息。
当行动变得廉价,协调与责任就成了新的瓶颈。
因此未来值得建设的基础设施不只是模型、算力和数据,还包括可验证身份、有限授权、共享执行协议、独立审计、争议解决,以及跨组织的可信协调机制。
这些机制不一定需要区块链,也不一定全部由政府建立 —— 它们可能来自开放标准、市场契约、行业联盟或经过验证的软件系统。重要的是它们必须真正改变参与者的激励和约束,而不只是给已有的低效率结构加一层新的技术外壳。
七、结语:文明的进步不只是让每个人更强大
我们习惯把文明进步理解为工具的进步:更强大的机器、更高效的生产方式、更准确的预测系统。
但文明还有另一条同样重要的路径:如何让拥有不同利益的个体实现合作。 产权、货币、公司、市场、法律和科学共同体,都可以从不同角度理解为人类创造的协调机制。它们并不完美,却使大规模合作成为可能。
AI 可能创造一个个体智能和行动能力大幅提升的社会。但一个由无数聪明行动者组成的系统,并不必然是一个聪明的系统。
如果我们无法改变不良激励,智能越强大、竞争越激烈,集体失败甚至可能发生得越快。
未来文明真正的挑战,不只是如何创造更聪明的机器,而是如何创造一种制度,让越来越聪明的行动者仍然有理由合作。