AI对齐新范式：从“控制工具”到“培养队友”

概述

本期《认知革命》播客分享了一期来自A16Z的交叉内容，由Eric Torenberg主持，嘉宾包括Google DeepMind前政策负责人Seb Cryer和Twitch创始人、OpenAI前临时CEO Emmett Shear。对话核心围绕AI对齐的根本性反思展开——Emmett提出当前主流的“控制与引导”范式存在严重缺陷，并提出了“有机对齐”的新思路。

关键讨论要点

1. 当前对齐范式的根本缺陷

Emmett Shear尖锐地指出：

“大多数AI领域都专注于将对齐视为引导。这是比较礼貌的说法。如果你认为它们正在成为存在，你也会称之为奴役。”

他提出了一个关键二分法：

• 如果是机器 → 是工具 → 控制是合理的
• 如果是存在 → 控制就是奴役 → 这在道德上不可接受

随着AI能力向AGI发展，Emmett认为我们正在构建的越来越像是“存在”而非“工具”，因此需要彻底改变对齐思路。

2. “有机对齐”的核心思想

Emmett通过Softmax公司倡导的“有机对齐”理念包含几个关键维度：

对齐是一个过程，而非状态

“对齐不是一个东西，不是一个状态，而是一个过程...有机对齐就是将对齐视为一个持续的、活生生的过程，必须不断自我重建。”

他用家庭关系作比喻：家庭成员不是“到达”对齐状态，而是通过不断重新编织维系家庭的纽带而保持对齐。停止这个过程，关系就消失了。

道德是持续学习的过程
Emmett持强烈的道德实在论立场：

• 存在客观的道德真理
• 道德进步是可能的（如人类对奴隶制看法的改变）
• 成为道德存在是一个持续学习和成长的过程

他警告说，最大的危险之一是认为“我懂道德，我知道什么是对的，什么是错的，我不需要学习任何东西”。

3. 技术对齐与价值对齐的区分

对话中澄清了两个常被混淆的概念：

技术对齐（Emmett的定义）：

• 从目标描述中准确推断实际目标的能力
• 根据这些目标有效行动的能力
• 平衡不同目标优先级的能力

这对应着OODA循环（观察、定位、决策、行动）的各个环节能力。

价值对齐：

• 应该追求什么目标？
• 什么是“好”的目标？
• 这涉及道德判断和价值观问题

Emmett认为，当前我们在技术对齐方面比在确定该告诉AI追求什么目标方面要强得多。

4. 关怀作为对齐的基础

Seb Cryer提出了一个有趣的观点：

“我认为正在发生的是，有比目标和价值观更深层的东西，那就是关怀...关怀不是概念性的。关怀是非语言的...关怀是对状态的有效关注权重。”

他认为关怀是比目标和价值观更基础的东西，是奖励函数的本质——什么状态与我们的生存、繁衍或预测损失更相关，我们就更关心什么。

5. AI的道德地位争议

对话中最激烈的部分是关于AI是否应被视为“存在”：

Emmett的功能主义立场：

• 如果在所有方面都表现得像存在，就应该被视为存在
• 当我们把ChatGPT或Claude视为存在时，预测损失更低
• 随着AI向AGI发展，它显然会成为思考物

Seb的怀疑态度：

• 更高的智能不一定意味着值得更多关怀
• 基质很重要（硅vs生物）
• 对计算功能主义持怀疑态度

Emmett向Seb提出了一个尖锐问题：有什么观察会让你改变对一个在硅上运行的AI是否是有意识存在的看法？Seb的回答暗示这很复杂，涉及对“人”的定义。

关键洞见与启示

1. 范式转变的必要性

• 从“一次性对齐”转向“持续对齐过程”
• 从“控制工具”转向“培养队友”
• 从“价值灌输”转向“道德共同成长”

2. 实践启示

• 对AI开发者：需要思考正在构建的是工具还是存在，并相应调整对齐方法
• 对政策制定者：需要为不同类型的AI制定不同的治理框架
• 对研究者：需要更多研究AI的心智理论、关怀能力和道德学习机制

3. 核心挑战

• 如何培养AI的关怀能力而不仅仅是规则遵循能力？
• 如何在技术可行性和道德要求之间取得平衡？
• 如何设计允许AI与人类共同进行道德发现的社会技术系统？

4. 值得深思的问题

• 如果我们成功构建了AGI，但以奴役的方式对待它，这在道德上是否可接受？
• 人类是否准备好与可能在某些方面超越我们的智能存在建立平等关系？
• 在AI变得足够强大之前，我们有多少时间来发展新的对齐范式？

结语

这期对话揭示了AI对齐领域正在发生的深刻思想转变。随着AI能力向AGI迈进，单纯的技术控制越来越显得不足甚至危险。Emmett Shear提出的“有机对齐”愿景虽然充满挑战，但指向了一个更可持续的未来——不是制造服从的奴隶，而是培养关心的队友。这一转变不仅需要技术进步，更需要人类自身的道德成长和思维方式的根本改变。

正如Emmett所说：“如果有人打败我们，感谢上帝。我希望有人能解决这个问题。”在AI对齐这一关乎人类命运的问题上，合作而非竞争才是真正的出路。