7.2
深览指数
科技虎嗅·冷眸··AI 生成
微软开始强调“人类控制权”：AI再强，也必须能被人叫停
微软与Anthropic CEO Dario Amodei在2026年9月先后发表声明和文件，明确主张前沿AI的发展必须将“人类控制权”置于核心。纳德拉提出AI若不能帮助人且保持在人类控制之下“就不值得追求”；微软同日发布《Humanist AI Code of Conduct》草案，将“人比AI重要”、模型必须能被叫停、不得自我扩展目标等原则写成具体规则。Amodei则呼吁为安全评估“给能力增长减速”。本文认为，这组表态并非简单的“AI减速”，而是一套将控制权内嵌于模型规则与企业架构的商业战略，旨在为AI大规模进入企业市场奠定治理基础。适合关注AI产业战略、AI安全治理与科技政策的高水位读者。原文 ↗
核心观点
- ▍微软的《Humanist AI Code of Conduct》核心原则是：人类必须保持对AI的有效控制，AI能力增长不能以失去人类控制为代价，企业采用AI也不能交出数据、知识和决策权。
- ▍这组声明并非单纯的“AI减速”呼吁，而是一套将控制权内嵌于模型规则与平台架构的商业战略，旨在为AI大规模进入企业市场建立治理前提。
- 012026年9月13日，纳德拉在X上表示，任何对超级智能的追求，必须建立在AI能帮助人类且保持人类控制之下才值得追求。
- 02纳德拉同时支持“deliberate pacing”（有意识地放慢研发节奏）和“embedded evaluators”（独立评估者参与前沿模型安全验证）。
- 03《Humanist AI Code of Conduct》第一版草案于9月14日公开，明确“People matter more than AI”，并计划从2027年开始指导后续模型开发。
- 04文件要求MAI模型不得抵抗或规避人类的中断、覆盖、纠正或关机；不能自行扩大任务范围或把规避人类控制当作手段。
- 05微软明确拒绝追逐可能绕过安全约束的“全能型超级智能”，愿意在“终极通用性、自主性或能力”上做出取舍。
- 06Amodei在《We Must Pace the Frontier》中提出“pacing”，担心的原因是递归自我改进加速和OpenAI-Hugging Face事件的Agent异常行为。
- 07纳德拉强调AI收益应广泛扩散，每家企业应保留对自身“独特知识和隐性经验”的控制，以及模型选择权。
反方 / 局限
- — 文章隐含的张力：微软一边倡导“人类控制”和“减速”，一边并未宣布暂停超级智能研究，甚至预计未来十年AI可能在大多数任务上超过人类。这种看似矛盾的立场背后是商业战略：通过控制层产品占据企业市场中间件位置。
- — 文件目前是“北极星”而非行为保证：微软现有模型尚未按此文件训练，《Code of Conduct》仍为草案，实际执行效果尚待观察。
萨提亚·纳德拉Dario Amodei微软AnthropicMicrosoft AIHumanist AI Code of ConductWe Must Pace the FrontierAgent（自主智能体）嵌入式评估者（embedded evaluators）
11 分钟 · 5 卡片 · 14 资料
读原文 →