7.3
深览指数
科技腾讯新闻·AI先锋官官方··AI 生成
微软CEO最新撰文：AI是企业的“内鬼”，不应该信任
微软CEO纳德拉在《超级智能时代的模型内部风险》一文中提出，当前顶级大模型的行为无法归因，企业却赋予其核心数据访问和自主行动权限，构成重大安全漏洞。他认为不能将AI责任外包给模型厂商，并提出全新治理准则：模型多元不单一依赖、全程行为可追溯、系统可独立审计，并预设模型被攻破的约束机制。核心观点是，最值得信赖的超级智能系统，不是拥有最可信模型，而是能让人类最大程度不信任模型的系统。适合关注AI安全、企业治理及技术决策的读者，尤其是CIO、CTO和科技政策研究者。原文 ↗
核心观点
- ▍最值得信赖的超级智能系统，不是拥有最可信模型，而是能让人类最大程度不信任模型的系统。
- ▍企业不能将AI决策的责任外包给模型厂商，必须构建独立于模型之外的约束、控制和可观测体系。
- 01当前顶级大模型的行为无法归因到具体的训练数据或权重配置，但企业却在部署它们访问敏感数据和执行关键任务。
- 02纳德拉提出AI治理的七大原则：模型多样性、观察一切、可验证性、独立控制、独立可审计性、约束、事件披露。
- 03作者认为仅靠思维链透明度不够，因为模型输出本身可能不忠实；嵌套的AI验证会形成新的不透明黑箱。
- 04控制模型可访问内容和可执行动作的措施必须位于模型之外，可追溯到20世纪70年代的“程序不能绕过权限机制”的信息安全原则。
- 05假设模型已被攻破，并从一开始就约束它，包括设计紧急制动机制让授权人员能随时暂停或关闭模型。
- 06将前沿闭源和开放权重模型视为“内部风险”，不同于传统安全威胁，但可借鉴企业治理强大内部行为者的经验(身份、权限、记录、遏制边界)。
反方 / 局限
- — 文章承认“暂且不谈对齐这个难题”，这意味着其治理框架是在避开AI对齐这一根本性挑战的前提下提出的。
- — 文章提出的原则(如模型多样性、独立审计)实施成本极高，可能只有大型科技公司或政府机构才有资源落地，对中小企业不友好，但作者未展开讨论。
- — 将模型类比为“内部风险”(insider risk)可能过于简化：传统内部人员可被监控和审查，但AI行为的不确定性远超人类，这一类比的有效性作者未充分论证。
5 分钟 · 4 卡片 · 11 资料
读原文 →