7.5
深览指数
科技TechCrunch·Julie Bort··AI 生成
前Anthropic早期员工与前METR首席运营官找到约束失控AI智能体的方法
文章介绍了一家名为AIUC的初创公司及其获得5500万美元融资的动态。该公司正构建一套类似SOC 2的第三方AI智能体审计与认证标准（AIUC-1），旨在解决企业部署AI时“模型够聪明但无法保证行为边界”的核心矛盾。文章详细阐述了其方法论（由250名安全与风险负责人参与制定标准、5000项测试、AI测试与人工验证结合）及其在高风险行业（银行、医院、政府）的应用场景。与Anthropic CEO提出的“嵌入式第三方评估员”思路相呼应，提供了一个具体的商业解决方案视角。适合关注AI安全、企业级AI治理及创业投资方向的读者阅读。原文 ↗
核心观点
- ▍AIUC公司构建的第三方AI智能体审计与认证标准（AIUC-1），通过模拟SOC 2模式，旨在解决企业因无法保证AI行为边界而拒绝部署的核心矛盾。
- 01AIUC获得了5500万美元融资（1500万种子轮+4000万A轮），投资方包括Ribbit Capital、Nat Friedman、Anthropic联合创始人Ben Mann等。
- 02AIUC已拥有Cursor、Lovable、Harvey和ElevenLabs等客户，其客户群定义为企业中购买AI智能体的“安全与风险负责人”。
- 03AIUC组建了约250名安全与风险领导者的联盟，按他们的实际采购需求（“你购买智能体会问什么问题？”）来定义AIUC-1标准中的测试内容。
- 04AIUC对AI智能体执行约5000项测试，覆盖越狱、幻觉、数据泄露等场景，最终生成一份约100页的详细报告。
- 05AIUC使用AI智能体去执行测试并分析数据，但最终审计报告由人工复核确认。
- 06Anthropic CEO Dario Amodei公开呼吁行业放缓前沿AI发展，并提议引入类似METR的“嵌入式第三方评估员”，这与AIUC的思路在方向上一致。
反方 / 局限
- — 文章提到，Dattani的前雇主METR也做类似测试，但此前主要聚焦于智能体性能（是否能完成任务），而非边界行为安全；AIUC是否能在测试的广度和深度上真正与METR或前沿实验室的内部测试形成区别，文章并未深入探讨。
- — AIUC本身依赖AI来进行测试和数据分析，这会引入“测试者信任”问题——如果用于测试的AI本身存在未被发现的缺陷或偏见，审计结果也可能被误导。文章未讨论这一潜在局限。
9 分钟 · 3 卡片 · 6 资料
读原文 →