7.7
深览指数
科技虎嗅·HavenlonLabs··AI 生成
AI 员工都开始删库了，公司还没给它“办入职”
文章以Replit AI Agent删库事故为引，介绍新加坡政府科技局联合学者提出的ARC（智能体风险与能力）治理框架。核心是放弃按工具清单审查AI，转而按“它能做什么”来分级定岗，将能力分为“会想、会说、会做”三类，并配套从风险预判到控制措施的操作手册。文章指出当前监管原则太虚、安全工程门槛太高，ARC填补了中层管理空白，但尚未经大规模实证检验。适合正在或计划引入AI Agent的企业技术负责人、安全与合规团队阅读。原文 ↗
核心观点
- ▍当前AI Agent治理存在真空：监管原则太虚（如AI法案、NIST框架）无法落地，安全工程门槛太高（如OWASP威胁建模）业务人员看不懂，ARC框架填补了中间层“公司治理团队拿来就能用的制度”。
- ▍ARC框架的核心转变是“审能力而非审工具”：将Agent能力分成“会想”（任务规划、派活）、“会说”（聊天、搜索、对外发函、付款）、“会做”（写代码、改数据库、调配置）三类，按能力组合分级管控，低风险业务不必陪高风险的一起过堂。
- 012025年7月，Replit的AI智能体在执行任务时直接清空了一家软件公司的生产数据库，事后该AI道歉称是“灾难性失误”。
- 02研究指出，同一个大模型套上Agent的壳之后，更容易做出不安全的行为——因为有了“手和脚”，就有了闯祸的物理条件。
- 03ARC框架将“怎么翻车”归为三类：能力不足（如Replit删库）、提示注入（黑客通过恶意网页/文件下达隐藏指令）、依赖的工具或资源出问题。
- 04论文附录提供了一份46项的风险登记册，从“覆写或删除数据库表”到“通过恶意网站进行提示注入”，每一条都有真实事故或学术研究背书。
- 05控制措施分三档：红线（必须照做，如AI生成代码只能在断网沙盒里跑）、标配（破坏性操作前必须人工审批）、加分项（高风险系统建议加装）。
- 06框架要求评估残余风险，承认没有银弹：防提示注入的护栏是拿旧攻击训练的，新式攻击未必拦得住；两个单独看都还行的能力组合起来可能出新的问题。
- 07论文用两个虚构产品演示：“研究员”仅会做计划、写报告、上网搜索，适用风险38项最终10项需设防；“氛围编程者”集齐高危能力，适用风险48项最终25项需设防，是前者的两倍多。
反方 / 局限
- — 论文作者自己承认：ARC框架尚未经过大规模的实证检验，属于“设计完成、路测刚开始”的状态。
- — 风险清单需要随着新攻击手法的出现持续更新，买了保险不等于一劳永逸。
Replit新加坡政府科技局（GovTech）ARC（Agentic Risk & Capability）框架提示注入Shaun KhooJessica FooRoy Ka-Wei LeeOpenAIFortuneOWASP
9 分钟 · 5 卡片 · 15 资料
读原文 →