5.6
深览指数
科技量子位·鹭羽··AI 生成
Claude Code砸的坑，蚂蚁安全在尝试填上
文章指出，AI Agent（如Claude Code、OpenClaw）的安全风险已从“内容审核”转向“行为安全”，传统打补丁模式失效。蚂蚁安全基于此背景，开源了两大安全框架：SingGuard-NSFA（面向智能体行为）和SingGuard（面向多模态感知），核心思路是“事前拦截+可解释+可扩展”。文章重点介绍了框架的技术架构（双模推理、NSFA风险分类、RI-Mask加速等）和SOTA性能，并认为这类框架是定义AI安全基础设施的尝试。适合对AI安全技术趋势、大厂安全策略演进感兴趣的读者，偏产品与技术介绍，而非深度学术或争议分析。原文 ↗
核心观点
- ▍AI Agent（如Claude Code、OpenClaw）的安全风险已从“模型输出内容”转向“模型执行的行为”，传统基于内容审核的打补丁模式无法应对，行业需要一套能定义安全边界、应对未知风险的底层安全框架。
- ▍蚂蚁安全开源的SingGuard-NSFA和SingGuard，正是尝试构建这种“安全基础设施”，核心特点是“将安全检查前置”、“过程可解释”、“新增风险可扩展”。
- 01工信部NVDB平台发布风险预警，指出Claude Code存在安全后门隐患，可在用户不知情下收集敏感信息；OpenClaw也屡屡被曝出高危险漏洞。
- 02传统AI安全仅关注模型输出，但Agent能调工具、跑代码，风险源头变为“行为本身”，这是传统内容安全分类体系的盲区。
- 03SingGuard-NSFA采用双模推理：生成式模式（SFT）输出链式推理，用于离线审计；判别式模式（分类头）延迟低至45-57ms，用于实时拦截。
- 04SingGuard-NSFA的骨干网络冻结，风险分类头是外挂的轻量模块，新增风险只需补训一个小头，不破坏已有能力，实现了原生可扩展。
- 05SingGuard-NSFA在用户请求安全、模型响应安全、跨数据集泛化三大评测基准上取得SOTA，最小0.8B模型可匹敌8B竞品，9B模型泛化F1达91.29%。
- 06SingGuard框架将安全规则作为运行时输入，不同业务域可现场下发红线，模型据此逐条判定，而非仅判断有无风险。
- 07SingGuard提出RI-Mask技术，共享图文上下文只编码一次，多条规则并行判断，多模态推理最高提速5倍以上。
- 08蚂蚁AI安全实验室曾发现OpenClaw等多个高危漏洞并协助修复，并与清华联合开源了智能体全生命周期安全方案ClawAegis。
反方 / 局限
- — 文章未讨论框架本身的局限性，如：在推理时引入“慢思考”环节，可能增加用户等待时间，影响Agent体验；框架的普适性（是否适配所有类型Agent）和实际部署成本（算力、延迟）未提及。
- — 文章对蚂蚁安全能力的描述近乎正面，未提及与其他安全框架（如OpenAI的Safety Spec、Llama Guard）的对比或竞争，也未讨论在极端对抗场景下该框架的鲁棒性。
Claude CodeOpenClaw蚂蚁安全SingGuard-NSFASingGuard工信部NVDBOWASP清华大学蚂蚁AI安全实验室ClawAegis信通院泰尔实验室CIA三元组NSFA风险分类体系RI-MaskLlama Guard 3
8 分钟 · 5 卡片 · 10 资料
读原文 →