7.4
深览指数
科技Bestblogs·AI安全推进计划··AI 生成

从"数据被读取"到"数据被推理":大模型与智能体时代,数据安全的假设、边界与治理方法正在被重新定义

报告指出,企业安全投入长期聚焦模型说错话与应用越狱,却忽视数据在 AI 链路中的深度变形。当大模型嵌入业务流程、智能体可读文件调接口,传统数据安全的四个前提(形态稳定、一次性授权、边界内可信、脱敏即降敏)全部失效。核心判断是:主战场从存储转向推理,RAG 越权是最高频风险,权限须从资源级下沉到片段级与事实级,智能体风险在能力而非错误。适合安全架构师与合规负责人精读。原文 ↗

核心观点
  • ▍AI 数据安全的主战场已从存储与传输转移到使用与推理,防护必须前移到数据被拼进上下文之前和模型输出离开系统之后的两个瞬间。
  • ▍权限模型需从资源级下沉到片段级和事实级,检索时必须携带调用者身份参与过滤,否则文档级 ACL 在 RAG 切分后失效。
  1. 01一个 ACL 未下沉到检索层的知识库,低权限员工只需一句自然语言就能拿到并购尽调报告的核心结论,无需高级攻击者。
  2. 02传统数据安全的四个前提——数据有稳定形态、访问是一次性授权、边界内即可信、脱敏即可降敏——在 AI 场景中全部失效。
  3. 03报告从原始文本、切片、向量、参数、记忆五种数据形态和 STRIDE 威胁模型出发,梳理了十四类具体风险。
  4. 04智能体从聊天界面发展为可读文件、调接口、发邮件的执行体,其风险不在犯错而在能力,被间接提示注入后能完成过去需人工数天的数据搬运。
  5. 05合规要求从告知同意走向可证明,安全度量应转向敏感数据非必要入上下文的量、检索越权拦截次数和平均数据流向溯源时长。
反方 / 局限
  • — 报告未讨论 AI 数据安全治理带来的性能开销与工程复杂度,片段级权限过滤可能显著拖慢检索速度,影响落地可行性。
  • — 报告默认组织有能力统一管理调用者身份与上下文边界,但现实中多租户、影子 AI 和第三方 API 常使身份链路断裂,该前提若动摇则治理框架难落地。
4 分钟 · 6 卡片 · 12 资料
读原文 →

概念锚点

前置背景

论证骨架

平行视角

未来推演

延伸追问