6.9
深览指数
商业虎嗅·HavenlonLabs··AI 生成
AI 时代会让企业发现：所有系统都经不起无限审查
文章指出，AI 将审查成本压至几乎为零，使得「无限审查」成为可能，从而揭示了一个残酷事实：任何复杂产物（文章、产品方案、安全系统）都无法经得起所有角度的审查。作者认为，企业不应追求不存在的「完美系统」，而应转向「有边界的不完美」——接受缺陷永远存在，并将设计重心从「消灭缺陷」转向「限制错误发生后的灾难半径」。文章为安全行业和企业决策者提供了一个直面复杂性的新框架，并强调在 AI Agent 高速执行能力的加持下，这一转向尤为紧迫。适合正在把 AI 接入核心业务、并关注系统韧性与风险控制的决策者和管理者阅读。原文 ↗
核心观点
- ▍AI 将审查成本压至几乎为零，使得「无限审查」成为可能，而任何复杂产物（文章、产品方案、安全系统）都经不起无限角度的审查，因为缺陷是观察角度切换的产物，而非固有属性。
- ▍企业不应追求不存在「完美系统」，而应转向「有边界的不完美」，将设计重心从「消灭缺陷」转移到「限制错误发生后的灾难半径」。
- 01用 AI 写文章，用另一个 AI 评价，总能找出问题；同一 AI 换套提示词，可能给出相反意见，说明评价系统并非寻找正确答案，而是不断切换角度。
- 02过去评审成本高，一个方案「通过评审」仅意味着通过了有限人数、有限角度的检查，遗漏是默认存在的。
- 03AI 可以低成本扮演客户、法务、投资人、安全工程师等几乎所有角色，对同一份方案给出不同甚至冲突的结论，如安全部门说权限太宽，业务部门说限制太多。
- 04安全领域的攻击者不需要击败整个系统，只需找到一个系统设计者没有覆盖的合法组合，如每一步认证、审批都是合法的，但最终资金被转走。
- 05AI Agent 摧毁了人类执行速度慢的天然防线，错误可以高速、并发、持续地执行，一次错误可能在几秒内造成不可逆的损失，如一个 CRM Agent 被错误指令注入后，10 分钟内发完 10 万封错误合同。
- 06自然界生物的策略不是消灭缺陷，而是通过冗余、分散、隔离来限制单一缺陷的杀伤范围，如免疫系统、细胞隔离。
反方 / 局限
- — 作者承认「有边界的不完美」原则考验的是组织的诚实程度，承认自己的模型会错、管理员会被骗，在很多公司的文化里近乎「唱衰自己」，实施起来有文化阻力。
- — 文章的核心论点建立在「AI 审查成本趋近于零」这个前提上，但并未讨论在特定领域（如高安全要求的军工系统），人为审查的「决策权」和「法律后果」是否会被 AI 替代，从而削弱无限审查的可行性。
14 分钟 · 4 卡片 · 8 资料
读原文 →