科技Bestblogs·Engineering at Meta··AI 生成
在缺陷落地前捕获它们：JiTTesting 在全规模下的人类在环方法
Meta 工程团队披露了生产级 LLM 测试系统 Catching JiTTests 的完整架构：用意图感知和可疑 diff 两条工作流为每个代码 diff 生成可执行测试，再用 LLM-as-Judge 集成加确定性规则引擎 RubFake 两级过滤，只把高置信度失败推给工程师。2026 年上半年该系统在 diff 阶段捕获 74 个严重隐私缺陷，隐私 SEV 下降 20%，真阳性率 60%，触达 589 名工程师（64%）。适合关注 AI 辅助研发、大规模测试基础设施与工程效能度量的读者。原文 ↗原文 ↗
核心观点
- ▍LLM 生成的即时测试（JiTTest）可以扩展到 Meta 级代码库：关键在于不追求单测试的精确性，而是先大量生成弱捕获，再用两级过滤把高置信度失败呈现给工程师。
- 01系统采用两个互补工作流：意图感知工作流推断开发者改动意图并构造风险变异体；可疑 diff 工作流把 diff 本身当作变异体，生成用于区分行为的测试。两者共同产生大量弱捕获。
- 02过滤流水线由 LLM-as-Judge 集成（多个前沿 LLM 聚合判断）和名为 RubFake 的确定性规则评估器组成，组合排序后只放行高置信度失败，最终真阳性率达到 60%。
- 032026 年上半年，Catching JiTTests 在代码 diff 阶段、生产落地之前捕获了 74 个严重（SEV）隐私缺陷，并使同期隐私 SEV 总体发生率降低 20%。
- 04系统触达 589 名工程师，触达率为 64%；工程师通过设置聚合阈值在高层级审查结果，减少了逐条捕获的审查负担。
反方 / 局限
- — 系统仍产生大量弱捕获，依赖两级过滤来压制误报；60% 的真阳性率意味着仍有约四成呈现结果是误报，审查摩擦并未完全消除。
- — 作者强调目标是让工程师积极参与结果，说明人类在环并非无成本，系统价值依赖工程师设置阈值和持续审查的行为配合。
- — 文中未交代 RubFake 规则集和 LLM-as-Judge 聚合判断本身如何维护与更新，也未讨论过滤流水线误杀真阳性（漏报）的情况。
概念锚点
前置背景
平行视角
未来推演
延伸追问