科技Bestblogs·AI Engineer··AI 生成
用 NVIDIA Data Designer 教智能体学会搜索：Dhruv Nathawani 的数据构建实战
NVIDIA 研究员 Dhruv Nathawani 演示了一套将目标搜索行为转化为可复现智能体训练数据的完整流水线：通过 Wikidata 图谱路径生成需要多跳推理的搜索谜题，并用 MCP 工具收集真实调用轨迹。约 5 万个种子最终仅产出 7000 条高质量样本，BrowseComp 成绩从 0% 提升至 30%。作者的核心贡献在于将数据构建流程代码化、版本化，并强调了策略多样性、严格验证与人工复核的重要性。适合正在从事或计划搭建智能体训练数据管线的 AI 工程师阅读。原文 ↗原文 ↗
核心观点
- ▍可以将期望的智能体搜索行为转化为可复现、可版本化的数据流水线，核心是通过 Data Designer 组合种子、采样器、生成列和评判列来构建多样化的训练数据。
- ▍利用 Wikidata 图谱中的多跳路径生成搜索谜题，是让训练数据真实依赖检索而非模型记忆的关键方法。
- 01通过 MCP 协议连接搜索工具，收集智能体在解决 Wikidata 生成谜题时的完整搜索轨迹。
- 02约 5 万个初始种子最终只筛选出约 7000 条高质量、完整的监督微调样本，转化率约 14%。
- 03使用该方法训练后，模型在 BrowseComp 上的成绩从 0% 提升到 30%。
- 04数据流水线本身作为代码共享，可以版本控制和管理。
- 05工作流程包括：候选问题生成、搜索执行、证据 URL 收集、为监督微调筛选记录。
- 06作者建议优先增加策略多样性，选择成本最低且适合任务的列类型，并强调超量生成后严格筛选。
反方 / 局限
- — 图谱中的事实可能过期，导致生成的搜索问题答案与现实不符。
- — 严格的字符串匹配可能误判正确答案。
- — LLM 评判结果需要人工抽查，不能完全依赖自动评估。
- — 演讲中给出的 BrowseComp 成绩提升数据，转录稿未提供完整的实验控制条件，需要谨慎看待。
概念锚点
前置背景
平行视角
未来推演
延伸追问