深览
8.5
深览指数
科技Bestblogs·阿里技术··AI 生成

阿里荣膺 ACL 2026 最佳资源论文 | HSCodeComp 揭开智能体「分层规则应用」的能力鸿沟

阿里团队构建的 HSCodeComp 基准获评 ACL 2026 最佳资源论文，该基准首次评估 AI Agent 在海关商品编码分类场景中的分层规则应用能力。评测发现，最强 Agent（Hermes-Agent + Qwen3.7-Max）准确率仅约 49.4%，而人类专家达 95%，存在约 45% 的能力鸿沟。多组实验表明，Test-Time Scaling 无法弥合差距，推理深度增加反而导致性能下降，而历史裁定库是最稳定的增益来源。该研究揭示了分层规则应用是当前 AI Agent 的结构性瓶颈，其能力边界与诊断方法可迁移至医疗编码、法律合规等同类任务。适合对 AI Agent 能力边界、评测方法论、以及专业领域 AI 应用落地感兴趣的读者。原文 ↗

核心观点
  • ▍HSCodeComp 是首个评估 Level 3 分层规则应用能力的专家级基准，填补了当前 Agent 评测的关键盲区，揭示了分层规则应用是当前 AI Agent 的结构性瓶颈，而非简单 Scaling 可解决的问题。
  1. 01评测 28 个系统后，最强 Agent（Hermes-Agent + Qwen3.7-Max）10 位准确率约 49.4%，而人类专家达 95%。
  2. 02即便在 6k 条专家标注数据上做 SFT + Agentic RL 训练，Qwen Agent 也仅提升至 65%，说明分层规则应用对当前 AI Agent 是结构性挑战。
  3. 03Test-Time Scaling 实验中，多数投票（K=1→16）几乎不带来提升；GPT-5 的 10 位准确率随推理深度从 40.82% 跌至 35.44%，原因是缺乏准确工具反馈的「自由发挥」会引发幻觉与推理漂移。
  4. 04接入历史裁定库（CROSS）后，三个骨干模型准确率均提升 5~10pt，因为真实历史裁定提供了高质量 few-shot 先例来消解规则歧义。
  5. 05视觉信息仅对强 VLM（如 GPT-5）有 +4pt 增益，对弱骨干几乎无效，说明「规则/知识检索」是地基，视觉是有益但非必需的补充。
  6. 06基准构建中，26 位专家采用六步标注流程，生成 632 条样本，横跨 32 个商品大类。
  7. 07全军覆没的样本高度集中于 Novelty & Special Use（1.3%）、Men's Clothing（2.2%）等长尾品类。
反方 / 局限
  • — 文章未提及 HSCodeComp 基准本身的局限性，例如 632 条样本量是否足够覆盖所有长尾类目，以及其方法论在海关编码之外的领域（如医疗、法律）的迁移效果是否已被实验验证。
HSCodeCompHS CodeLevel 3 分层规则应用Test-Time ScalingATH-MaaS 团队阿里ACL 2026Hermes-AgentQwen3.7-MaxGPT-5CROSS
5 分钟 · 4 卡片 · 10 资料
读原文 →

前置背景

平行视角

未来推演

延伸追问