7.8
深览指数
科技Bestblogs·阿里技术··AI 生成
一个小模型意图识别系统的 5 天进化实录｜支付宝 618
本文详细复盘了支付宝 618 期间，一名新入职程序员基于 Qwen3-8B 模型构建意图识别系统的完整实战过程。核心不在于模型效果最优，而在于通过「自动化 prompt 进化闭环」和「训练/测试集分离+防过拟合规则」，在 5 天内让 8B 小模型在效果、延迟、成本之间取得平衡，最终线上带来商品点击率 3.7 倍的提升。文章提供了大量可复现的工程细节、踩坑记录和脚本化思维，适合有实操经验的 AI 应用工程师阅读。原文 ↗
核心观点
- ▍意图识别系统的核心工程命题是『快、省、准、记得住、不过界』五个约束下的模型选型与提示词自动优化，而非单纯追求模型精度。
- ▍手动调 Prompt 的本质问题是缺乏反馈回路，自动化闭环（自动评测→Badcase 归类→LLM 改写→验证）是突破人力瓶颈的关键，但需配合防过拟合规则才能实战可用。
- 01模型选型阶段排除了多模态模型（时延高、不敢用）和 Embedding 模型（不适合小模型意图分类），最终锁定 Qwen3 的 8B、14B 和 30B 版本进行四维评测。
- 02构建了业务规则驱动的黄金用例集：按购物、退款、参展、闲聊四类意图各 5 条，并包含跨类别边界用例（如退款外催、多意图混合），共 53 条测试用例，人工校验确保互斥性。
- 03实现自动化 prompt 进化闭环：脚本自动评测→命中错误则调用 LLM 归类 badcase→3 种改写策略（新增指示、增强约束、实例演示）→用测试集验证防过拟合。
- 04引入四条防过拟合规则：1）禁止修改 golden 用例；2) 禁止删除原有案例；3) 训练/测试集严格分离；4) 同一条用例反复出现提示'可能已过拟合'。
- 05线上最终采用 Qwen3-8B：效果（准确率略低于 14B）、延迟（省 40-60ms）、成本（下降 70%）、稳定性（4 个节点副本，降级策略）综合最优。
- 06A/B 测试结果显示：自定义对话组的商品点击率是基准组的 3.7 倍，人均价值贡献为基准组的 2.1 倍，验证了『基于意图的深度交互』对转化的正向作用。
- 07工程细节丰富：通过缓存热门流式响应避免重复打标、在 nginx 前加一层普通 Python-server 作为 failover 降级、使用工具链脚本（pbcopy、jq、jinja）替代手动操作。
反方 / 局限
- — 作者承认，当前基于少数参数的拼接式意图提取（<5 个参数）属于『简单查询』，对于复杂嵌套查询（如『昨天花 100 块买的那两盒面膜没送到，退款但不要全退』）表达能力不足。
- — 作者提示，翻译参数有范化难度，如果让模型输出灵活结构（json 内嵌 key 不确定），下游排查会变成灾难。
3 分钟 · 3 卡片 · 7 资料
读原文 →