科技Bestblogs·阿里云开发者··AI 生成
AutoResearch-LLM：让 Agent 接手 LLM 训练优化
文章介绍了一个名为 AutoResearch-LLM 的 Agent 驱动框架，它将 LLM 微调优化过程标准化为「场景诊断→方案设计→自动化实验」三阶段流水线，并将调参经验和踩坑记录沉淀为 SKILL.md 供 Agent 复用。该框架已在 1688 电商的 Query 改写、同款判定等任务上落地验证，实现了从人工试错到自动化探索的工程实践。适合希望将 LLM 微调流程工程化、平台化的算法工程师和 AI 基础设施团队阅读。原文 ↗原文 ↗
核心观点
- ▍将 LLM 微调优化从人工试错转为 Agent 驱动的自动化流水线，通过结构化流程和知识沉淀来降低调参门槛并提升效率。
- 01框架设计为三阶段：阶段一产出场景诊断报告（含七维诊断和基线复盘），阶段二设计实验方案（含技术候选库和六级调参优先级），阶段三自动化执行实验并记录结果。
- 02SKILL.md 文件不仅记录了流水线参数和调参清单，还积累了如 PyTorch 2.6 与 DeepSpeed 的兼容性问题、Qwen3 thinking 模式需关闭等关键踩坑经验。
- 03实验方案将参数按优先级分为六层（LR/LoRA→batch→训练策略→数据→分布式→评估），Agent 按序探索，基座模型在阶段一锁定后不可随意更换。
- 04实现了平台级问题与业务问题的关注点分离：星云平台错误使用官方 nebula-support skill 诊断，项目 SKILL.md 只维护专属调试表。
- 05已在 1688 电商的 Query 改写、同款判定、重排打分三个任务上验证了 SFT、DPO、蒸馏等训练方式，并集成了 BLEU/ROUGE 自动评估。
反方 / 局限
- — 文章主要介绍框架设计，但未系统评估其在多种不同领域任务和数据规模下的泛化能力，也未与当前主流的 AutoML 或超参搜索方法进行成本-收益对比。
- — 框架的自动化能力很大程度上依赖于初始 SKILL.md 中对调试经验和最优先参数的准确提炼，若缺乏此类领域先验，Agent 的探索效率可能下降。
概念锚点
前置背景
平行视角
未来推演
延伸追问