6.7
深览指数
科技微博·机器之心Pro··AI 生成
快手AgentX:推荐系统开始自我迭代
快手发布技术报告《AgentX: Towards Agent-Driven Self-Iteration of Industrial Recommender Systems》,提出并验证了一套面向工业推荐系统的Agent驱动研发闭环。文章核心观点是:推荐系统迭代的真正瓶颈已从模型转向研发闭环,AgentX通过将实验拆解为方案生成、代码实现、评估和自进化四个阶段,让机器替代人工推进实验,实现经验复利。在快手实际部署中,3个worker在374个想法中产出10个可发布结果,带来App时长+0.561%和生活服务年化超1亿元收益,并发能力提升8倍。适合对工业推荐系统、AI工程化、自动机器学习感兴趣的读者阅读。原文 ↗
核心观点
- ▍推荐系统迭代的瓶颈已从模型转向研发闭环,AgentX通过将实验拆解为方案生成、代码实现、评估和自进化四个阶段,让机器替代人工执行实验,从而实现经验复利和规模化迭代。
- ▍自进化来自SGPO(Semantic-Gradient-based Prompt Optimization),它从历史执行轨迹中找出Agent工作方式的缺陷,诊断后更新子Agent的harness,并通过新旧版pair评估决定是否接纳。
- 01在快手App真实部署中,3个AgentX worker在主站推荐和生活服务两个场景共推动374个实验想法,其中106个通过方案审核,100个完成代码上线,10个获得正向评估并达到发布标准。
- 02业务收益:主站推荐用户App消费时长累计提升+0.561%,生活服务为快手贡献年化超1亿元收入。
- 03生产效率:单个AgentX worker平均维持约12个并发实验(传统工程师约1.5个),并发能力提升8倍;单worker每周产出1.1个可发布结果,是人工方式的13.8倍;单位人力贡献的累计App时长收益达到人工的3.7倍。
- 04AgentX展示出自加速特征:周并发实验数从15增至60,idea通过率从15%提升到45%,每周可发布结果从2个提升到5个。
- 05独立模型研究实验中,AgentX跑通了论文复现、模块组合、离线评估到在线测试的链路,达发布级别的模型在快手App直播时长指标上带来+0.865%收益。
- 06PCV增强精排分案例展示了闭环优化:第一轮直接boosting效果不显著且有风险;第二轮引入质量门控和自适应权重后取得用户时长+0.071%、曝光+0.118%。
- 07传统人工迭代的三个天花板:吞吐受限于人、经验难以沉淀为系统能力、离线判断无法替代真实A/B反馈。
- 08Developing Agent通过仓库知识库、特征schema查询、DSL检查、C++语法检查、dryrun验证等工具约束代码生成在真实仓库规则内。
反方 / 局限
- — 文章未披露AgentX系统的训练成本和推理开销,只给出了收益端数据,未提及投入端(如GPU资源、工程成本、维护成本)。
- — 10/374 = 2.7%的实验产生可发布结果,大量实验仍是「废实验」,文章未深入讨论这些废实验的资源损耗和对线上稳定性的潜在风险。
快手AgentXSGPO(Semantic-Gradient-based Prompt Optimization)Brainstorm AgentDeveloping AgentEvaluation AgentHarness EvolutionPCV(Post-Consumption Value)机器之心arXiv
10 分钟 · 5 卡片 · 10 资料
读原文 →