7.1
深览指数
科技人人都是产品经理·沃垠AI··AI 生成

实测HuggingFace榜一的决策模型,果然吊打Jev

文章介绍了上海团队 StartLux 发布的新一代 System 1 决策模型 v1.1,该模型在 HuggingFace 决策指数上大幅领先此前的标杆模型 Jev。作者通过特斯拉 Roadster 飞行视频的实测、客服工单管理 Demo,展示了该模型在高频、毫秒级决策任务上的性能优势。文章深入解释了决策模型与通用大模型在定位上的本质区别——前者专用于直觉式快速判断(裁决),后者负责生成内容,并提出了两者组合使用的五种业务模式,为 AI 产品设计提供了具体的技术选型参考。适合关注 AI 应用架构、模型选型的技术决策者阅读。原文 ↗

核心观点
  • ▍System 1 决策模型(如 StartLux-Decision)与通用 LLM 是互补关系:LLM 负责解释和生成,决策模型负责高频、毫秒级的结构化判断(裁决),两者组合能显著提升 AI 决策的效率和质量。
  • ▍StartLux-Decision-v1.1 是目前决策领域的 SOTA 模型,在 HuggingFace 决策指数断崖式领先,其 27B 版本在多个评测维度上超越更大参数量的竞品。
  1. 0114秒的 Roadster 飞行视频实测:模型执行31次请求、155项判断、71次触发思考,单次请求延时仅62毫秒。
  2. 02在作者自建的138个测试用例评测集中,StartLux-Decision-v1.1 取得满分,覆盖推理、成对判断、概率校准、none检测与图片理解。
  3. 03在客服工单 Demo 中,glm-5.3 起草回复耗时数秒,而决策模型对回复的合规性判断 <1秒;生成环节消耗1000+tokens,判断环节仅用4次请求/16项判断。
  4. 04v1.1 推出 Instant(极速版0.8B-27B)和 AutoThink(自适应推理版4B-27B)两个分支。Instant 版本允许提示词双向读取;AutoThink 在不确定时自动追加最多4096 Token的推理轨迹。
  5. 05Instant 版 4B 从52.75分提升至65.81分,27B 提升8.17分;AutoThink 版 27B 从63.88提升至72.60分,在 DI 0.3.2 上拿下 73.37 分,远超 Jev 的 57.96 分。
  6. 06模型在 HuggingFace 上开源,采用 Apache-2.0 协议(商用需授权),提供 vLLM、llama.cpp、MLX 支持及量化版本。
反方 / 局限
  • — 文章承认 Jev 路线的固有弊端:面对精密数字和复杂逻辑(如运费+0.02SEK 导致筛选结果截然相反),单次直觉判断容易出错,无法灵活处理边界条件。
  • — v1.1 的 AutoThink 模式虽然通过追加推理解决了复杂问题,但推理过程需消耗最多4096个 Token,在极端实时场景(如自动驾驶控制循环)下仍可能存在延迟风险(文章未展开讨论)。
  • — 文章本质上是模型发布软文,所有评测数据均由作者自己搭建或引用团队数据,缺乏第三方独立复现验证,存在宣传性偏差。
15 分钟 · 5 卡片 · 14 资料
读原文 →

概念锚点

前置背景

平行视角

未来推演

延伸追问