8.1
深览指数
科技人人都是产品经理·糠糠鸡··AI 生成
万字大白话解释大火的”JEV”模型是啥，相比传统LLM区别在哪？（内含对应产品演示和小型评测）
本文详细介绍了初创公司 TypeSafe 发布的 System One 系列模型 JEV。该模型不生成文本，仅输出类型化的决策和概率（Noul/Choice/Score），旨在成为 AI Agent 系统中的“快判断层”。文章从创始人（OpenAI 老兵、RLHF 发明者 Diogo Almeida）的背景讲起，用大量比喻和对比表解释了 JEV 在原理、训练方法（RLCD vs RLHF/RLVR）、成本、速度、输出格式（类型安全）和可信度（校准与幻觉的区别）上与传统 LLM 的本质差异。作者通过自建的驾驶决策 demo 和股票辅助工具原型，对 JEV 进行了独立评测，发现其成本极低但延迟和校准质量在特定任务上未达预期。文章强调 JEV 是一个需要持续校验的组件，其真正的护城河在于概率可信度，且该点仍需大规模独立验证。原文 ↗
核心观点
- ▍JEV 不是更聪明的 LLM，而是一个专注于“不说话、只做判断”的新品类，定位为 Agent 系统中的“快判断层”，通过主动收窄功能（仅输出类型化概率），在特定工作流上获得了成本与速度的巨大优势。
- ▍JEV 真正的竞争壁垒在于“概率可信”（校准），但这恰恰是最需要独立验证的地方；其只保证输出格式正确（类型安全），不保证判断本身正确。
- 01JEV 返回三种基本类型：Noul（事件概率，如 0.95）、Choice（多选概率分布）、Score（加权平均，如 1.4），不生成自由文本。类型错误在架构上被官方宣称“在数学上不可能”。
- 02JEV 训练方法 RLCD 的目标不仅是答对，更是让模型输出的概率更接近实际发生频率，即“校准”。这与 RLHF（讨好人类）和 RLVR（追求标准答案）的目标不同。
- 03官方自测数据显示，在四个工作流中，JEV 在成本（0.0004 美元/案例）和速度（0.4 秒）上远优于旗舰模型（如 Opus 5 0.18 美元/38 秒），但准确率落后 5 个百分点。官方承认此数据存在多项折扣。
- 04作者自建的驾驶决策 Demo 实测：480 次请求成功 466 次，端到端延迟 P50 约 1.4 秒（远高于官方宣传的 70-500 毫秒），ECE 校准误差高达 0.2703，且模型在“容易”场景上信心不足，在“陷阱”场景上过度乐观。
- 05官方引用的“快 193.6 倍、便宜 444.6 倍”的宣传数据，源于与最贵模型（Opus 5）的对比；与其真正对手（便宜小模型如 Haiku）相比，优势缩小到十几到几十倍。
反方 / 局限
- — “不会幻觉”是误导性宣传：JEV 消除了编造不存在选项的幻觉（类型安全），但绝对可能做出错误判断（选择错误选项）。正确答案是 LLM 和传统分类器都可能出现的。
- — 校准不等于正确：即使在任务上证明校准良好，说“95% 把握”的决策中仍有 5% 会失败，且用户无法知道是哪一次。这在高风险场景（决策、生产）中是致命的。
- — 作者 Demo 发现，JEV 对输入非常敏感：简单修改字段顺序，导致返回的概率最大变化了 32 个百分点。这表明其决策的稳定性和鲁棒性存疑。
JEV (System One Model)Diogo AlmeidaTypeSafe AIRLHF (Reinforcement Learning from Human Feedback)RLCD (Reinforcement Learning for Calibrated Decisions)William Stanley Jevons杰文斯悖论OpenAIVercel克劳德·香农LangChainTechCrunch
47 分钟 · 5 卡片 · 10 资料
读原文 →