7.9
深览指数
科技Bestblogs·Abeera Lodhi··AI 生成
我将 4 款模型的推理档位调至「高」：只解决了一个问题，却为所有消耗买了单
一项针对 GPT-5.4-mini、Gemini-3.7-Flash、Claude-Haiku-5.5 和 GPT-OSS-120B 四款模型的实证基准测试表明，将推理力度调至「高」在绝大多数任务中准确率几乎没有提升，除一个逻辑谜题案例外，其余 7/12 的测试单元准确率完全不变，但每个正确答案的成本却飙升了 1.5-3.4 倍。不同模型供应商对'推理力度'参数的理解和实现存在根本性不一致，包括抛出 400 错误或默认隐藏思考。文章对依赖'高推理=更好结果'直觉的工程师和 LLM 使用者有直接参考价值。原文 ↗
核心观点
- ▍将 LLM 的推理力度参数设为「高」几乎不会提升非逻辑类任务的准确率，却会不成比例地推高推理成本，是一种低效的默认设置。
- ▍不同模型供应商对「推理力度」参数缺乏统一标准，实际行为（从 400 报错到隐藏思考）差异极大，使用者无法依赖该参数获得可预测的效果。
- 01在 1800 次评分调用、4 款模型 × 3 类任务（演绎推理、算术对照、干扰项计数）共 12 个测试单元中，只有 gpt-5.4-mini 在演绎推理任务上获得了统计学显著的准确率提升（从 15% 升至 97.5%），其余 7 个单元准确率完全持平。
- 02在准确率不变的任务上，将推理档位调至「高」后，每个正确输出的成本增长了 1.5 到 3.4 倍不等。
- 03不同模型对「推理力度」参数的表现不一致：某个模型在设置为「none」时会直接返回 HTTP 400 错误；某些模型即使设置为「none」也会进行内部思考；各模型的 Token 消耗量增长模式也各不相同。
- 04该基准测试通过代码生成测试项并通过 SHA-256 哈希锁定，采用预注册假设与配对 Wilcoxon 统计检验，使用基于正则表达式的确定性答案提取，避免了 LLM 裁判的偏见。
- 05纯文本加自定义解析器是唯一在全部四家模型供应商之间表现完全一致的评估方案。
反方 / 局限
- — 文章仅评估了三种预设任务类型，对于需要复杂多步推理的开放式或长篇生成任务（如代码生成、法律论证），高推理力度的潜在价值未被覆盖，可能存在外推局限性。
- — 基准测试使用的模型版本名称（如 gpt-5.4-mini、gemini-3.7-flash）可能并非对应现实世界中用户直接可调用的最新生产版本，结论的时效性依赖于文章发布时的模型状态。
Reasoning Dialgpt-5.4-minigemini-3.7-flashclaude-haiku-5.5gpt-oss-120bAbeera LodhiDEV CommunityKaggle
4 分钟 · 4 卡片 · 7 资料
读原文 →