6.8
深览指数
科技腾讯新闻··AI 生成
13人团队叫板Anthropic：我们造了一个更快更便宜的大模型
美国初创公司Subquadratic号称开发出SubQ模型，通过稀疏注意力技术解决了大语言模型的二次方计算瓶颈，在处理速度和成本上远优于现有顶尖模型。第三方测试显示其在编程和超长上下文任务上表现突出，但模型未开放公测，且基于开源Qwen权重而非完全自研，引发质疑。文章适合关注AI架构创新和模型效率投资的读者，帮助评估这一新技术声明的可信度与潜在影响。原文 ↗
核心观点
- ▍Subquadratic声称其SubQ模型通过动态稀疏注意力机制解决了稠密注意力的二次方计算瓶颈，实现更快、更便宜、更省电的推理，并在编程等任务上追平Anthropic、OpenAI等顶尖模型。
- 01Appen在LiveCodeBench编程测试中给出89.7%的分数，与前沿模型相当。
- 02Appen测试显示SubQ比使用FlashAttention的模型快56倍，在RULER 128测试中成本仅为Anthropic Opus 4.6的1/325（8美元 vs 2600美元）。
- 03SubQ支持最长1200万token的上下文窗口，在600万和1200万token的大海捞针测试中均取得98%的准确率。
- 04演示显示SubQ能从400份文档中快速提取并推理信息，而Perplexity连400份文档都无法加载。
反方 / 局限
- — SubQ基于开源模型通义千问（Qwen）的权重构建，并非完全从头训练，与其「彻底重新发明LLM工作方式」的声言存在张力。
- — 独立AI研究者威尔·德普指出，公开证据不足以支撑「解决了二次方注意力瓶颈」这一重大声明，因为模型未开放公测，大部分声称缺乏独立复现。
- — 文章承认基准测试仅反映局部能力，在特定条件下跑出的好成绩不等于在各种真实场景下都好用。
SubquadraticSubQAppenAlex WhedonJustin DangelJeanine Sinanan-SinghWill DepueDan McAteer稀疏注意力稠密注意力TransformerAnthropic通义千问 (Qwen)LiveCodeBench
8 分钟 · 3 卡片 · 9 资料
读原文 →