6.2
深览指数
科技Bestblogs·ben burtenshaw, merve, Pedro Cuenca, Aritra Roy Gosthipaty··AI 生成
欢迎 Inkling：来自 Thinking Machines
Thinking Machines 发布 Inkling，一个约 1T 参数、1M 上下文窗口的开放多模态混合专家模型，原生支持图像、文本和音频输入。该模型在 45 万亿 token 上训练，采用相对注意力、混合注意力、短卷积和共享专家汇聚等架构创新。它在主流推理引擎（transformers、SGLang、vLLM、llama.cpp）中提供首发支持，并包含量化变体以降低显存需求。文章适合对前沿多模态大模型架构、开源部署和推理优化感兴趣的读者，提供了具体的模型参数、架构细节和代码示例。原文 ↗
核心观点
- ▍Inkling 是首个开放的、参数规模约 1T、上下文窗口达 1M 的原生多模态混合专家模型，旨在为多模态推理应用提供基础模型。
- 01模型总参数 975B，激活参数 41B，使用 256 个专家，在 45 万亿混合模态 token 上训练而成。
- 02架构采用相对注意力、混合注意力（滑动窗口与全局比例为 5:1）、短 1D 卷积以及带共享专家汇聚的 MoE 以提高效率。
- 03视觉理解使用简单的分层 MLP 分块器，音频理解使用离散化梅尔频谱图。
- 04在 transformers、SGLang、vLLM 和 llama.cpp 中提供首发推理支持，并带有 NVFP4 和 GGUF 等量化变体。
- 05包含多 token 预测 (MTP) 草稿模型，用于推测解码，在不改变输出的情况下加速生成。
- 06文章提供了推理代码片段、部署脚本以及 vibe 评测链接，展示了模型在药物相互作用、物理问题和音频转录上的能力。
反方 / 局限
- — 文章未提及模型在特定任务上的局限性，例如在长上下文或复杂推理任务中的表现，以及开放权重模型的潜在风险。
InklingThinking MachinesHugging Face混合专家模型 (MoE)多 token 预测 (MTP)transformersSGLangvLLMllama.cppNVFP4GGUF
4 分钟 · 4 卡片 · 10 资料
读原文 →