5.6
深览指数
产品量子位··AI 生成
科大讯飞发布星火Token Factory，打造企业级AI模型智能路由与治理新底座
科大讯飞正式发布星火Token Factory，这是一个企业级AI模型智能路由与治理平台。其核心创新在于通过基于Prompt复杂度、规则等维度的智能路由机制，将简单任务（如文本分类）调度至低成本模型，复杂任务（如长文分析）分配给高能力模型，在保障效果的同时优化Token成本。此外，平台对昇腾硬件进行了底层算子到上层调度的端到端优化，实测推理效率较开源框架vLLM-Ascend提升约5倍。文章还介绍了其安全治理（三权分立、审计日志）与成本归因能力。适合正在或计划将大模型投入生产环境、关注成本与治理的企业技术管理者阅读。原文 ↗
核心观点
- ▍星火Token Factory定位为企业级AI模型智能路由与治理平台，通过统一接入、智能路由、全链路治理与成本优化，解决企业大模型规模化落地中的管理、成本与安全挑战。
- 01平台基于Prompt长短、规则预置、对话轮次等多维度特征，对请求进行L1至L3智能分级，并综合质量、成本、延迟、可用性、安全等级五个因子匹配模型资源，决策平均延迟控制在100毫秒以内。
- 02针对昇腾硬件，平台从底层算子、显存压缩、计算通信重叠、分布式KV Cache管理、并行解码等维度进行了端到端工程优化。
- 03在相同硬件条件下，针对主流开源模型的基准测试，星火Token Factory相较开源vLLM-Ascend框架推理效率提升约5倍，首Token延迟降低30%–40%。
- 04平台提供“三权分立”（管理、操作、审计）的安全治理体系，并对所有关键操作生成不可篡改的审计日志，覆盖数据访问、权限变更、模型调用等六大类操作。
- 05平台提供端到端全链路日志审计，支持Token消耗统计、成本归因分析、预算管理和ROI分析，实现从“黑盒运行”到“透明运营”的转变。
反方 / 局限
- — 文章为科大讯飞官方稿件，未提及任何关于该平台的实际落地案例、客户反馈、与竞品（如百度智能云、阿里云模型服务平台）的对比，或其在非昇腾硬件（如NVIDIA GPU）上的性能表现。
- — 文章未说明智能路由的“准确率”或“误判率”——即若一个简单任务被错误路由至低能力模型导致输出质量下降，系统如何容错或回退。
7 分钟 · 4 卡片 · 9 资料
读原文 →