6.5
深览指数
科技微博·机器之心Pro··AI 生成
突破极限！港大提出首个适配300+任务的持续学习架构，破解遗忘难题
香港大学研究团队提出持续学习新范式 CaRE，基于双阶段路由混合专家（BR-MoE）机制，首次将类增量学习扩展到 300 个以上非重叠任务，在超长序列上显著超越现有基线。文章核心贡献在于：通过逐层动态路由实现任务间知识互补与判别性特征提取，同时构建了含 1000 个类别的 OmniBenchmark-1K 长序列评测基准。适合关注 AI 前沿技术、持续学习与模型可扩展性研究的从业者阅读。原文 ↗
核心观点
- ▍CaRE 是目前首个被系统验证能在 300+ 无重叠任务上稳健运行的持续学习方法，在经典短序列设置中也保持全面领先。
- 01CaRE 在 OmniBenchmark-1K 上设置了 100、151、200 乃至 301 任务的超长序列评测，一些短序列中表现好的方法在长序列中性能急剧崩溃，而 CaRE 始终保持稳健。
- 02CaRE 的核心机制 BR-MoE 采用两阶段路由：第一阶段通过[CLS] Token 的预测熵动态选取 Top-M 个最相关任务的路由网络；第二阶段从这些路由网络关联的专家中加权融合 Top-K 个最相关专家。
- 03OmniBenchmark-1K 数据集来自 OmniBenchmark-V2，精选 1000 个类别、约 19 万张图像，横跨鸟类、食物、植物等 21 个视觉领域，排除了与 ImageNet 的重叠数据。
- 04可视化分析显示：浅层网络（如 Layer#3/6）少数专家被高频调用，提取通用底层视觉特征；深层网络（如 Layer 12）激活模式稀疏且具有高度任务特异性。
- 05在推理阶段，即使处理早期任务，模型也会动态调用从后续任务学到的互补专家知识，证明 BR-MoE 具备全局知识整合能力。
反方 / 局限
- — 文章指出，现有持续学习方法大多只在 5-20 个任务的极短序列上验证，一旦扩展到上百个任务性能就会显著下滑甚至崩溃。
- — 文章未提及 CaRE 在跨领域（如图像-语言-音频联合序列）持续学习上的实际效果，仅作为理论展望。
7 分钟 · 3 卡片 · 9 资料
读原文 →