6.7
深览指数
科技微博·量子位··AI 生成
让Skill“有图可依”：openJiuwen首发多模态Skill范式Skill-Omni
openJiuwen发布了Skill-Omni，一种将网页截图和视频关键帧转化为Agent可复用多模态技能(Skill)的工程化方案，旨在解决纯文本Skill在图像编辑、GUI自动化等视觉任务中的信息丢失问题。文章不仅介绍了其从网页/视频中提取视觉经验、生成并供Agent按需读取的机制，还指出现有学术研究已验证该方向，而openJiuwen是首个将其工程化落地的实践者。适合关注多模态Agent、GUI自动化及智能体技能体系的开发者和技术决策者阅读。原文 ↗
核心观点
- ▍当前Agent的Skill多为纯文本，在处理图像编辑、GUI操作等视觉任务时存在严重信息缺失，多模态Skill通过引入“看得见”的视觉参照（截图、关键帧）能显著提升Agent的执行准确性和判断质量。
- ▍openJiuwen是业内最早将多模态Skill范式工程化落地的实践者，其Skill-Omni方案通过“按需读取”机制平衡了视觉信息的丰富性与上下文开销。
- 01图片编辑任务中，文字Skill描述‘调整色调使主体突出、背景柔和’过于模糊，而多模态Skill提供的前后对比图能让Agent明确‘调整到什么程度才算合理’。
- 02GUI自动化任务中，文字指令‘进入设置-高级选项-导出设置’可能因界面图标、页面滚动位置、菜单形式不同而失效，而关键界面截图能消除这种歧义。
- 03MMSkills和VisualSkill等近期学术论文已从理论角度论证了多模态Skill方向的价值，但未涉及工程化应用。
- 04skill-omni-creation支持两类输入：网页链接和B站视频链接，可自动解析、过滤广告并提取关键截图与操作脉络。
- 05JiuwenSwarm的按需读取机制包括：运行时检测API是否支持多模态输入、动态注入提示引导Agent调用read_file读取图片，实现图片按需进入上下文而非一次性全量加载。
- 06应用场景包括图像编辑、GUI自动化、视频教程沉淀和企业SOP知识库升级。
反方 / 局限
- — 文章指出，视频教程的信息密度高但复用难度大，转录成文字会丢失视觉状态，而逐帧塞给Agent又会带来巨大的上下文成本，这暗示了当前方案的性能瓶颈和应用边界。
9 分钟 · 5 卡片 · 6 资料
读原文 →