本文提出 Omni-IO Skills,一种即插即用的智能体框架(Agent Harness),旨在让现有通用智能体无需修改推理核心即可具备多模态原生能力。针对当前智能体在文本、图像、音频、视频、文档、3D 资产和代码等模态上能力碎片化的问题,该框架通过分层技能、标准化多模态执行接口、依赖感知编排和持久化资产注册表实现统一调度,并以声明式执行图支持多资产工作流的并发执行与跨轮复用。其 27 项技能覆盖 7 种模态、4 类能力共 38 个代表性任务。在 UniM-90 基准上,该框架将 GPT-5.6 Sol 和 Claude Sonnet 5 的输入支持率从约 40% 提升至 100%,语义—质量耦合得分相对提升近两倍,严格结构得分接近满分,表明框架级能力组合是构建可演化全能系统的可行路径。
| Agent Harness | 一种即插即用的智能体挂载框架,在不修改宿主智能体推理核心的前提下为其扩展多模态能力。 |
| Omni-Native | 指智能体原生具备跨文本、图像、音频、视频、文档、3D 资产和代码等多种模态的统一处理能力。 |
| Declare Execution Graph | 声明式执行图,用于表示多资产工作流,可并发调度独立操作并注册输出以供复用。 |
| Asset Registry | 持久化资产注册表,用于存储和管理工作流中生成的中间资产,支持下游及跨轮次复用。 |
| Semantic-Quality Coupled Score | 语义—质量耦合得分,一种同时衡量生成内容语义正确性与输出质量的综合评价指标。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅