手术视频推理分割新突破：J&F最高提升0.297，数字孪生加强化学习让AI读懂隐式查询！
Complexity-Aware Surgical Video Reasoning Segmentation with Digital Twin and Context Memory
📖 AI 总结
该研究针对传统手术视频分割依赖封闭类别或显式文本查询、无法处理需要推理工作流程与器械功能等隐式查询的问题，提出复杂度感知方法SurgReasonSeg，将基于数字孪生表示的可推理分割引入手术视频。方法上，它利用手术基础模型构建数字孪生表示，用强化学习训练同一大语言模型的两个低秩适配器分别应对不同查询复杂度，并由同样经强化学习训练的轻量路由器在延迟与精度间取舍；同时按查询复杂度和工作流阶段设置自适应滑动窗口，并从手术上下文记忆中按工作流相似性检索历史病例。作者还构建了包含1460个训练样本和961个测试样本的EndoVis-ReasonSeg基准，覆盖语义、空间和时间三类查询。在该基准上，该方法相较最强基线ReSurgSAM2的J&F分别提升0.178、0.237和0.297，并在Ref-EndoVis17与Ref-EndoVis18上取得最佳结果，平均运行速度达18.8 FPS，可实现实时推理分割。
🔑 关键词速览
| SurgReasonSeg | 本文提出的复杂度感知手术视频推理分割方法，结合数字孪生和上下文记忆。 |
| Digital Twin (DT) | 数字孪生，指手术场景的虚拟表示，用于支持推理分割。 |
| LoRA (Low-Rank Adaptation) | 低秩适配器，一种参数高效的大语言模型微调技术。 |
| Reinforcement Learning (RL) | 强化学习，一种通过奖励信号训练模型决策的方法。 |
| EndoVis-ReasonSeg | 本文提出的手术推理分割基准数据集，包含语义、空间和时间查询类别。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅