该研究针对手术视频理解中现有评估指标忽略层级结构的问题,提出两项贡献:一是构建了首个层级感知评估套件SurgHiBench,包含识别、一致性和严重程度三类任务,跨粒度层级衡量模型表现;二是提出双曲模型HyperSurg,通过蕴含锥强制实现阶段与步骤间的包含关系。研究在涵盖三类手术的四个数据集上评估了通用CLIP模型、欧氏手术模型及HyperSurg,发现准确率相同的两个模型在错误严重程度上可能差异显著,从同一阶段内的兄弟节点混淆到跨阶段的不相关预测不等。双曲几何能将预测推向正确的手术邻域,且增益随数据集标注层级的树状程度而增大,为判断层级感知几何何时有效提供了原则性指标。
| SurgHiBench | 首个面向手术视频理解的层级感知评估套件,包含识别、一致性和严重程度三项任务。 |
| HyperSurg | 一种新的双曲空间手术视频-语言模型,通过蕴含锥强制阶段与步骤之间的层级包含关系。 |
| 双曲几何 | 一种具有负曲率的非欧几何,适合嵌入树状层级结构,能更好地表示手术阶段-步骤的包含关系。 |
| 蕴含锥 | 双曲空间中用于表示层级包含关系的几何结构,确保子节点位于父节点的锥形区域内。 |
| 树状程度 | 衡量数据集标注层级与树形结构相似程度的指标,用于判断双曲几何是否带来增益。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅