低成本摄像头也能精准定位屏幕！DABACO数据集用嵌入式平台采集视频，还开源了评估工具包
DABACO: A Multi-Camera Dataset and Benchmark for Screen Localization and Pointing Estimation
📖 AI 总结
本文介绍了DABACO数据集，旨在解决低成本交互设备中屏幕定位与指向估计研究缺乏真实数据的问题。现有合成数据难以复现光学畸变、卷帘快门、运动模糊等真实采集特性，且多数数据集仅提供静态图像，无法评估连续指向任务。DABACO由多款低成本相机传感器采集的视频序列构成，涵盖黑白全局快门与彩色卷帘快门模块，运行于Raspberry Pi 4B和ESP32-S3等嵌入式平台。数据集采用结合临时视觉水印、光流跟踪、人工校验与标记移除的系统化标注流程，同时发布原始标记图像、去标记图像、角点标注及修改掩码，以支持审计与重建偏差研究。作者还开源了评估工具包及两个基线方法：基于边缘与轮廓几何的经典屏幕检测流程，以及未经数据集特定训练的YOLOv8分割模型，并在通用计算机上以交并比、角点误差和指向误差进行评测，为后续嵌入式实现建立了初始参考基准。
🔑 关键词速览
| DABACO | Dispositivo Apuntador de BAjo COste 的缩写，意为低成本指向设备，是一个项目名称，本文数据集即在该项目下开发。 |
| 屏幕定位 (Screen Localization) | 指在图像或视频中检测并确定屏幕区域位置的过程，通常涉及角点检测或轮廓提取。 |
| 指向估计 (Pointing Estimation) | 指通过摄像头等传感器估计用户指向屏幕的具体位置或方向的技术。 |
| 卷帘快门 (Rolling Shutter) | 一种相机曝光方式，逐行曝光导致快速运动时产生图像畸变，与全局快门相对。 |
| 交并比 (Intersection over Union, IoU) | 评估目标检测或分割精度的常用指标，计算预测区域与真实区域的交集与并集之比。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅