QuPAINT量子材料表征新突破,8B模型精准识别薄片层厚!
QuPAINT: Physics-Aware Multimodal Reasoning for Quantum Material Characterization
arXiv CV (cs.CV) 重要 #多模态#物理感知#量子材料#域适应 🕐 09-14 12:00

📖 AI 总结

本文提出QuPAINT,一个面向二维量子材料表征的物理感知多模态框架。研究针对光学显微图像中剥离薄片定位与层厚判定的核心难题,即模型面临合成到真实的域偏移,以及材料、衬底、实验室和成像条件差异带来的泛化挑战。作者构建了Synthia合成材料框架,在保持层依赖光学行为的前提下生成多样化合成显微图像,并据此建立QMat-Instruct多模态指令数据集,其推理轨迹源自经核验的标注且限定于可观测光学线索。QuPAINT通过物理信息注意力机制将衬底相对光学先验注入视觉表征,支撑有据可依的多模态推理。评估方面,作者推出QF-Bench,覆盖多种显微与衬底条件,并基于其核验标注考察计数、视觉定位、推理质量、置信度校准及对未见材料的迁移。QuPAINT-8B在通用与单层薄片检测上均显著超越既有方法,达到当前最优,且图像接地监督提升了严格空间定位与置信度校准能力。

🔑 关键词速览

QuPAINT一种物理感知的多模态框架,用于可迁移的量子薄片表征,通过注入光学先验支持多模态推理。
Synthia合成材料框架,生成多样化的合成显微镜图像,同时保持层依赖的光学行为。
QMat-Instruct一个多模态指令数据集,包含由验证标注生成的图像特定推理轨迹,并限制在可观察的光学线索内。
Physics-Informed Attention (PIA)物理信息注意力机制,将衬底相对的光学先验注入视觉表示,以支持有根据的多模态推理。
QF-Bench据称是最大的真实世界基准,用于量子薄片表征,涵盖多样的显微镜和衬底条件。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅