语言模型在分析跨学科科学文献时面临独特挑战:生物物理学研究要求将观测数据锚定于原始证据,通过定量物理模型加以解释,并最终关联到生物学机制。为此,研究者提出BioPhys-Bridge,一个面向生物物理文献、以证据为根基的科学推理基准数据集。每个案例包含证据块、稳定的证据ID、定量数值、单位、方程、假设、机制及后续决策等标注目标,支持问答与检索增强生成任务。初始版本含500个案例、1517项面向智能体的任务,覆盖六个生物学领域和九个物理模型族。所有案例均经过严格质量筛查,其中81例由领域专家审核标注。初步评测显示,DeepSeek-V4-Flash取得最高证据ID F1分数(0.360),Qwen3.7-Max(0.316)与GPT-4o-mini(0.294)紧随其后。该基准为评估归因、忠实性、幻觉抑制及生物实验设计中的多步科学推理提供了跨学科测试平台。
| BioPhys-Bridge | 一个用于生物物理文献中基于证据的科学推理的跨学科基准数据集。 |
| 证据锚定 | 将模型回答中的断言与源文献中的具体证据块和证据 ID 相关联,以确保可追溯性和忠实性。 |
| 检索增强生成 (RAG) | 一种结合检索外部知识库与生成模型的方法,用于提高回答的准确性和证据支持。 |
| 证据 ID F1 分数 | 评估模型正确识别和引用证据 ID 的精确率和召回率的调和平均指标。 |
| 物理模型族 | 一组具有相似数学结构或假设的物理模型,用于解释生物物理现象。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅