GRACE框架针对大语言模型在高风险场景中生成无依据内容的问题,提出了一种基于图结构的专家参与式知识验证与扩展方案。该框架将模型输出拆解为原子化声明,并在加权二分图中与可信知识先验进行比对,通过边权重和中心性分析将声明划分为有据、反驳或边界三类,从而不仅识别幻觉,还能发现处于知识前沿的新颖或争议性内容。GRACE引入“注意力回报”目标函数,仅在声明的优先级加权不确定性超过验证成本时才交由专家审查,以优化人机资源分配。经专家验证的声明可升级为新的证据锚点,形成验证器与大模型间的迭代进化闭环,持续扩充知识库。实验表明,该知识库作为检索基础优于传统RAG基线,且注意力回报机制能高效筛选有价值的边界知识,证明图结构表示结合专家验证可在系统层面而非生成层面缓解幻觉问题。
| GRACE | 图基反思代理副驾驶引擎,一种将LLM响应分解为原子声明并与知识图谱进行比对的框架。 |
| RAG | 检索增强生成,一种通过检索外部文档来增强语言模型生成的技术。 |
| 加权二分图 | 一种图结构,其中节点分为两组,边连接不同组的节点并带有权重,用于表示声明与知识先验的关系。 |
| RoA | 注意力回报,一种优化目标,用于决定何时将声明推迟到专家审查以平衡资源分配。 |
| 专家在环 | 一种验证机制,人类专家参与审查和验证模型输出,以提高准确性和可靠性。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅