🔥 今日值得一读 规则决策也能修!SemTree节点级修复让准确率从82%飙到86%
SemTree: Judge-Aware Semantic Decision Trees for Inspectable and Repairable Rule Decisions
arXiv LG (cs.LG) 🔥 重点 #可解释性#决策树#内容审核 🕐 今天 12:00
👨‍💼 主理人解读 · 为什么值得关注
可用于内容审核、广告合规等规则决策,开发者能获得可检查、可定位错误并修复的决策路径。

📖 AI 总结

该论文提出SemTree框架,将内容审核、广告合规、资格核查等规则决策表示为语义决策树:每个节点是一个带有明确是/否/未知判定标准的自然语言问题,由可插拔的语义评判器作答,分支结构依据评判器实际给出的答案编译而成。执行路径即为决策推理过程,因此错误可在发生处修复——审核者修正单个节点并重放规则,修正后的节点成为评判器的训练标签,工具型大模型编辑器则在观察执行结果的同时修改问题与子树。在全部8276个ShARC测试用例上,由托管评判器执行的树达到67.70%准确率,平均每例2.99个问题,与直接让同一评判器给出最终标签的68.23%相当;而为另一评判器编译的旧树由该评判器执行时仅得47.87%,基于该评判器对12个初始问题池的回答重新编译的树已达64.39%。节点级修复将BANKING77准确率从82.04%提升至86.16%,一个显式豁免节点将某中文电商审核条款的误报从24降至5,经训练的编辑器将编辑后树的开发集准确率从64.47%提升至73.35%。该工作表明,规则决策的语义树表示在保持与直接询问评判器相当性能的同时,提供了可检查、可定位修复的推理路径。

🔑 关键词速览

SemTree一种将规则决策表示为语义决策树的框架,每个节点是自然语言问题,由可插拔的语义评判器回答。
语义评判器(semantic judge)负责回答决策树中每个自然语言问题(是/否/未知)的可插拔组件,通常是语言模型。
节点级修复(node-level repair)审核者直接修正决策树中出错的单个节点并重放规则,从而在错误发生处进行修复。
ShARC一个用于规则决策的问答数据集,包含 8,276 个测试用例,常用于评估语义决策树等方法的准确率。
BANKING77一个银行领域意图分类数据集,常用于评估节点级修复对分类准确率的提升效果。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅