大模型内部竟能线性解码全部26个法律因素，AUC最高1.00！
Where Do Legal Factors Live in LLMs?
📖 AI 总结
该研究探讨大语言模型内部是否形成与法律推理中专家定义的法律要素相对应的表征。作者以CATO框架的26个法律要素为对象，在Qwen3-1.7B、Qwen3-8B和Gemma-2 2B三个开源模型上进行实验，通过线性可解码性与稀疏自编码器稀疏定位两项分析加以检验，并辅以跨模型比较和人工审核。结果显示，全部26个要素在三个模型中均可线性解码，单特征稀疏读出即可覆盖完整要素目录，最佳层测试AUC介于0.86至1.00之间，五个选定特征即接近全向量读出性能；研究还报告了78个模型特定的层—特征坐标。这表明专家定义的法律要素信息可从模型处理法律叙事的内部激活中读出，从而将法律语言、HYPO与CATO的符号化抽象同模型学习到的内部表征联系起来，为法律AI的可解释性与审计提供了依据。
🔑 关键词速览
| HYPO dimensions | HYPO系统中用于符号化表示案例事实模式的维度，支持基于案例的法律推理与比较。 |
| CATO factors | CATO系统中从案例叙述提炼的26个法律因素，以结构化符号形式表示法律上重要的事实模式。 |
| 线性可解码性 | 指通过线性分类器从模型内部激活中读出特定信息的能力，用于检验表示是否线性可分。 |
| 稀疏自编码器 | 一种无监督学习方法，通过稀疏性约束学习可解释的特征表示，用于定位模型内部特定概念。 |
| AUC | ROC曲线下面积，衡量分类器性能的指标，值越接近1表示区分能力越强。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅