本文探讨了能否利用基于大语言模型的编程智能体从数据中学习可解释模型。作者提出一种简单框架,反复提示编程大模型在给定标注样本的情况下生成规则集中的下一条规则。实验表明,该方法在表格数据上与当前最先进的规则学习方法相比具有竞争力,在小规模训练集上往往更优;在文本数据上则大幅领先,甚至超过另一种基于大模型的规则学习器,同时也优于标准框架。由于编程智能体不受高度受限假设空间的约束,该方法还能直接催生新型可解释模型。除推动可解释模型学习外,该研究还引入了一类新的编程基准——构建可解释分类器,其兼具可量化的输出质量指标(即测试集误差)和成熟的“专家编程算法”(即现有学习方法)。
| LLM-based coding agents | 基于大语言模型的编码智能体,能够根据提示生成或修改代码。 |
| interpretable models | 可解释模型,指其决策过程对人类而言易于理解和解释的机器学习模型。 |
| rule-learning methods | 规则学习方法,从数据中自动学习出以规则形式表示的模型的方法。 |
| tabular data | 表格数据,以行和列形式组织的数据,常见于数据库和电子表格。 |
| hypothesis space | 假设空间,机器学习算法在搜索模型时考虑的所有可能假设的集合。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅