该研究探讨如何有效利用领域专家知识提升图像分类性能。针对现有概念瓶颈模型仅支持二值编码、难以适配真实场景中多样化属性格式的局限,作者提出一种新方法:先基于专家指定的多种编码格式(数值、范围、二值、类别)属性微调图像特征提取器,再学习分类头完成目标分类。在Kaggle鱼类数据集、AWA2及一个更具挑战性的木炭数据集上,该方法均提升了分类效果。研究进一步提出自动筛选潜在误分类样本的机制,请专家修正预测属性以持续优化模型。其意义在于为专家知识的形式化整合与迭代式人机协作分类提供了可行路径。
| Concept Bottleneck Models (CBMs) | 概念瓶颈模型,一种将图像分类分解为概念预测和类别预测两阶段的模型,中间层为人类可理解的概念。 |
| Concept-based Embedding Models (CEMs) | 基于概念的嵌入模型,通过两个向量嵌入每个概念来扩展概念瓶颈模型,以更丰富地表示概念。 |
| Attribute Encoding | 属性编码,指将专家指定的类别属性表示为数值、值范围、二元值或类别值等不同格式。 |
| Image Feature Extractor | 图像特征提取器,一种从图像中提取有用特征(如纹理、形状)的神经网络,通常通过微调适应特定任务。 |
| Misclassified Data Selection | 错误分类数据选择,自动识别模型可能预测错误的样本,以便专家进行修正。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅