CG4AI提出了一种基于列生成框架的AI模型训练方法,旨在解决标准机器学习训练中模型输出无法满足预定义约束的问题。该框架通过构建多个AI模型的凸组合,并利用主线性规划确定最优混合权重,同时由定价子问题根据对偶变量生成新模型,聚焦于最违反约束的部分。此外,切割平面过程将可行性保证扩展到训练集之外。研究在MNIST数字分类和多商品流问题上验证了该方法,展示了四种约束应用场景,包括仅从约束学习、提升对抗鲁棒性、修正错误分类样本及强制输出重标记。实验结果表明,CG4AI在保证输出可行性的同时,准确率优于单一模型基线,为需要严格约束保障的自主系统和网络路由等实际应用提供了有效解决方案。
| CG4AI | 一种基于列生成的框架,用于在约束下训练AI模型,通过凸组合和线性规划实现约束满足。 |
| Column Generation | 一种优化技术,通过动态生成变量(列)来高效求解大规模线性规划问题。 |
| Convex Combination | 将多个模型输出进行加权平均,权重非负且和为1,形成凸组合。 |
| Master Linear Program (LP) | 主线性规划,用于确定最优混合权重,是列生成框架中的核心优化问题。 |
| Pricing Subproblem | 定价子问题,利用对偶变量生成新模型,以改善主问题的解。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅