付费逻辑回归新突破：未知噪声下也能逼近最优预测！
Beyond Second-Order Information: Paid Logistic Regression with Noisy Features
📖 AI 总结
本文研究带付费随机特征的在线二分类预测问题，其动机来自医疗检测等场景：学习者可支付额外成本以获得更精确的特征观测。每轮中，潜在特征独立同分布抽取，响应由逻辑模型生成，学习者在观测到含噪特征前决定支付多少，目标是同时控制预测损失与获取成本。文章的关键发现是，与在线线性回归中付费特征的情形不同，仅靠协方差信息已不足以刻画最优逻辑损失：两个协方差相同的噪声分布可能诱导不同的最优损失，且方差更低反而可能导致损失更高。在“支付越多、通过去除独立噪声获得越好观测”的结构性排序假设下，作者分别给出噪声结构已知时的 Õ(√T) 遗憾界与未知时的 Õ(T^{2/3}) 遗憾界，并证明了对数因子范围内匹配的下界。该结果揭示了逻辑损失下付费特征问题的本质困难，为带成本的特征获取与在线预测提供了理论刻画。
🔑 关键词速览
| Paid Features | 付费特征：学习器需花费成本才能获得更精确观测的特征。 |
| Logistic Regression | 逻辑回归：一种用于二值分类的广义线性模型，通过逻辑函数建模响应概率。 |
| Regret | 遗憾界：在线学习中衡量算法累积损失与最优策略累积损失之差的指标。 |
| Covariance Information | 协方差信息：描述特征噪声分布中变量间线性相关性的二阶统计量。 |
| Structural Ordering | 结构性排序：假设支付越多，观测噪声越小（通过去除独立噪声）的单调性条件。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅