比较性摘要15个设置中12个相关性最高，LLM预测用户转化率新方法胜出！
Organizing LLM Inference for Aggregate Predictions from Behavioral Data
📖 AI 总结
该研究探讨如何组织大语言模型推理，以从用户行为数据中预测群体层面的聚合结果，具体场景为电商中基于浏览会话预测产品转化率，且不进行任务特定训练。作者考察两项涉及偏差—方差权衡的设计选择：一是先汇总产品会话再推理可降低成本但可能丢失预测细节、引入偏差，而逐会话预测后取平均保留细节却需大量调用以降低方差；二是将多个产品放在同一提示中比较有助于模型推断场景常态、减少偏差，但会使预测依赖同批出现的其他产品而增加噪声。研究在五个大语言模型和两个数据集上评估发现，产品单独评估时逐会话预测优于汇总预测，产品联合评估时汇总预测反超；比较式汇总在15种设置中有12种取得最高Spearman相关性，且推理成本仅为逐会话方法的一小部分，最佳模型达到基于数千标注产品训练的监督基准相关性的66%至89%。作者用贝叶斯模型解释该差异，认为当提示输入更能揭示产品间差异时，比较带来的收益更大。
🔑 关键词速览
| LLM | 大型语言模型，一种基于深度学习的自然语言处理模型，能够生成文本或进行预测。 |
| 偏差-方差权衡 | 机器学习中的核心概念，指模型在偏差（预测值与真实值的系统性偏离）和方差（预测值随训练集变化的波动）之间需要平衡。 |
| 转化率 | 电子商务中指用户完成特定目标行为（如购买）的比例，是衡量效果的关键指标。 |
| Spearman相关性 | 一种非参数统计指标，用于衡量两个变量之间的单调关系强度，值域为-1到1。 |
| 贝叶斯模型 | 基于贝叶斯统计理论的模型，通过先验分布和似然函数来更新对参数的信念。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅