这项研究探讨了提示风格如何影响大语言模型在竞赛编程中的表现。作者在GPT-5.5上测试了九种提示风格,覆盖国际信息学奥林匹克竞赛的三项准确率任务和两项NP难速度任务。关键发现是:不存在普遍最优的提示风格,最强提示取决于任务类型以及结果按均值还是中位数汇总,说明提示风格应与具体目标匹配而非一概而论。研究还发现,均值分数的许多差异源于少数离群运行,单一指标评估会掩盖提示效果的不稳定性。与人类选手的描述性比较显示,AI并非严格优于或劣于人类,在一项任务上超过平均水平,另两项则不及。该研究将提示比较从准确率扩展到运行速度,并以人类表现为参照,为理解提示风格对竞赛编程表现的影响提供了更全面的视角。
| 竞技编程 | 参赛者编写程序在限定时间内解决算法问题的竞赛活动,如IOI。 |
| 提示风格 | 向语言模型输入指令时所采用的措辞、格式或结构方式。 |
| 国际信息学奥林匹克(IOI) | 面向中学生的国际性计算机科学竞赛,以算法和编程挑战著称。 |
| NP难问题 | 计算复杂性理论中一类难以在多项式时间内找到最优解的问题。 |
| 离群运行 | 在多次实验或评估中,结果显著偏离大多数数据的个别运行实例。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅