🔥 今日值得一读
首个以LLM为参考机器的C-test：AI越强题越难，12个大模型全被考倒！
Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence
📖 AI 总结
该论文针对AI快速发展背景下传统基准测试易饱和、易循环的问题，提出一种以大型语言模型为参考机器的C-test评测方法。作者基于Levin的Kt复杂度理论，将LLM视为能够调用人类文化知识的通用图灵机，用自然语言提示作为程序，从而生成难度可量化、以比特为单位标定的全新测试题。研究形式化了该度量，设计了轻量化的题目生成与认证流程，并探讨了参考机器能力及考官与考生差距的影响。作者构建了首批认证题库并对十二个LLM进行测试，得到的智能体特征曲线随难度上升而下降，并延伸至超出当前前沿模型能力的高难度区域，即所谓“超智能窗口”。该工作为评估可能超越现有系统乃至测试设计者本身的机器能力提供了可扩展的新思路。
🔑 关键词速览
| Levin's Kt | Kolmogorov复杂度的一种可计算变体，为逆问题的难度提供理论上限，平衡最简表示编码与运行时间步长的对数。 |
| C-test | 基于Levin的Kt和极简通用图灵机的原始测试，用于评估机器在有限表示和无先验知识下的归纳推理能力。 |
| Universal Turing Machine (UTM) | 通用图灵机，一种能够模拟任何其他图灵机的抽象计算模型，在本文中作为表示机器的基础。 |
| Supraintelligence | 超智能，指超越当前几代前沿智能的认知能力，本文中特指测试项目难度达到人类和前沿模型无法解决的区域。 |
| Agent characteristic curves | 智能体特征曲线，描述智能体在不同难度测试项目上的表现变化，通常随难度增加而下降。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅