📖 摘要

证明Transformer可进行上下文采样，模拟生成式采样器。

🔑 关键词速览

In-Context Learning	上下文学习，指模型在推理时仅依据提示中的示例进行预测，无需更新参数的能力。
Diffusion Sampler	扩散采样器，一种通过逐步去噪过程从噪声中生成数据的生成模型采样方法。
Softmax Attention	Softmax注意力，Transformer中的核心机制，用于计算输入元素间的加权关系。
Energy-Based Sampler	基于能量的采样器，利用能量函数定义概率分布，并通过迭代过程从中采样。
Semantic-Topic Sampling	语义主题采样，一种任务，其中提示包含来自同一语义类别（如动物或城市）的单词，用于研究模型的生成行为。