无需训练数据，预训练语言模型零样本搞定社科记录链接，准确率高达83.8%！
Pre-Trained Language Models as Zero-Shot Tools for Social Science Research
📖 AI 总结
该研究探讨了预训练语言模型作为零样本工具在社会科学研究中的应用，重点关注记录链接和基于姓名的族群推断两项任务。作者提出EnsembleLink算法，结合预训练词嵌入与字符串评分器完成记录匹配，其性能达到或超过多数已有方法，且能跨文字系统和格式泛化。在族群推断方面，大语言模型在美国选民档案上准确率达83.8%，高于补充姓名信息的贝叶斯改进姓氏地理编码法的78.0%，开放权重模型也能接近该水平。研究还表明，大语言模型可推断美国以外宗教、种姓等群体类别，并减少地理种族差距估计中的偏差。核心结论是：当预训练已编码任务所需的世界知识时，任务特定标注所提供的信息增量有限。
🔑 关键词速览
| Record Linkage | 记录链接，指将来自不同数据源的同一实体（如个人）的记录进行匹配和合并的过程。 |
| Demographic Inference | 人口统计推断，指根据姓名等信息推断个人的人口统计特征（如族裔、性别等）。 |
| Pre-trained Language Models | 预训练语言模型，指在大规模文本数据上预先训练好的语言模型，如BERT、GPT等，可用于多种下游任务。 |
| EnsembleLink | 本文提出的一种记录链接算法，结合预训练嵌入和字符串评分器来检索和匹配候选记录。 |
| BISG | 贝叶斯改进的姓氏地理编码，一种基于姓氏和地理位置推断族裔的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅