两周变两小时！CoDA人机协同编码手册开发时间缩短至两小时，人工标注样本减少5倍
CoDA: A Human-LM Collaborative Codebook Development Assistant for Domain-Specific Text Annotation
📖 AI 总结
CoDA是一个开源的人机协作编码手册开发助手，旨在帮助领域专家为语言模型标注新变量制定标注指南。现有语言模型标注系统多关注下游分类性能，并默认高质量编码手册已存在，而实际开发编码手册耗时且依赖专业知识。CoDA通过针对性地审查语言模型的错误预测，并将专家反馈融入不断演进的编码手册，与专家迭代协作完成开发。在无家可归者个案管理笔记健康指标提取和野生动物贩运社交媒体帖子情感分类两个真实案例中，CoDA生成的编码手册下游分类性能与专家编码手册相当，同时将开发时间从数周缩短至两小时，所需人工标注样本减少至五分之一。大规模应用后，识别出2410条含健康讨论或转介的个案笔记，以及10196条表达负面情绪的社交媒体帖子。该工具可加速编码手册开发，帮助从业者利用语言模型从非结构化文本中大规模提取领域特定洞见。
🔑 关键词速览
| Codebook | 编码手册，指用于指导标注的详细规则和定义文档。 |
| Human-LM Collaborative | 人机协同，指人类专家与语言模型合作完成任务的方式。 |
| Domain-Specific Text Annotation | 领域特定文本标注，指针对特定专业领域的文本进行标记或分类。 |
| Downstream Classification Performance | 下游分类性能，指标注后模型在具体分类任务上的表现。 |
| Unstructured Text | 非结构化文本，指没有固定格式或结构的自然语言文本。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅