5.27亿条Reddit帖子！17年社会群体话语全收录，不相关率低于10%
The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale
📖 AI 总结
伊利诺伊社会态度聚合语料库（ISAAC）是一个开放、模块化的大规模英文Reddit帖子语料库，收录超过5.27亿条与种族、性取向、年龄、能力、体重和肤色六类社会群体区分相关的帖子，时间跨度为2007至2023年共17年。研究团队采用多步骤、人工审核的过滤流程，将整体及各群体类别中的无关内容控制在10%以下，并为每条帖子算法标注用户估计所在地区及道德化、情感、情绪、语言概括性等经过验证的语义标签。通过将ISAAC与在线搜索行为、重大社会事件期间的时间峰值以及公众态度长期变化等宏观社会趋势进行关联，研究确认了语料库的有效性。ISAAC提供统一公共基础设施，支持跨类别比较、长期时间变化追踪和空间差异映射，并可通过网站、SQL平台、Python包和HuggingFace等多种方式访问，便于扩展至新平台、语言和社会类别。
🔑 关键词速览
| ISAAC | 伊利诺伊社会态度聚合语料库，一个包含5.27亿条Reddit帖子的开放语料库，用于分析社会群体话语。 |
| 一个大型在线社交新闻和讨论平台，用户可以在其中发布和评论内容。 | |
| 道德化（Moralization） | 指将某种态度或行为与道德价值观相关联的语义标签，用于分析文本中的道德倾向。 |
| 语义标签（Semantic Labels） | 通过算法为文本分配的类别标签，如情感、情绪等，用于描述文本的语义特征。 |
| HuggingFace | 一个提供预训练模型和数据集的开源平台，常用于自然语言处理任务。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅