📖 AI 总结

本文介绍了一种名为Data Scout的领域特定预训练语料库构建新方法，其核心思路是颠覆传统的“先抓取后过滤”模式，转而采用“定向抓取”策略。该方法利用大语言模型将根主题扩展为分类体系和大量搜索查询，再通过用户提供的分类器（探针）对返回的子域名进行小样本筛选，从而精准定位高质量内容。实验表明，在数学领域，子域名层面的相关性边界非常清晰，相关页面概率是兄弟子域名的21倍。使用FineMath分类器作为探针时，抓取页面中21.9%为高质量数学内容，是传统过滤方法的70倍；且其中63.2%的页面在CommonCrawl中完全缺失，但训练价值相当。在Llama-3.2-3B模型上的持续预训练实验显示，使用1.9B Data Scout tokens的效果与FineMath语料库在GSM8k基准上相当。由于探针是唯一的领域特定组件，该方法原则上可推广至任何拥有此类分类器的领域，为专业领域语料构建提供了高效新路径。

🔑 关键词速览