16万篇巴西葡语金融新闻数据集开源，KNN分类准确率仅47%！
A Large-Scale Dataset for Multi-Class Financial News Classification in Brazilian Portuguese
📖 AI 总结
本文针对巴西葡萄牙语金融领域自然语言处理缺乏专用数据集的问题，构建了一个约16万篇金融新闻的大规模语料库，数据采集自网络来源。为建立弱监督多类分类的基准，作者分别采用人工标注和大语言模型标注两种方式处理语料子集，并基于多语言语义嵌入评估了余弦相似度、K近邻（KNN）和基于FAISS的最近邻搜索三种相似度方法。实验表明，该任务对标签质量和类别分布高度敏感：在人工标注子集上，KNN表现最佳，准确率47.3%、F1值31.9%，FAISS紧随其后；而在LLM标注子集上，准确率虽接近50%，F1值却降至约20%，反映出标签不平衡与弱标注噪声的负面影响。研究结果为这一具有挑战性的任务确立了基础基线，并凸显了高质量人工标注的必要性，为后续巴西葡萄牙语金融NLP研究提供了参考。
🔑 关键词速览
| Financial NLP | 金融自然语言处理，指将自然语言处理技术应用于金融领域文本的分析与理解。 |
| Weakly Supervised Multi-Class Classification | 弱监督多类分类，一种利用不精确或不完整标注数据进行多类别分类的机器学习方法。 |
| Semantic Similarity | 语义相似度，衡量两个文本片段在含义上接近程度的度量。 |
| K-Nearest Neighbors (KNN) | K近邻算法，一种基于距离度量的分类方法，通过查找最近邻样本进行预测。 |
| FAISS | Facebook AI相似性搜索库，一个用于高效最近邻搜索和聚类的开源库。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅