日语新闻时间缺失有救了！jaROTE秒补全日期，检索性能飙升
Reproducing Omitted Temporal Expressions in Japanese News for Retrieval-Augmented Applications
📖 AI 总结
本文针对日语新闻中普遍存在的省略式时间表达（如仅提“某日”或“某月”）展开研究。这类表达若脱离发布日期单独索引，会在搜索和检索增强生成（RAG）系统中引发时间错配，并导致大语言模型解读不稳定。作者基于既有时间表达抽取与规范化技术，并结合对日语新闻的人工分析，提出规则式流水线 jaROTE，在文章被索引前利用发布日期补全省略的时间信息，还原为具体日期或区间。在两个新闻语料上的实验表明，jaROTE 性能优异，可与大语言模型媲美，同时具备快速、低成本的优势。研究进一步证明，时间还原能改善时间约束下的词汇检索效果，凸显了以发布日期为基准的规范化对日语新闻检索的实用价值。
🔑 关键词速览
| 时间表达省略 | 新闻中仅提及日或月等不完整时间信息，需结合发布日期推断具体时间。 |
| 检索增强生成 (RAG) | 一种结合检索和生成模型的技术，通过检索外部知识来增强大语言模型的生成能力。 |
| jaROTE | 本文提出的基于规则的流水线，用于日语新闻中省略时间表达的规范化。 |
| 时间规范化 | 将文本中的时间表达转换为标准格式（如具体日期或区间）的过程。 |
| 时间约束检索 | 在信息检索中，利用时间信息对搜索结果进行过滤或排序的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅