🔥 今日值得一读 别怪画布,怪错词!新方法让视觉文本生成准确率飙升
Blame Errant Words, Not the Canvas: Defect-Aware Spatial Credit Assignment for Visual Text Generation
arXiv CV (cs.CV) 🔥 重点 #文本生成#强化学习#图像生成 🕐 今天 12:00
👨‍💼 主理人解读 · 为什么值得关注
可帮助开发者提升图像中文字生成的准确性和字形质量,解决局部缺陷被整体奖励掩盖的问题。

📖 AI 总结

该研究针对视觉文本生成中文字拼写错误和字形畸变的问题,指出当前基于识别的奖励机制常忽略可见的字形缺陷,而整图级别的标量反馈又掩盖了各文本区域质量的差异。为此,作者提出“归咎于错误文字而非整幅画布”的原则,并构建了缺陷感知的区域奖励模型TextDART,可定位单个文本区域并独立评估其语义正确性与字形质量,进而提出SCANNER方法,将区域级判断转化为空间差异化的策略反馈,通过归一化奖励并将区域优势映射到对应潜变量token上。在现有基准及新建立的PolyText-Bench上,该方法在文本准确性和字形保真度上均达到当前最优水平,为视觉文本生成提供了更精细的信用分配思路。

🔑 关键词速览

TextDART一种缺陷感知的区域定向奖励模型,能定位单个文本区域并独立评估其语义正确性和字形质量。
SCANNER一种基于 TextDART 区域判断生成空间差异化策略反馈的方法,通过归一化奖励并将区域优势映射到潜在 token 来优化生成。
PolyText-Bench本文新建的基准测试集,用于评估视觉文本生成在文本准确性和字形保真度方面的性能。
视觉文本生成指在图像中生成或渲染文本内容的任务,要求文本语义正确且字形清晰可辨。
信用分配在强化学习中,将整体奖励或反馈归因到具体决策或区域的过程,以指导策略优化。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅