该研究针对视觉文本生成中文字拼写错误和字形畸变的问题,指出当前基于识别的奖励机制常忽略可见的字形缺陷,而整图级别的标量反馈又掩盖了各文本区域质量的差异。为此,作者提出“归咎于错误文字而非整幅画布”的原则,并构建了缺陷感知的区域奖励模型TextDART,可定位单个文本区域并独立评估其语义正确性与字形质量,进而提出SCANNER方法,将区域级判断转化为空间差异化的策略反馈,通过归一化奖励并将区域优势映射到对应潜变量token上。在现有基准及新建立的PolyText-Bench上,该方法在文本准确性和字形保真度上均达到当前最优水平,为视觉文本生成提供了更精细的信用分配思路。
| TextDART | 一种缺陷感知的区域定向奖励模型,能定位单个文本区域并独立评估其语义正确性和字形质量。 |
| SCANNER | 一种基于 TextDART 区域判断生成空间差异化策略反馈的方法,通过归一化奖励并将区域优势映射到潜在 token 来优化生成。 |
| PolyText-Bench | 本文新建的基准测试集,用于评估视觉文本生成在文本准确性和字形保真度方面的性能。 |
| 视觉文本生成 | 指在图像中生成或渲染文本内容的任务,要求文本语义正确且字形清晰可辨。 |
| 信用分配 | 在强化学习中,将整体奖励或反馈归因到具体决策或区域的过程,以指导策略优化。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅