监督优化激活引导让ASR性能与公平性双赢，零样本自适应无需任何标签！
How to get the best and fairest performance out of your ASR system using activation steering
📖 AI 总结
该研究探讨了激活引导（activation steering）技术在自动语音识别（ASR）系统中的应用，旨在同时提升识别性能与人口统计学公平性。研究对比了两种激活引导方式：配对激活减法与监督优化。结果显示，配对激活减法对改善ASR性能完全无效，而监督优化能够有效导出引导向量，在性别、年龄和方言等多个维度上同步提升整体识别性能与公平性。研究进一步考察了计算或训练引导向量所需的数据类型，发现使用同一数据集中多样化说话者群体训练向量即可获得显著性能提升；更关键的是，使用声学特征相似的说话者训练的向量，其效果与使用同一说话者或同一标注人口群体训练的向量相当甚至更优。这一发现表明，激活引导可用于有说话者人口信息条件下的少样本自适应，也可在无需任何标签的情况下实现对未见说话者的零样本自适应。
🔑 关键词速览
| 激活引导 (Activation Steering) | 一种通过修改模型内部激活值来引导模型行为的技术，无需重新训练模型。 |
| 配对激活减法 (Paired Activation Subtraction) | 一种通过计算成对样本激活差异来推导引导向量的方法。 |
| 监督优化 (Supervised Optimization) | 一种利用监督信号优化目标函数来训练引导向量的方法。 |
| 引导向量 (Steering Vectors, SVs) | 用于在激活空间中引导模型行为的向量，可通过训练或计算得到。 |
| 少样本自适应 (Few-shot Adaptation) | 利用少量样本或先验信息使模型适应新说话人或新条件的技术。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅