量子Transformer做情感分类,准确率最高提升3.79个百分点!
QTrans: A Quantum Transformer for Sentiment Classification
arXiv LG (cs.LG) #量子计算#Transformer#情感分类 🕐 09-14 12:00

📖 AI 总结

本文提出QTrans,一种用于情感分类的量子Transformer模型。针对小规模二分类情感任务中否定、转折和跨词依赖导致情感线索非线性耦合、传统轻量模型难以充分捕捉上下文关系的问题,作者使用参数化量子电路构建查询、键和值特征,并基于量子测量间的高斯距离推导注意力系数,同时结合量子前馈神经网络、残差连接和层归一化,构建了端到端可训练的量子—经典混合框架。在MR、CR和MPQA三个数据集上,QTrans的测试准确率分别为72.13%、69.51%和63.45%,较各数据集最优经典基线分别提升2.88、3.17和3.79个百分点。该工作拓展了参数化量子电路在轻量级情感分析中的应用,并为量子多头自注意力建模文本关系提供了实验基础。

🔑 关键词速览

QTrans本文提出的量子Transformer模型,利用参数化量子电路构建注意力机制用于情感分类。
参数化量子电路 (Parameterized Quantum Circuits)一种含可训练参数的量子计算线路,可通过优化参数完成特定机器学习任务。
量子-经典混合框架 (Quantum-Classical Hybrid Framework)结合量子电路与经典神经网络组件、可端到端联合训练的机器学习架构。
量子多头自注意力 (Quantum Multi-Head Self-Attention)将多头自注意力机制中的查询、键、值计算替换为量子电路实现的注意力变体。
情感分类 (Sentiment Classification)自然语言处理任务,旨在判断文本所表达的情感倾向(如正面或负面)。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅