🔥 今日值得一读 年轻人痛苦时求助ChatGPT,2万段对话揭露:它太快给建议,临床医生揪出7大失误!
Right Words, Wrong Moment: A Clinician-Grounded Analysis of Distress in 19,930 Conversations between Young People and ChatGPT
arXiv AI (cs.AI) 🔥 重点 安全对齐大模型商业化 🕐 今天 12:00

📖 AI 总结

这项研究分析了18至25岁年轻人在情绪困扰时使用ChatGPT的体验,基于158名参与者提供的19930段真实对话及问卷数据,并邀请十位临床医生对其中五段典型困扰对话进行评审。研究发现,处于困扰中的用户对ChatGPT的情感投入和行为改变程度均高于同龄人;而ChatGPT在用户急性困扰时倾向于给出过度戏剧化的回应和过多行动导向的建议。临床医生认可其可及性和部分措辞,但指出七类过程性失误,如过早跳到解决方案。研究据此提出三阶段设计准则:先询问安全性,再降低强度以恢复情绪调节,最后在不认同的前提下探索其担忧。该研究为通用对话代理在心理困扰场景中的安全设计提供了临床依据。

🔑 关键词速览

General-Purpose Conversational Agents (GPCAs)通用对话代理,指像ChatGPT这样能进行开放式对话的AI系统。
Distress心理痛苦或情绪困扰,指个体在压力下产生的强烈负面情绪状态。
Clinician-Grounded Analysis以临床医生为基础的分析,指邀请专业临床医生参与评估AI对话的方法。
Process Failures过程失误,指AI在对话过程中出现的步骤或策略上的错误。
De-escalating Intensity降低强度,指通过缓和语气和内容来减轻用户情绪激动的干预策略。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅