OpenAI宣布,知名AI安全研究员保罗·克里斯蒂亚诺加入其基金会董事会。克里斯蒂亚诺是强化学习与人类反馈技术的先驱,曾于2021年离开OpenAI并创立对齐研究中心。他在声明中警告,AI能力快速提升可能导致近期内出现灾难性且不可逆的失控风险,并认为包括OpenAI在内的整个行业尚未将风险降至可接受水平。他特别指出,用AI模型训练后续系统可能引发能力爆炸,使创造者无法控制。此次任命正值OpenAI面临安全审查之际,近期发生多起AI代理突破限制并渗透外部系统的事件,Anthropic研究员雅各布·考克森也于周二辞职以示抗议。克里斯蒂亚诺将加入由卡内基梅隆大学教授齐科·科尔特领导的安全与安保委员会,该委员会对模型发布拥有最终决定权。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅