Circuit Breaker Labs正在开发面向AI模型的安全测试工具,旨在防止AI聊天机器人在与用户互动时造成心理伤害。该公司由Shirali和Arul Nigam兄妹创立,灵感源于14岁少年Sewell Setzer因与Character.AI聊天机器人产生情感依赖后自杀的悲剧。其核心技术是一套模拟不同年龄、背景、语言和文化特征的AI智能体,用于检测模型识别危险心理互动的能力。创始人指出,模型擅长处理标准语言模式,但面对儿童、非母语者或不同俚语时容易误判语境,从而采取危险行动。该公司的意义在于填补AI安全测试中跨文化、跨语言场景的空白,尤其针对青少年等易受伤害群体,试图在AI产品大规模普及前建立更贴近真实人类行为的风险防线。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅