实时 AI 消息
OpenAI 发布 MentalHealthBench,评估心理健康对话中的 AI 回应
OpenAI 发布 MentalHealthBench,这是一个由专家参与设计的基准,用于评估 AI 在贴近真实的心理健康对话中给出的回答是否有帮助且足够安全。该基准同时把“有用性”和“安全性”作为评价目标,为高风险场景下的模型评估提供统一参照。
OpenAI 在官网发布 MentalHealthBench,把它定义为“由专家参与设计”的评估基准,用来衡量 AI 在贴近真实的心理健康对话中给出的回应是否有帮助、同时是否安全。这是这家公司在通用助手之外,为高风险应用场景提供的一套专门评测工具。
心理健康对话是典型的“高风险、高曝光”场景。使用者可能正处在脆弱状态,模型一句不当的回应可能带来真实伤害;但如果模型一味拒答、只给一句“请联系专业人士”,工具的实用价值又会被削掉。只评估安全性,或者只评估有用性,都会漏掉另一半的失败模式。
按照 OpenAI 的介绍,MentalHealthBench 覆盖的是“贴近真实的心理健康对话”,并把有帮助和安全两个目标放在同一套评价里。这意味着评价对象不是简答题或选择题里的知识点,而是被放回对话情境中——更接近这些系统在真实产品里的使用方式。
这个基准也反映出各家实验室谈论评测方式的转变。随着通用助手越来越多地被用于情绪支持和心理健康相关的提问,厂商需要一种可复现的方式来界定:什么情况下模型应当回答,什么情况下应当升级处理,什么情况下应当建议用户寻求专业帮助。基准的意义在于把这类判断从主观争论变成可比较的结果。
接下来值得观察的是这个基准会被多广泛地采用。如果 MentalHealthBench 成为常用参照,各家模型在它上面的差异,可能会直接影响产品层面的选择,比如安全触发的阈值、危机干预的对话流程。对于把心理健康功能当成卖点的应用而言,能否对外展示在这类基准上的结果,也可能逐渐成为赢得用户与监管信任的一部分。
为什么重要
心理健康是消费级 AI 中最敏感的用例之一,一个共享的基准让实验室与应用开发者有了共同的标尺。值得关注的是模型厂商是否会公开该基准上的成绩,以及这些结果会如何反馈到安全阈值和危机干预流程的设计中。
附近消息
全部09/23 17:50
汇智智能发布 Hellome:定位国内首个 FDE 直连智能体服务平台
据量子位报道,汇智智能发布 Hellome,将其定位为国内首个 FDE 直连智能体服务平台,主打把企业 AI 服务的交付周期压缩到“周”的量级。报道把这一发布放在企业 AI 服务进入平台化交付阶段的背景下描述。
09/23 18:35
联想天禧AI亮相阿里云栖大会:把「超级组织」能力落到端侧
联想天禧AI携全场景多端产品矩阵亮相阿里云栖大会,展示把「超级组织」能力落地到端侧设备的思路。多端协同的产品组合,是本次展示的主要看点。
09/23 16:54
报道称Meta测试用人工外包承接Muse AI智能体的通话
据 Analytics India Magazine 报道,Meta 正在测试让人类外包人员接管其 Muse AI 智能体的通话,以补足智能体在真实对话中的短板。该消息来自媒体报道而非官方公告,参与规模、覆盖地区与上线时间均未公开。
09/23 16:54
它石智航推进规模化落地,扩建研发团队与生产基地
量子位报道称,它石智航正推动中国具身智能走向规模化落地,并计划继续扩大研发团队、加快生产基地布局。公司同时表示将全面提升机器人交付能力。