郭震 AI公众号:郭震AI

实时 AI 消息

OpenAI 发布 MentalHealthBench,评估心理健康对话中的 AI 回应

OpenAI 发布 MentalHealthBench,这是一个由专家参与设计的基准,用于评估 AI 在贴近真实的心理健康对话中给出的回答是否有帮助且足够安全。该基准同时把“有用性”和“安全性”作为评价目标,为高风险场景下的模型评估提供统一参照。

发布时间

OpenAI 在官网发布 MentalHealthBench,把它定义为“由专家参与设计”的评估基准,用来衡量 AI 在贴近真实的心理健康对话中给出的回应是否有帮助、同时是否安全。这是这家公司在通用助手之外,为高风险应用场景提供的一套专门评测工具。

心理健康对话是典型的“高风险、高曝光”场景。使用者可能正处在脆弱状态,模型一句不当的回应可能带来真实伤害;但如果模型一味拒答、只给一句“请联系专业人士”,工具的实用价值又会被削掉。只评估安全性,或者只评估有用性,都会漏掉另一半的失败模式。

按照 OpenAI 的介绍,MentalHealthBench 覆盖的是“贴近真实的心理健康对话”,并把有帮助和安全两个目标放在同一套评价里。这意味着评价对象不是简答题或选择题里的知识点,而是被放回对话情境中——更接近这些系统在真实产品里的使用方式。

这个基准也反映出各家实验室谈论评测方式的转变。随着通用助手越来越多地被用于情绪支持和心理健康相关的提问,厂商需要一种可复现的方式来界定:什么情况下模型应当回答,什么情况下应当升级处理,什么情况下应当建议用户寻求专业帮助。基准的意义在于把这类判断从主观争论变成可比较的结果。

接下来值得观察的是这个基准会被多广泛地采用。如果 MentalHealthBench 成为常用参照,各家模型在它上面的差异,可能会直接影响产品层面的选择,比如安全触发的阈值、危机干预的对话流程。对于把心理健康功能当成卖点的应用而言,能否对外展示在这类基准上的结果,也可能逐渐成为赢得用户与监管信任的一部分。

为什么重要

心理健康是消费级 AI 中最敏感的用例之一,一个共享的基准让实验室与应用开发者有了共同的标尺。值得关注的是模型厂商是否会公开该基准上的成绩,以及这些结果会如何反馈到安全阈值和危机干预流程的设计中。

微博邮件

OpenAIBenchmarkAI Safety
返回实时消息

附近消息

全部