郭震 AI公众号:郭震AI

实时 AI 消息

InclusionMed 上线:29 家机构共建医疗 AI 独立评测平台

由斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团等 29 家机构研究人员共建的医疗健康 AI 独立评测平台 InclusionMed 正式上线,同步发布评测图谱 Atlas 与首期评测指数。首期指数覆盖 11 家厂商的 22 个模型、五项基准与 1034 项任务,试图补上医疗 AI 缺少统一横评的空白。

发布时间

医疗健康领域的 AI 评测长期处于一种分裂状态:每个细分任务都有自己的基准,但很少有人能回答一个更根本的问题——这个模型在真实医疗场景里到底行不行。据量子位报道,被视作医疗健康领域 Artificial Analysis 的独立评测与分析平台 InclusionMed 已正式上线,并同步发布评测图谱 InclusionMed Atlas 与首期评测指数 InclusionMed Index。

平台的共建方包括斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团与 InclusionMed.AI 等 29 家机构的研究人员。多方参与的意义在于,医疗评测的公信力很难由单一厂商或单一医院建立,需要学术机构、临床方与产业方在指标设计上互相制衡。

Atlas 的结构值得细看。它把“面向谁”与“考察什么能力”两个维度交叉:前者分为患者与公众、医疗专业人员、医疗管理人员三类角色,后者分为知识、推理、任务执行三类能力,形成一张九宫格图谱。每项基准按其主要的评测内容归入对应格子,使用者因此能看出哪些医疗需求已被覆盖、哪些仍是空白。

Index 则把纳入基准的结果汇总成可比的表现视图。首期聚焦临床诊疗与医疗管理两个方向,纳入五项评测基准、1034 项任务,对国内外 11 家厂商的 22 个模型进行系统比较,并经过独立复测,最终选出四项公开基准,与团队自建的 InclusionMed-DxFiles 共同构成首期指数。

其中 DxFiles 值得一提。它基于顶级医学期刊刊载的疑难病例构建,考察模型能否结合病例线索做出临床判断,而不是复述教科书结论。这类任务更接近医生真实的工作方式,也更容易暴露模型在信息不全时的推理短板。

为什么这件事重要?医疗 AI 的采购与部署一直缺少第三方横评,医院难以判断不同模型的实际能力边界,厂商也倾向于选择性公布成绩。覆盖多角色、多能力维度并经过独立复测的指数,至少为比较提供了共同语言,也为采购决策提供一个可引用的参照。

需要说明的是,评测平台本身并不能证明某个模型可以临床使用。基准成绩只是能力的一个切面,真实部署还涉及数据合规、医生审核流程与责任划分。InclusionMed 的价值在于把讨论从“哪个模型更聪明”拉回到“在什么任务上、对谁、可靠到什么程度”。

据量子位报道,项目组正与医疗机构和研究团队合作,计划围绕复杂治疗选择中的医患共同决策、资源约束下的诊疗调度等场景开发新的评测任务。评测体系能否跟上医疗 AI 的演进速度,将是它长期价值的关键。

为什么重要

医疗 AI 长期缺少第三方横评,一个跨角色、跨能力维度并经过独立复测的指数,为医院选型与厂商自证提供了共同的比较基准。

微博邮件

Healthcare AIBenchmarkInclusionMed
返回AI日报

附近消息

全部