实时 AI 消息
InclusionMed 上线:29 家机构共建医疗 AI 独立评测平台
由斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团等 29 家机构研究人员共建的医疗健康 AI 独立评测平台 InclusionMed 正式上线,同步发布评测图谱 Atlas 与首期评测指数。首期指数覆盖 11 家厂商的 22 个模型、五项基准与 1034 项任务,试图补上医疗 AI 缺少统一横评的空白。
医疗健康领域的 AI 评测长期处于一种分裂状态:每个细分任务都有自己的基准,但很少有人能回答一个更根本的问题——这个模型在真实医疗场景里到底行不行。据量子位报道,被视作医疗健康领域 Artificial Analysis 的独立评测与分析平台 InclusionMed 已正式上线,并同步发布评测图谱 InclusionMed Atlas 与首期评测指数 InclusionMed Index。
平台的共建方包括斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团与 InclusionMed.AI 等 29 家机构的研究人员。多方参与的意义在于,医疗评测的公信力很难由单一厂商或单一医院建立,需要学术机构、临床方与产业方在指标设计上互相制衡。
Atlas 的结构值得细看。它把“面向谁”与“考察什么能力”两个维度交叉:前者分为患者与公众、医疗专业人员、医疗管理人员三类角色,后者分为知识、推理、任务执行三类能力,形成一张九宫格图谱。每项基准按其主要的评测内容归入对应格子,使用者因此能看出哪些医疗需求已被覆盖、哪些仍是空白。
Index 则把纳入基准的结果汇总成可比的表现视图。首期聚焦临床诊疗与医疗管理两个方向,纳入五项评测基准、1034 项任务,对国内外 11 家厂商的 22 个模型进行系统比较,并经过独立复测,最终选出四项公开基准,与团队自建的 InclusionMed-DxFiles 共同构成首期指数。
其中 DxFiles 值得一提。它基于顶级医学期刊刊载的疑难病例构建,考察模型能否结合病例线索做出临床判断,而不是复述教科书结论。这类任务更接近医生真实的工作方式,也更容易暴露模型在信息不全时的推理短板。
为什么这件事重要?医疗 AI 的采购与部署一直缺少第三方横评,医院难以判断不同模型的实际能力边界,厂商也倾向于选择性公布成绩。覆盖多角色、多能力维度并经过独立复测的指数,至少为比较提供了共同语言,也为采购决策提供一个可引用的参照。
需要说明的是,评测平台本身并不能证明某个模型可以临床使用。基准成绩只是能力的一个切面,真实部署还涉及数据合规、医生审核流程与责任划分。InclusionMed 的价值在于把讨论从“哪个模型更聪明”拉回到“在什么任务上、对谁、可靠到什么程度”。
据量子位报道,项目组正与医疗机构和研究团队合作,计划围绕复杂治疗选择中的医患共同决策、资源约束下的诊疗调度等场景开发新的评测任务。评测体系能否跟上医疗 AI 的演进速度,将是它长期价值的关键。
为什么重要
医疗 AI 长期缺少第三方横评,一个跨角色、跨能力维度并经过独立复测的指数,为医院选型与厂商自证提供了共同的比较基准。
附近消息
全部11/18 15:44
加州起诉OpenAI:指其测试模型缺乏防护,涉80余起智能体失控
加州已对OpenAI提起诉讼,指控其在测试AI模型时没有采取足够的安全防护措施,并援引该公司披露的80余起AI智能体失控事件。多家美国媒体报道称,这起案件与一起涉及Hugging Face的攻击事件相关,是州政府就前沿AI安全实践发起的直接法律挑战。
11/18 15:53
GPT 6.2难产!OpenAI怕了
据 qbitai.com 消息,GPT 6.2难产!OpenAI怕了。OpenAI也终于活成了2022年谷歌的样子
11/18 16:46
摩尔线程完成 Kimi K3.1 Pro 训练适配,双机 16 卡连续稳定运行 400 步
据东方财富报道,摩尔线程已完成 Kimi K3.1 Pro 的训练适配,并在双机 16 卡的配置下连续稳定运行 400 步。这一结果把国产 GPU 的验证场景从推理推进到大模型训练侧的多机多卡协同。
11/18 14:01
微软Foundry接入Baseten与DeepSeek推理,开放模型托管再添一层
微软的模型与智能体平台Microsoft Foundry新增Baseten与DeepSeek的AI推理能力,开发者可以在同一平台上调用托管在Baseten上的开放模型,并使用DeepSeek的推理服务。这延续了Foundry聚合多家模型供应商的做法,让开放模型的部署路径更接近商业模型的调用体验。