UniPat AI 发布 SPU 基准：116 项任务考察 AI 预测湿实验结果

量子位报道，UniPat AI 牵头推出名为 Science Prediction Universe（SPU）的新基准，专门考察 AI 能否在动手做实验之前，预测湿实验的真实结果。

任务形式并不常见：给模型一组实验条件，让它自己研究、提前猜结果——同一个反应换几种条件，哪种能得到更多目标产物；一批抗体变体里，哪个表达量更高。答案先被藏起来，等模型交卷后再与实测数据对照。

SPU 的体量是 116 个任务、4207 个湿实验，覆盖化学、材料科学、生物与医学，共 32 个子领域。其中 100 个公开任务取自 85 篇近期发表的论文，专家整理候选项、材料、条件与测量方式，并保留完整的定量结果作为评分依据；另外 16 个私有任务来自四组未发表的合作湿实验，涉及 VHH 纳米抗体、反应条件、电解液与 Magrolimab 变体，用来检验模型是否只是提前见过答案。

基准的顾问与湿实验合作成员来自斯坦福、康奈尔、哈佛等高校，以及业内前沿科研机构和生物技术公司。据报道，基准的筛选标准也偏严格：测量不完整、条件不清楚的研究会被放弃，沿着单一趋势就能排序的简单问题会被剔除，数值过于接近、区分度不足的题目同样不收。

运行条件被设得很重：每次任务给模型 8 小时，配 8 核 CPU、16 GiB 内存和一块 H20，允许联网检索并安装科研软件。模型在这段时间里自行搜集证据、选择计算方法，最后提交各比较组从低到高的预测排序。

评分环节刻意防污染：整个过程在独立、断网的容器中进行，禁止检索原始研究结果，还会自动扫描工具输出，识别源论文的 DOI、标题等标识符。评分用 Spearman 相关系数衡量预测排序与实测排序的接近程度，并为每道题额外生成 4000 份随机排序，取第 95 百分位作为随机水平阈值。

首轮评测覆盖 12 款前沿模型、13 种配置。平均分最高的是 Claude Opus 5.5，为 0.486，但它的成绩也只在约一半任务上超过随机水平；13 种配置中，超过随机阈值的任务比例普遍只有 34% 到 52%。分学科看，化学最高分属于 Opus 5.5，材料科学是 Fable 5.1，生物学是 GPT-6 Astra Medium，医学是 Opus 5。

更反直觉的是算力与成绩的关系。研究团队把 GPT-6 Astra 从中等推理强度调到最高，运行时间中位数增至 4.8 倍、API 成本增至 5.3 倍，预测得分却几乎没变——在完成的 79 个任务上，模型通常跑到中位 26% 的时间就已经给出答案，后续计算只是微调。整套评测中真正成功运行 GPU 计算的只有 255 次，不到五分之一；各配置每次运行的平均 API 成本从 0.22 美元到 65.91 美元不等。

SPU 真正的价值不在于给出排名，而在于把此前难以量化的科研判断力，变成了可以逐项复查的数值与轨迹。对打算让 AI 参与研究的团队来说，先拿相关任务测一测，再决定要不要进入正式实验，可能比只看通用榜单上的名次更有意义。