23 大模型评估方法

查看大图

大模型评估不能只看一个榜单。通用基准、代码能力、数学推理和业务样本要分开看。

查看大图

我会把公开榜单和自家样本同时放进表格，记录每次评测的模型版本和参数。

这些是用于评估大型语言模型（如GPT、LLaMA等）在不同任务和领域表现的基准测试或指标。

每个项目对应的测试集或评估标准都不同，下面是它们的简要介绍：

MMLU (%)（Massive Multitask Language Understanding）

一个多任务语言理解基准，涵盖了57个任务，评估模型在各类学术领域（如历史、数学、生物学等）和语言学任务上的表现。MMLU通过测量模型在这些任务上的平均准确率（以百分比表示）来评估其综合语言理解能力。

查看大图

读这篇时，可以把「MMLU (%)（M -> GPQA (%)（G -> MATH (%) -> HumanEval 」当成一条检查线：先看对象、路径和证据，再回到案例、代码或指标里复查。

GPQA (%)（Generalized and Probabilistic Question Answering）

评估模型在处理广泛问答任务上的表现。GPQA通常考察模型在生成概率性答案、处理模糊信息以及回答多领域问题上的能力，结果以准确率百分比表示。

MATH (%)

一个专门针对数学推理问题的基准测试，测试模型在解决数学题目（从初级到高级）上的能力。评估标准通常是模型正确解答问题的比例，结果以百分比表示。

HumanEval (%)

评估模型生成代码的能力，特别是在编程任务中的表现。HumanEval是一个编程任务集合，模型需要根据自然语言描述生成正确的代码并通过测试用例。结果以正确生成代码的比例（百分比）来衡量。

MGSM (%)（Math Generalized Skill Mastery）

评估模型在处理数学推理题目上的能力，特别是在广泛的数学问题和推理任务中的表现。结果以准确率百分比表示。

DROP (F1)（Discrete Reasoning Over Paragraphs）：一个针对离散推理任务的基准，评估模型在从文本段落中推理和提取具体数值信息的能力。F1得分是衡量模型在这些任务上表现的综合指标，考虑了准确率和召回率的平衡。

WikiSQL

简介: WikiSQL 是一个用于自然语言到 SQL 查询转换的基准数据集。它包含了由维基百科表格生成的自然语言问题及其对应的 SQL 查询。任务的目标是训练模型能够将给定的自然语言问题自动转换为正确的 SQL 查询，以从数据库中获取正确的答案。 应用场景: WikiSQL 主要用于评估和训练语言模型在结构化数据查询上的能力，特别是在自动化数据库查询生成和自然语言接口开发中。 数据规模: WikiSQL 数据集包含超过 80,000 个问题-查询对，广泛用于研究语言模型在语义解析、SQL 生成和数据库交互中的表现。

MultiNLI (Multi-Genre Natural Language Inference)

简介: MultiNLI 是一个多领域自然语言推理（NLI）数据集，用于评估模型的推理能力。任务要求模型判断两个句子之间的逻辑关系，即前提句和假设句之间是否存在蕴涵、矛盾或中立关系。 应用场景: MultiNLI 数据集广泛用于训练和评估NLP模型在推理任务中的表现，尤其是跨不同领域的推理能力，因为数据集涵盖了从新闻、小说到对话等多个领域的文本。 数据规模: MultiNLI 数据集包含约 433,000 个句子对，是研究语言推理任务的标准基准之一，并被广泛用于测试语言模型如BERT、RoBERTa、GPT等的推理能力。

查看大图

回看《大模型评估方法》时，不必一次做大项目，先用一条简单样例确认主线是否清楚。

查看大图

如果《大模型评估方法》还没完全消化，可以从这张卡片的四个动作重新走一遍。

查看大图

学习《大模型评估方法》不必一口气吃完所有细节。先挑一个能动手验证的小问题，再顺着图和正文补齐概念。