23 大模型评估方法

这些是用于评估大型语言模型（如GPT、LLaMA等）在不同任务和领域表现的基准测试或指标。

每个项目对应的测试集或评估标准都不同，下面是它们的简要介绍：

MMLU (%)（Massive Multitask Language Understanding）

一个多任务语言理解基准，涵盖了57个任务，评估模型在各类学术领域（如历史、数学、生物学等）和语言学任务上的表现。MMLU通过测量模型在这些任务上的平均准确率（以百分比表示）来评估其综合语言理解能力。

GPQA (%)（Generalized and Probabilistic Question Answering）

评估模型在处理广泛问答任务上的表现。GPQA通常考察模型在生成概率性答案、处理模糊信息以及回答多领域问题上的能力，结果以准确率百分比表示。

MATH (%)

一个专门针对数学推理问题的基准测试，测试模型在解决数学题目（从初级到高级）上的能力。评估标准通常是模型正确解答问题的比例，结果以百分比表示。

HumanEval (%)

评估模型生成代码的能力，特别是在编程任务中的表现。HumanEval是一个编程任务集合，模型需要根据自然语言描述生成正确的代码并通过测试用例。结果以正确生成代码的比例（百分比）来衡量。

MGSM (%)（Math Generalized Skill Mastery）

评估模型在处理数学推理题目上的能力，特别是在广泛的数学问题和推理任务中的表现。结果以准确率百分比表示。

DROP (F1)（Discrete Reasoning Over Paragraphs）：一个针对离散推理任务的基准，评估模型在从文本段落中推理和提取具体数值信息的能力。F1得分是衡量模型在这些任务上表现的综合指标，考虑了准确率和召回率的平衡。

WikiSQL

简介: WikiSQL 是一个用于自然语言到 SQL 查询转换的基准数据集。它包含了由维基百科表格生成的自然语言问题及其对应的 SQL 查询。任务的目标是训练模型能够将给定的自然语言问题自动转换为正确的 SQL 查询，以从数据库中获取正确的答案。
应用场景: WikiSQL 主要用于评估和训练语言模型在结构化数据查询上的能力，特别是在自动化数据库查询生成和自然语言接口开发中。
数据规模: WikiSQL 数据集包含超过 80,000 个问题-查询对，广泛用于研究语言模型在语义解析、SQL 生成和数据库交互中的表现。

MultiNLI (Multi-Genre Natural Language Inference)

简介: MultiNLI 是一个多领域自然语言推理（NLI）数据集，用于评估模型的推理能力。任务要求模型判断两个句子之间的逻辑关系，即前提句和假设句之间是否存在蕴涵、矛盾或中立关系。
应用场景: MultiNLI 数据集广泛用于训练和评估NLP模型在推理任务中的表现，尤其是跨不同领域的推理能力，因为数据集涵盖了从新闻、小说到对话等多个领域的文本。
数据规模: MultiNLI 数据集包含约 433,000 个句子对，是研究语言推理任务的标准基准之一，并被广泛用于测试语言模型如BERT、RoBERTa、GPT等的推理能力。