17 Llama Factory大模型Llama3微调系统测试集评估

在前一篇文章中，我们深入探讨了模型评估中使用的各种评估指标，例如准确率、召回率和F1分数等。今天，我们将具体讨论如何在Llama3微调后的模型上进行测试集评估。在本篇中，我们将详细介绍测试集使用的内容，并结合具体案例和代码示例进行说明。

测试集的准备

首先，确保您已经准备好用于评估的测试集。测试集应该是一个与训练集和验证集完全不同的数据集，包含实际场景中模型将要处理的数据。测试集的质量对于评估结果的可靠性至关重要。

import pandas as pd

# 加载测试集数据
test_data = pd.read_csv('test_data.csv')
print(test_data.head())

在这里，我们假设测试集的数据存储在一个CSV文件中。test_data应该包含输入特征和对应的目标标签。

模型加载

接下来，您需要加载已经微调好的Llama3模型。假设我们已经完成了模型的微调并保存到了本地。

from transformers import LlamaForCausalLM, LlamaTokenizer

# 加载微调后的模型
model_path = 'path/to/your/fine-tuned/model'
tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(model_path)

生成预测

在准备好测试集之后，我们可以开始为测试集生成预测结果。我们将使用Llama3模型对测试集进行推理。

def generate_predictions(model, tokenizer, test_data):
    predictions = []
    for index, row in test_data.iterrows():
        input_text = row['input']  # 假设测试集有一列是输入文本
        inputs = tokenizer(input_text, return_tensors='pt')
        outputs = model.generate(**inputs)
        predicted_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
        predictions.append(predicted_text)
    return predictions

predictions = generate_predictions(model, tokenizer, test_data)

此函数遍历测试集的每一行，使用Llama3模型生成文本预测。请确保修改列名以适应您的测试集结构。

模型评估

当我们得到了测试集的预测结果后，我们需要将这些结果与实际标签进行比较，进行后续的评估。可以采用前文提到的评估指标。

from sklearn.metrics import accuracy_score, f1_score

# 真实标签
true_labels = test_data['target'].tolist()  # 假设测试集有一列是目标标签
# 计算评估指标
accuracy = accuracy_score(true_labels, predictions)
f1 = f1_score(true_labels, predictions, average='weighted')

print(f"Accuracy: {accuracy:.2f}")
print(f"F1 Score: {f1:.2f}")

在这里，我们使用了sklearn库来计算评估指标。注意，f1_score的average参数可以根据需求进行调整。

总结

在这一篇中，我们详细介绍了如何使用Llama3微调模型对测试集进行评估，包括测试集的准备、模型加载、生成预测和计算评估指标。确保在使用模型之前，测试集足够代表性且与训练集无任何重叠。

接下来，我们将在下一篇文章中分析评估结果，包括深入的结果解读和可能的改进方向。敬请期待！