为什么需要评估？

训练完成后，需要评估模型性能，判断模型是否达到要求，是否可以投入使用。

核心评估指标

准确率（Accuracy）

准确率是模型预测正确的比例。

精确率与召回率

这两个指标用于评估分类模型的不同角度：

指标	含义	公式	应用场景
精确率（Precision）	预测为正的样本中，真正为正的比例	\(P = \frac{TP}{TP + FP}\)	"我说对的，有多少真的对"
召回率（Recall）	真正的正样本中，被预测为正的比例	\(R = \frac{TP}{TP + FN}\)	"真的对的，我找出来多少"

F1分数

F1分数是精确率和召回率的调和平均，综合评估模型性能。

损失值（Loss）

损失值衡量模型预测与真实答案的差距，训练过程中持续下降说明模型在学习。

• 训练初期：损失值高，模型在学习
• 训练中期：损失值下降，模型进步
• 训练后期：损失值稳定，模型收敛

评估指标的Python代码示例

from sklearn.metrics import (
    accuracy_score, precision_score,
    recall_score, f1_score, confusion_matrix
)

# 真实标签和模型预测
y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0]
y_pred = [1, 0, 1, 0, 0, 1, 1, 0, 1, 0]

# 计算各项指标
accuracy = accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)
cm = confusion_matrix(y_true, y_pred)

print(f"准确率:   {accuracy:.2%}")
print(f"精确率:   {precision:.2%}")
print(f"召回率:   {recall:.2%}")
print(f"F1分数:   {f1:.2%}")
print(f"混淆矩阵:\n{cm}")
# 输出示例:
# 准确率:   80.00%
# 精确率:   75.00%
# 召回率:   83.33%
# F1分数:   78.95%
# 混淆矩阵:
# [[3 1]
#  [1 5]]

混淆矩阵

混淆矩阵是展示分类结果的表格，清晰显示预测正确和错误的情况。

	预测为正	预测为负
实际为正	真正例（TP）	假负例（FN）
实际为负	假正例（FP）	真负例（TN）

过拟合与欠拟合

模型训练中最重要的两个问题就是过拟合和欠拟合，它们与偏差-方差权衡（Bias-Variance Tradeoff）密切相关。

偏差与方差

概念	含义	对应问题
偏差（Bias）	模型预测的平均值与真实值的差距	偏差大 → 欠拟合（模型太简单）
方差（Variance）	模型在不同训练集上的预测波动	方差大 → 过拟合（模型太复杂）

学习曲线

通过观察学习曲线（训练损失和验证损失随训练进行的变化）可以诊断问题：

• 欠拟合：训练损失和验证损失都很高，且差距不大 → 模型太简单
• 过拟合：训练损失很低，但验证损失很高且在上升 → 模型太复杂
• 良好拟合：两者都逐渐下降并趋于稳定，差距适中

正则化方法

正则化是防止过拟合的核心技术，通过限制模型复杂度来提高泛化能力。

L1 正则化（Lasso）

在损失函数中添加参数绝对值之和：

L2 正则化（Ridge）

在损失函数中添加参数平方和：

Dropout

Dropout在训练过程中随机"关闭"一部分神经元，迫使网络不依赖任何单个神经元。

数据增强（Data Augmentation）

通过变换训练数据来增加数据多样性，让模型学到更鲁棒的特征。

• 图像：旋转、翻转、裁剪、颜色变换、添加噪声
• 文本：同义词替换、随机删除、回译
• 语音：变速、变调、添加背景噪声

交叉验证

交叉验证是一种更可靠的模型评估方法，能充分利用数据，减少评估结果的偶然性。

K折交叉验证（K-Fold Cross Validation）

将数据集分成K个大小相等的子集（"折"），每次用其中一折作为验证集，其余K-1折作为训练集，重复K次，取K次评估结果的平均值。