AI 学习笔记

数据集划分

数据集是用于训练和评估AI模型的数据集合。在机器学习中，数据集通常需要划分为不同的子集，以确保模型能够被公正地评估。

使用scikit-learn划分数据集

from sklearn.model_selection import train_test_split
import numpy as np

# 模拟数据：1000个样本，每个样本有10个特征
X = np.random.rand(1000, 10)  # 特征矩阵
y = np.random.randint(0, 3, size=1000)  # 标签（3个类别）

# 第一次划分：分离出测试集（20%）
X_train_val, X_test, y_train_val, y_test = train_test_split(
    X, y,
    test_size=0.2,          # 测试集占20%
    random_state=42,        # 随机种子，确保可复现
    stratify=y              # 分层抽样，保持类别比例
)

# 第二次划分：从训练+验证中分离出验证集（占原始数据的15%）
X_train, X_val, y_train, y_val = train_test_split(
    X_train_val, y_train_val,
    test_size=0.1875,       # 0.8 * 0.1875 ≈ 0.15（占原始数据）
    random_state=42,
    stratify=y_train_val
)

print(f"训练集：{X_train.shape[0]} 样本（80%）")
print(f"验证集：{X_val.shape[0]} 样本（15%）")
print(f"测试集：{X_test.shape[0]} 样本（20%）")

# 验证类别分布
for name, labels in [("训练集", y_train), ("验证集", y_val), ("测试集", y_test)]:
    unique, counts = np.unique(labels, return_counts=True)
    print(f"\n{name}类别分布：")
    for cls, count in zip(unique, counts):
        print(f"  类别{cls}: {count} ({count/len(labels)*100:.1f}%)")

数据标注

数据标注是为原始数据添加标签（标注信息）的过程，是监督学习的基础。标注质量直接影响模型性能。

常见标注类型

数据标注流程

数据标注的挑战

• 成本高：大规模高质量标注需要大量人力和时间
• 主观性：某些任务（如情感分析）标注者可能有不同判断
• 一致性：不同标注者之间、同一标注者不同时间的标注可能不一致
• 边界模糊：很多真实数据的标签并不明确

数据清洗

数据清洗是识别并修正数据集中错误、不一致和不完整数据的过程。高质量的数据是训练高质量模型的前提。

常见数据问题及处理方法

数据增强

数据增强（Data Augmentation）是通过各种技术手段扩充数据集的方法，在不收集新数据的情况下增加数据量和多样性，提升模型的泛化能力。

数据增强Python代码示例

# 使用albumentations库进行图像数据增强
# 安装：pip install albumentations

import albumentations as A
import cv2

# 定义增强管道
transform = A.Compose([
    A.RandomRotate90(p=0.5),           # 随机旋转90度（50%概率）
    A.HorizontalFlip(p=0.5),           # 水平翻转（50%概率）
    A.VerticalFlip(p=0.3),            # 垂直翻转（30%概率）
    A.RandomBrightnessContrast(
        brightness_limit=0.2, contrast_limit=0.2, p=0.8
    ),
    A.GaussNoise(p=0.3),              # 添加高斯噪声（30%概率）
    A.RandomCrop(height=224, width=224, p=1.0),
])

# 读取图片
image = cv2.imread("cat.jpg")
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

# 生成增强后的图片
for i in range(5):
    augmented = transform(image=image)["image"]
    cv2.imwrite(f"cat_augmented_{i}.jpg",
                cv2.cvtColor(augmented, cv2.COLOR_RGB2BGR))

# --- 文本数据增强方法 ---
# 推荐库：nlpaug (pip install nlpaug)
# 常用方法：
# 1. 同义词替换：将部分词替换为同义词
# 2. 随机插入：在句子中随机插入词
# 3. 随机交换：随机交换句子中的词
# 4. 随机删除：随机删除部分词