全部栏目

首页 操作系统 后端开发 数据库 前端开发 移动端开发
您的当前位置：首页正文

正则化技术

2024-11-23 来源：个人技术集锦

正则化的概念

正则化（Regularization）是机器学习和深度学习中一种防止模型过拟合的重要技术。它通过在训练时添加限制，避免模型过于复杂，从而提升模型对未见数据的泛化能力。

为什么需要正则化？

常见的正则化方法

L1 和 L2 正则化是常用的正则化技术，通过对模型参数施加约束，防止过拟合，提高模型的泛化能力。它们通过在损失函数中添加惩罚项，限制模型参数的大小。

1. L1 正则化
原理

  • L1 正则化在损失函数中添加所有参数的绝对值之和，公式如下：

    • L：原始损失函数（如交叉熵损失）。
    • θi：模型的第 i 个参数。
    • λ：正则化强度，控制惩罚项的权重。
优化过程

  • L1 正则化在梯度下降中会产生一种稀疏效应，导致某些参数被直接更新为 0，从而进行特征选择。

  • 更新公式：

    • sign(θt)：权重的符号函数，值为 +1 或 -1。
特点
  • 稀疏性：L1 正则化会将某些权重缩减为 0，从而实现特征选择。
  • 适用场景：当希望模型更简单，或当数据具有大量冗余特征时。
2. L2 正则化
原理

  • L2 正则化在损失函数中添加所有参数的平方和的一半，公式如下：

    • L：原始损失函数。
    • θi：模型的第 i 个参数。
    • λ：正则化强度。
优化过程

  • L2 正则化会使权重逐渐减小，但通常不会变为 0。

  • 更新公式：

    • −η⋅λ⋅θt：权重值被按比例缩小（Weight Decay）。
特点
  • 平滑性：L2 正则化限制了参数的大小，使得模型更平滑，适合捕捉全局特性。
  • 适用场景：大多数机器学习任务中，L2 正则化更常用，尤其是当特征较多时。
为什么 L1 和 L2 正则化可以防止过拟合？

  1. 限制权重大小：

    • 过大的权重通常意味着模型对特定训练样本过于敏感，容易导致过拟合。
    • L1 和 L2 正则化通过限制权重大小，让模型更加关注整体特征。

  2. 简化模型：

    • L1 正则化会直接将部分权重压缩为 0，使模型更简单、更容易泛化。
    • L2 正则化通过缩小权重值，减少模型复杂度。

  3. 惩罚复杂解：

    • L1 和 L2 正则化会对模型中使用过多特征或复杂参数的解施加惩罚，倾向于选择更简单的模型。
代码示例
L1 正则化

在深度学习框架中，L1 正则化通常需要自定义：

import torch

# 自定义 L1 正则化
def l1_regularization(model, lambda_l1):
    l1_loss = 0
    for param in model.parameters():
        l1_loss += torch.sum(torch.abs(param))
    return lambda_l1 * l1_loss
L2 正则化

L2 正则化（Weight Decay）通常由优化器直接支持：

from transformers import AdamW

optimizer = AdamW(model.parameters(), lr=5e-5, weight_decay=0.01)  # 直接加入 L2 正则化
3. Dropout
  • 原理：
    • 在训练时，随机将一些神经元的输出置为零，避免神经元过度依赖特定特征。
    • 在推理时，使用所有神经元，但乘以一个缩放因子（通常为保留概率）。
  • 特点：
    • 随机性强，有效减少过拟合。
    • 在深度神经网络中非常常用。
  • 适用场景：
    • 大型深度网络，尤其是全连接层和 CNN。
4. 数据增强
  • 原理：
    • 通过对输入数据进行随机变换（如图像的旋转、翻转、裁剪），增加训练数据的多样性。
  • 特点：
    • 增强模型的鲁棒性。
    • 常用于图像和文本任务。
5. 提前停止（Early Stopping）
  • 原理：
    • 在验证集损失不再降低时停止训练，避免模型在训练集上继续优化导致过拟合。
  • 特点：
    • 不依赖修改损失函数，直接观察验证集性能。
6. Batch Normalization
  • 原理：
    • 在每层网络中对激活值进行归一化，并加入可训练参数恢复网络的表示能力。
    • 有助于平衡梯度下降和正则化。
  • 特点：
    • 降低网络对初始权重的敏感性，提高训练速度。
7. Weight Sharing
  • 原理：
    • 强制多个网络组件共享相同的权重。
    • 通常用于 CNN 和 Transformer 等结构中。

正则化的作用于模型的地方

  • 网络权重：

    • 通过 L1、L2 或 Weight Decay 限制权重的大小。

  • 模型结构：

    • Dropout、Batch Normalization 或 Weight Sharing。

  • 数据层面：

    • 数据增强、对输入噪声敏感的正则化。

Hugging Face 和正则化

在 Hugging Face 的 Trainer 和 TrainingArguments 中，常见的正则化方法包括：

  1. Weight Decay（L2 正则化）：

    • 通过 weight_decay 参数控制。
    training_args = TrainingArguments(
    weight_decay=0.01,  # L2 正则化强度
)

  2. Dropout：

    • 在模型的 config 中设置：
    from transformers import AutoConfig

config = AutoConfig.from_pretrained("bert-base-uncased")
config.hidden_dropout_prob = 0.1
config.attention_probs_dropout_prob = 0.1

  3. Early Stopping：

    • 使用 Trainer 的 EarlyStoppingCallback：
    from transformers import TrainerCallback

early_stopping = TrainerCallback(
    early_stopping_patience=3,  # 如果验证集指标连续3次不提升，停止训练
)

  4. Learning Rate Scheduler（间接作用）：

    • 控制学习率的衰减间接起到正则化的效果。

正则化的注意事项

  1. 不要过度正则化：

    • 过强的正则化可能导致欠拟合，模型无法有效学习数据模式。

  2. 正则化参数需要调优：

    • 如 weight_decay 和 dropout 的强度需要通过验证集性能调整。

  3. 结合模型和任务选择正则化方法：

    • 图像任务中常用数据增强和 Dropout。
    • 文本任务中常用 Weight Decay 和 Dropout。
显示全文