第961章 AI里的白盒黑盒和正则化（第4页）

：加速模型收敛（避免梯度消失爆炸），允许使用更高的学习率，是深度学习的“标配”

技术之一（虽非专门为正则化设计，但正则化效果显着）。

4.早停（EarlyStopping）

原理

：训练过程中，持续监控模型在验证集上的性能（如准确率、损失）；当验证集性能不再提升（甚至下降）时，立即停止训练，避免模型继续学习训练数据中的噪声。

本质

：通过限制训练迭代次数，防止模型“过度训练”

，相当于在“模型复杂度随训练次数增长”

的过程中，选择“泛化能力最强”

的中间状态。

操作步骤

：

将数据分为训练集、验证集、测试集；

每次迭代后，计算验证集损失；

若验证集损失连续k次（如10次）未下降，停止训练，保存此时的模型参数。

5.数据增强（dataAugmentation）

原理

：通过对训练数据进行“随机变换”

（不改变标签），人工扩大训练集规模，让模型接触更多样化的样本，减少对原始数据噪声的依赖。

常见手段

（以图像数据为例）：

几何变换：随机裁剪、翻转、旋转、缩放；

像素变换：随机调整亮度、对比度、饱和度、添加高斯噪声；

高级变换：mixUp（将两张图像按比例混合）、cutmix（将一张图像的部分区域替换为另一张图像）。

核心优势

：不增加模型复杂度，仅通过数据层面的优化提升泛化能力，是计算机视觉、NLp（如文本同义词替换）中最常用的正则化方法之一。

6.其他深度学习正则化技术

LabelSmoothing（标签平滑）

：将硬标签（如分类任务的[0，1，0]）替换为软标签（如[0.1，0.8，0.1]），避免模型对“正确标签”

过度自信，缓解过拟合。

mixUpcutmix

：通过样本混合，让模型学习更通用的特征（如mixUp将“猫”

和“狗”

的图像混合，标签按比例分配，迫使模型关注“毛发”

“耳朵”

等通用特征而非噪声）。

本章未完，点击下一页继续阅读