第961章 AI里的白盒黑盒和正则化（第5页）

知识蒸馏（Knowledgedistillation）

：用“复杂教师模型”

的输出指导“简单学生模型”

训练，学生模型在继承教师模型泛化能力的同时，保持低复杂度。

四、正则化的关键实践要点

正则化强度的选择是正则化的核心超参数，需通过交叉验证（cross-Validation）确定：

尝试多个值（如0.001，0.01，0.1，1，10）；

对每个，用K折交叉验证（如5折）训练模型，计算验证集平均性能；

选择使验证集性能最优的

过大易导致“欠拟合”

，即模型过于简单，无法拟合数据规律）。

数据预处理的影响L1L2正则化对特征尺度敏感（如“收入”

（万元级）和“年龄”

（十位数）的参数规模差异大，惩罚时会偏向缩小“收入”

参数），因此需先对特征进行标准化（Standardization）或归一化（Normalization），使所有特征处于同一尺度。

不同模型的正则化选择

传统线性模型：优先尝试L2（Ridge），若特征冗余多则用L1（Lasso）或ElasticNet；

深度学习模型：基础组合为“权重衰减+dropout+数据增强”

，bN通常作为标配，复杂任务可加入LabelSmoothing或mixUp；

小样本任务：数据增强和早停的效果更显着（因数据量少，模型易过拟合）。

五、总结

正则化是机器学习的“防过拟合利器”

，其核心是“通过约束模型复杂度，提升泛化能力”

。

不同场景下需选择合适的正则化方法：

传统模型：L1（特征选择）、L2（抗共线性）、ElasticNet（兼顾两者）；

深度学习：权重衰减、dropout、数据增强、早停等组合使用；

关键超参数

需通过交叉验证优化，避免欠拟合或过拟合。

掌握正则化技术，是从“训练出高准确率模型”

到“训练出稳定泛化模型”

的关键一步。

本章未完，点击下一页继续阅读