机器学习基础：如何防止过拟合

学术 2024-09-14 04:12 中国台湾

作者丨Poll 来源丨炼丹笔记编辑丨极市平台

导读

本文对几种常用的防止模型过拟合的方法进行了详细的汇总和讲解。

其实正则化的本质很简单，就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。一提到正则化，很多同学可能马上会想到常用的L1范数和L2范数，在汇总之前，我们先看下LP范数是什么？

LP范数

范数简单可以理解为用来表征向量空间中的距离，而距离的定义很抽象，只要满足非负、自反、三角不等式就可以称之为距离。

LP范数不是一个范数，而是一组范数，其定义如下：

p的范围是[1,∞)。p在(0,1)范围内定义的并不是范数，因为违反了三角不等式。

根据pp的变化，范数也有着不同的变化，借用一个经典的有关P范数的变化图如下：

上图表示了p从0到正无穷变化时，单位球（unit ball）的变化情况。在P范数下定义的单位球都是凸集，但是当0<p<1时，在该定义下的unit ball并不是凸集（这个我们之前提到，当0<p<1时并不是范数）。

那问题来了，L0范数是啥玩意？

L0范数表示向量中非零元素的个数，用公式表示如下：

我们可以通过最小化L0范数，来寻找最少最优的稀疏特征项。但不幸的是，L0范数的最优化问题是一个NP hard问题（L0范数同样是非凸的）。因此，在实际应用中我们经常对L0进行凸松弛，理论上有证明，L1范数是L0范数的最优凸近似，因此通常使用L1范数来代替直接优化L0范数。

L1范数

根据LP范数的定义我们可以很轻松的得到L1范数的数学形式：

通过上式可以看到，L1范数就是向量各元素的绝对值之和，也被称为是"稀疏规则算子"（Lasso regularization）。那么问题来了，为什么我们希望稀疏化？稀疏化有很多好处，最直接的两个：

特征选择
可解释性

L2范数

L2范数是最熟悉的，它就是欧几里得距离，公式如下：

L2范数有很多名称，有人把它的回归叫“岭回归”（Ridge Regression），也有人叫它“权值衰减”（Weight Decay）。以L2范数作为正则项可以得到稠密解，即每个特征对应的参数ww都很小，接近于0但是不为0；此外，L2范数作为正则化项，可以防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

L1范数和L2范数的区别

引入PRML一个经典的图来说明下L1和L2范数的区别，如下图所示：

如上图所示，蓝色的圆圈表示问题可能的解范围，橘色的表示正则项可能的解范围。而整个目标函数（原问题+正则项）有解当且仅当两个解范围相切。从上图可以很容易地看出，由于L2范数解范围是圆，所以相切的点有很大可能不在坐标轴上，而由于L1范数是菱形（顶点是凸出来的），其相切的点更可能在坐标轴上，而坐标轴上的点有一个特点，其只有一个坐标分量不为零，其他坐标分量为零，即是稀疏的。所以有如下结论，L1范数可以导致稀疏解，L2范数导致稠密解。

从贝叶斯先验的角度看，当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项，而加入正则项相当于加入了一种先验。

L1范数相当于加入了一个Laplacean先验；
L2范数相当于加入了一个Gaussian先验。

如下图所示：

Dropout

Dropout是深度学习中经常采用的一种正则化方法。它的做法可以简单的理解为在DNNs训练的过程中以概率pp丢弃部分神经元，即使得被丢弃的神经元输出为0。Dropout可以实例化的表示为下图：

我们可以从两个方面去直观地理解Dropout的正则化效果：

在Dropout每一轮训练过程中随机丢失神经元的操作相当于多个DNNs进行取平均，因此用于预测时具有vote的效果。
减少神经元之间复杂的共适应性。当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过Dropout的话，就有效地组织了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。

Batch Normalization

批规范化（Batch Normalization）严格意义上讲属于归一化手段，主要用于加速网络的收敛，但也具有一定程度的正则化效果。

这里借鉴下魏秀参博士的知乎回答中对covariate shift的解释（https://www.zhihu.com/question/38102762）。

注：以下内容引自魏秀参博士的知乎回答大家都知道在统计机器学习中的一个经典假设是“源空间（source domain）和目标空间（target domain）的数据分布（distribution）是一致的”。如果不一致，那么就出现了新的机器学习问题，如transfer learning/domain adaptation等。而covariate shift就是分布不一致假设之下的一个分支问题，它是指源空间和目标空间的条件概率是一致的，但是其边缘概率不同。大家细想便会发现，的确，对于神经网络的各层输出，由于它们经过了层内操作作用，其分布显然与各层对应的输入信号分布不同，而且差异会随着网络深度增大而增大，可是它们所能“指示”的样本标记（label）仍然是不变的，这便符合了covariate shift的定义。

BN的基本思想其实相当直观，因为神经网络在做非线性变换前的激活输入值（X=WU+B，U是输入）随着网络深度加深，其分布逐渐发生偏移或者变动（即上述的covariate shift）。之所以训练收敛慢，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近（对于Sigmoid函数来说，意味着激活输入值X=WU+B是大的负值或正值），所以这导致后向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因。而BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，避免因为激活函数导致的梯度弥散问题。所以与其说BN的作用是缓解covariate shift，倒不如说BN可缓解梯度弥散问题。

归一化、标准化 & 正则化

正则化我们以及提到过了，这里简单提一下归一化和标准化。归一化（Normalization）：归一化的目标是找到某种映射关系，将原数据映射到[a,b]区间上。一般a,b会取[−1,1],[0,1]这些组合。

一般有两种应用场景：

把数变为(0, 1)之间的小数
把有量纲的数转化为无量纲的数

常用min-max normalization：

标准化（Standardization）：用大数定理将数据转化为一个标准正态分布，标准化公式为：

归一化和标准化的区别：

我们可以这样简单地解释：

归一化的缩放是“拍扁”统一到区间（仅由极值决定），而标准化的缩放是更加“弹性”和“动态”的，和整体样本的分布有很大的关系。

值得注意：

归一化：缩放仅仅跟最大、最小值的差别有关。
标准化：缩放和每个点都有关系，通过方差（variance）体现出来。与归一化对比，标准化中所有数据点都有贡献（通过均值和标准差造成影响）。

为什么要标准化和归一化？

提升模型精度：归一化后，不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。
加速模型收敛：标准化后，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。如下图所示：

声明：部分内容来源于网络，仅供读者学术交流之目的。文章版权归原作者所有。如有不妥，请联系删除。参考链接：http://www.cnblogs.com/maybe2030/

http://mp.weixin.qq.com/s?__biz=MzI2OTQ4OTExOA==&mid=2247501869&idx=4&sn=75e8cd363bf0b7bc08c038d10a2fbbfa

学术之友

\x26quot;学术之友\x26quot;旨在建立一个综合的学术交流平台。主要内容包括：分享科研资讯，总结学术干货，发布科研招聘等。让我们携起手来共同学习，一起进步！

最新文章

香港理工大学/牛津大学 Edman Tsang课题组博士后/博士招聘

Nature新闻：中国申请科研经费变得更加困难

QM9star数据库发布：包含两百万个离子和自由基的量子化学计算平衡结构

第四期VASPKIT团队“机器学习赋能材料研究”专题培训

5代Intel 8581C服务器配置，在售最快配置

骆军委魏苏淮等人Nature: 提出免于退极化效应的光学声子软化新理论

第四期VASPKIT团队“机器学习赋能材料研究”专题培训

5代Intel 8581C服务器配置，在售最快配置

新加坡博士后以及博士机会-导师超级Nice

巩金龙/赵志坚最新NC，可解释机器学习双原子

胡培君最新综述，神经网络势+动态催化

第四期VASPKIT团队“机器学习赋能材料研究”专题培训

5代Intel 8581C服务器配置，在售最快配置

方国勇何晓等人JCTC：基于生成对抗网络和数据驱动潜在空间融合的晶体结构预测

ATOMKIT: 科研软件也可以有颜值

MDPI-software征稿启事：计算化学专栏

JACS最新2篇机器学习文章

5代Intel 8581C服务器配置，在售最快配置

第四期VASPKIT团队“机器学习赋能材料研究”专题培训

段文晖/徐勇两篇NC，等变神经网络泛函

学术之友：免费推广科研成果，助力人才招聘

DFT计算之家QQ群申请加入的说明

北京同步辐射光源贾逊课题组招聘博士后，基本年薪48.5万元（长期有效）

10月份6篇PRL文献精读

5代Intel 8581C服务器配置，在售最快配置

第四期VASPKIT团队“机器学习赋能材料研究”专题培训

1.1亿个结构DFT计算，Meta推出OMat24，AI驱动材料发现开源化

机器学习势与BTE结合利器-κALDo：一款多接口的基于玻尔兹曼输运方程的热输运计算器

MolPipeline：一个使用Scikit-learn中的RDKit处理分子的Python包

VASPKIT使用指南出炉：诚邀分享与反馈

宁波东方理工大学(暂名)招聘计算模拟博士后/研究员

2024年度美国物理学会新当选会士揭晓

南开刘锦程课题组招收2025级计算方向博士研究生

(推迟至11月举行)第四期VASPKIT团队“机器学习赋能材料研究”专题培训

（摘要提交10月15日截止）参会专家信息 l 第二十二次全国电化学大会

Code Composer：一个AI项目编码助手(简单复刻Cursor Composer的功能)

Paper Copilot：基于向量索引与大模型的本地文献RAG分析工具

学校奖励8万！靠一篇SCI论文奠定学术圈地位！

J. Am. Chem. Soc.: 基于机器学习的原子堆积效应研究

2024年诺贝尔物理学奖揭晓：人工智能领军人物荣获殊荣

(即将开课)第四期VASPKIT团队“机器学习赋能材料研究”专题培训

AMI: 高通量计算与机器学习实现TMDs/2D钙钛矿异质结的电子性质预测

西密歇根大学Dr. Jinghao Li课题组博士生招生

李巨Sci. Data：人工智能与材料科学的深度融合—新数据库的诞生与突破

5代Intel 8581C服务器配置，在售最快配置

Phys. Rev. B: 声子线宽对三声子和四声子散射的影响

5代Intel 8581C服务器配置，在售最快配置

WIREs Comput Mol Sci.：机器学习推动催化科学迈入数字化时代

(国庆后开课)第四期VASPKIT团队“机器学习赋能材料研究”专题培训

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉