引自：《深度学习模型与算法基础》（作者：许庆阳、宋勇、张承进）
该书已出版，详细信息请见文末~
「 1. GoogleNet网络 」
深度学习在图像和视频内容分类等领域取得了极大的成功。在这之前，很多对深度学习和神经网络都保持怀疑态度的人，都开始对深度学习产生兴趣。深度学习使得神经网络不再是海市蜃楼、花拳绣腿，而是变得越来越实用。Google、百度、阿里、华为等科技巨头都已经在深度学习领域开始布局，成立了各种各样的人工智能实验室。
2014年，在Google工作的Christian Szegedy为了找到一个能有效地减少计算资源的深度神经网络结构，提出了GoogleNet（inception V1）。如何才能减少深度神经网络的计算量，同时获得比较好的预测性能。即使不能两全其美，退而求其次也是个不错的选择，即在相同的计算成本下，能够更好地提升网络性能。于是Christian和他的团队从增加网络宽度的思路构造了GoogleNet网络，网络由Inception模块组成。GoogleNet主要围绕两个思路进行网络设计：
（1）深度：层数更深，利用Inception 模块（图1），网络达到22层的深度，为了避免梯度消失问题，GoogleNet巧妙的在不同深度处增加了两个损失来保证梯度回传消失的现象。
图1 原始Inception module V1
（2）宽度：采用了1×1、3×3、5×5多种核以及直接最大池化对输入特征图进行处理，但是如果简单的将这些应用到特征图上的话，组合起来的特征图厚度将会很大，GoogleNet为了避免这一现象，在3×3前、5×5卷积前及最大池化后分别加入了1×1的卷积核起到了降低特征图厚度的作用，最终的Inception模块如图2所示。
图2 改进后的Inception module V1
Inception模块具有并联的4路计算支路，分别为单独的1×1卷积、1×1串联3×3卷积、1×1串联5×5卷积、池化后1×1卷积。不同的卷积结构可以提取不同特征，然后将特征组合在一起输出1×1、3×3、5×5等不同尺寸的卷积，增加了特征提取面积的多样性，从而减小过拟合。
在Inception模块中创新性的使用了1×1卷积核来减少后续并行操作的特征数量，这个思想被称为瓶颈层。虽然操作减少，但网络并没有失去这一层特征。实际上，瓶颈层在ImageNet数据集上表现非常出色，并且在后续的神经卷积网络架构中经常被采用，例如ResNet。瓶颈层成功的原因是输入特征是相关的，因此适当地与1×1卷积组合可以去除冗余信息。假设输入256个特征图，256个特征图输出，假设Inception层只执行3×3的卷积，那么这就需要这行256×256×3×3的卷积操作，这些计算开销还是很大的。瓶颈层的思想是先来减少特征图的数量，如首先执行64组256×1×1卷积，得到64张特征图，然后在所有瓶颈层的分支上对64张特征图进行3×3常规卷积，最后再使用256组64×1×1卷积核进行卷积，操作量为：64×256×1×1=16000、64×64×3×3=36000、256×64×1×1=16000，总共约70000，而没有采用瓶颈层时有近600000，减少近10倍的运算量。GoogleNet网络如图3所示。
图3 GoogleNet网络
「 2. Inception V2&V3网络 」
2015年2月，Christian团队又提出了GoogleNet的改进版Inception V2网络，该网络在原有GoogleNet网络中加入批归一化层。批归一化层计算输出所有特征图的平均值和标准差，并使用这些值对其响应进行归一化。这对于“白化”数据非常有效，使得所有神经层响应具有相同范围，并且具有零均值的特性。每一层网络不必学习输入数据的偏移，因此网络可以专注于如何最好地组合特征，这有助于网络的训练；同时模型参考了VGG的设计思路，使用了两个串联3×3卷积核代替5×5卷积核，减小了计算量，如图4所示。
图4 Inception V2 module
2015年12月，谷歌又提出了Inception V3模块和相应的网络架构，使用1×3+3×1的非对称卷积来代替一个3×3的卷积，如图5、图6所示，进一步降低了参数的同时，提高了卷积的多样性，并且更好地解释了GoogLeNet通过平衡深度和宽度构建网络的思想。网络架构最后的输出还是与GoogleNet是一样的，使用softmax层作为输出分类器。
图5 1×3与3×1的卷积效果
图6 Inception V3
随着ResNet的提出，Google在Inception V3的基础上，引入了残差结构，并修改Inception模块，提出了Inception V4网络架构，如图7所示。通过残差结构的引入，进一步提升了网络的性能。
图7 Inception V4
版权归原作者所有
编辑：刘杨
编审：辛召
——————————————————————
▼购买链接▼
