本站原创文章，转载请说明来自《老饼讲解-深度学习》www.bbbdata.com
ResNet出自2015年论文《Deep Residual Learning for Image Recognition》，是经典的卷积神经网络之一
ResNet最主要的贡献是通过快捷连接的方式，解决了网络退化问题，使得训练更加快速，以及网络层数可以加得更深
本文介绍ResNet原文的主要内容和原文中比较具有意义的贡献，通过本文可以对ResNet原文有一个初步的了解
ResNet原文简介
ResNet神经网络出自2015年论文《Deep Residual Learning for Image Recognition》
ResNet的核心内容
ResNet的原文主要是通过提出ResNet模块来解决深层神经网络的网络退化问题
一、什么是网络退化
网络退化问题简单来说就是随着网络层数加深，网络的训练、预测效果越来越差的现象
二、什么是ResNet模块
ResNet模块如下图所示:
ResNet就是在原来的神经网络层添加一个快捷连接，把输入添加到输出上，
这种快捷连接减轻了神经网络层的拟合复杂度，从而解决网络退化的问题
ResNet全文简介
ResNet先提出ResNet模块，并在理论上解释为什么ResNet可以解决网络退化问题
然后在ImageNet数据集和CIFAR-10数据集上展开了一系列的关于ResNet的实验与探索
最后通过在两个数据集上的各种实验结果，展示并总结ResNet的相关效果与特性
例如ResNet对普通网络的精度的提高、对训练速度的加速效果、对层数的加深等等
ResNet原文的贡献与ResNet的意义
ResNet原文的主要贡献
1. ResNet模块
包括普通ResNet模块和Bottleneck-ResNet模块
其中附带了三种ResNet模块的快捷连接方案
2. 两组ResNet模型
ResNet-18、34、50、101、152 (面向ImageNet数据做相关实验时提出的模型)
ResNet-20、32、44、56、110、1202(面向CIFAR-10数据做相关实验时提出的模型)
ResNet的意义
ResNet的模型和模块可能并不是文章最重大的贡献，更具意义的是esNet模块的思想与形式
1. 由于ResNet很大程度上解决了网络退化问题，它可以让网络的训练速度更快、误差更小
详见《ResNet在ImageNet数据上的探索实验》
2. ResNet将深度学习的神经网络层数推向了另一个量级， 甚至可以达到1000层以上都没问题
详见《ResNet在CIFAR-10数据上的探索实验》
End