diff --git "a/docs/\347\254\254\345\233\233\347\253\240/4.1 ResNet.html" "b/docs/\347\254\254\345\233\233\347\253\240/4.1 ResNet.html" index 0665a358e..2499788de 100644 --- "a/docs/\347\254\254\345\233\233\347\253\240/4.1 ResNet.html" +++ "b/docs/\347\254\254\345\233\233\347\253\240/4.1 ResNet.html" @@ -893,7 +893,7 @@
shortcut connection也就是所谓的“抄近道”,它有两种方式,其一为同等维度的映射,即输入输出直接相加(即上图中的F(x) + x),另一种为不同维度的映射,这时候就需要给x补充一个线性映射来匹配维度。
比如下面这个图:
- +左:VGG-19模型,作为参考。 中:一个有34个参数层的普通网络。 右:一个有34个参数层的残差网络(即resnet34)
在上图最右侧的路径中,我们可以很明显的看到shortcut connection加入了网络之中,同时,图中也很明显的可以看到,实线部分就是进行了单纯的F(x)+x操作,而虚线部分,第一个卷积层的stride是2(那个/2的意思就是stride是2);同时注意到深度也发生了变换,channel数目增加一倍(扩大两倍),这样F(x)的分辨率比x小一半,厚度比x大一倍。在这样的shortcut connection中,就需要补充线性映射来增加维度。在ResNet中,作者使用了1 x 1的卷积核来达到这个目的。
另外,论文中又提到说:“……where both designs have similar time complexity.” 既然BasicBlock和Bottleneck二者的时间复杂度类似,那么为什么还要额外设计一个Bottleneck结构呢?
@@ -1225,4 +1225,4 @@