来源

Network In Network一文中提到，如果1×1卷积核接在普通的卷积层后面，配合激活函数，即可实现network in network的结构

应用

GoogleNet中的Inception（升维和降维）、ResNet中的残差模块

作用

跨通道的特征整合

例子：使用$1\ast 1$卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化，$3\ast 3$，64channels的输入后面添加一个$1\ast 1$，28channels的卷积核，就变成了$3\ast 3$，28channels的输出，原来的64个channels就可以理解为跨通道线性组合变成了28channels，这就是通道间的信息交互。

注意：只是在channel维度上做线性组合，W和H上是共享权值的sliding window

特征通道的升维

残差模块，残差的结束加入1*1卷积，实现升维，减少参数

特征通道的降维

典型的就是GoogLeNet，利用1×1的卷积降维后，得到了更为紧凑的网络结构，虽然总共有22层，但是参数数量却只是8层的AlexNet的十二分之一（当然也有很大一部分原因是去掉了全连接层）

当然还有残差模块，残差的开始加入1*1卷积，实现降维，减少参数

减少卷积核参数（简化模型）

其实11卷积和33卷积，在乘法结果上就差8倍，最后参数数量是少太多了

保持feature map尺度不变，增加非线性

1*1卷积核，可以在保持feature map尺度不变的（即不损失分辨率）的前提下大幅增加非线性特性（利用后接的非线性激活函数），把网络做的很deep。

和全连接层的关系

当输入的feature map的尺寸是1×1时，两者从数学原理上来看，没有区别。假设输入为c×1×1，输出为n×1×1，那么全连接可以认为是一个c维的向量和n×c大小的矩阵相乘。卷积层可以理解为n个c×1×1的卷积核，分别与输入做内积，跟计算矩阵向量乘没有区别。

当输入为c×w×h时，卷积层和全连接层的输出尺寸就不一样了，1×1的卷积输出为n×w×h，全连接的输出是n×1×1。此时，全连接可以等价于n个c×w×h卷积核的卷积层。

全连接层和卷积层最大的区别就是输入尺寸是否可变，全连接层的输入尺寸是固定的，卷积层的输入尺寸是任意的。

作者：Joshua Li
链接：https://www.zhihu.com/question/274256206/answer/375302595
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。