ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks

这篇文章提出了ACNet，使用了一种可以替代原始CNN模型中普通方形$d\times d$卷积核的非对称卷积块（ Asymmetric Convolution Block，ACB）。非对称卷积块由卷积核为方形($d\times d$)、水平($1\times d$)和垂直($d\times 1$)的三个平行层组成，水平和垂直卷积核与方形卷积核相加可以对方形卷积核的骨架进行增强，提高准确率：

说明：

Top-5准确率：对一个图像，如果预测概率前五中包含正确答案，即认为正确。

Top-1准确率：对一个图像，如果预测概率最大的是正确答案，即认为正确。

利用增强后的卷积核参数对原始模型进行初始化并部署，可以在不需要额外的计算成本的前提下提升原始模型的准确率。

举个例子。对于$3\times 3$卷积核，我们可以用卷积核为$3\times 3$、$1\times 3$和$3\times 1$的三个平行层组成的ACB替代它。ACB输出是三个平行层的输出之和，如图：

那么，给定现成的卷积网络（原始网络），我们用ACB替换每个方形卷积核层来构造非对称卷积网络（ACNet），并对其进行训练直至收敛。

训练完成后，我们将ACB中的三个卷积核在对应位置相加，得到骨架(skeleton，方形卷积核的中心交叉部分)增强的卷积核参数：

最后将骨架增强的卷积核的权值参数对原始网络进行初始化并部署。

由卷积的可加性（输入$I$对于大小合适的两个2D卷积核${\mathbf{K}}^{(1)}$和${\mathbf{K}}^{(2)}$有：

，$\oplus$为相应位置的逐元素加法），所得的原始模型可以产生与训练时ACNet相同的输出：

也就是说只需要一个$3\times 3$卷积核的计算量就能达到$3\times 3$、$1\times 3$和$3\times 1$三个卷积核的效果。

这种方式

• 不引入其他的超参数，可以很方便地跟一些网络结合。
• 与直接训练得到的原始网络相比，只是卷积核的权值有差别，所以部署时不需要额外的计算成本。

推荐阅读：

炼丹神trick，nb的BN算法总结

卷积网络常用到BN层。这篇文章的实验表明，先BN后融合效果是最好的：

如果使用BN后再融合，在训练完ACNet后，原始模型的的卷积层和BN层用通过BN fusion、branch fusion化简得到表达式替换：

其中

$$b=-\frac{\mu \gamma }{\sigma }-\frac{\bar{\mu }\bar{\gamma }}{\bar{\sigma }}-\frac{\hat{\mu }\hat{\gamma }}{\hat{\sigma }}+\beta +\bar{\beta }+\hat{\beta }$$

均值和标准差都是训练时的滑动平均。

ACNet为什么有效？

这篇论文通过实验观察到，核的骨架上的权重通常较大：

且以一定稀疏率(sparsity ratio)将卷积核在边角(corner)、骨架(skeleton)、全局(global)的权重随机置零：

骨架(skeleton)对准确率影响是最明显的，这说明了骨架的重要性。

骨架如此重要，所以ACB中将水平和垂直核添加到方形核的骨架对其进行增强可以促进网络学习。

另外，方形、水平和垂直核上的权重有可能是负的，因此将它们相加可能会导致骨架更弱。然而，作者根据实验观察到模型学习时总是增强每一层的骨架。