12 feb 2016 anni - Cheng Tai: Convolutional neural networks with low-rank regularization, CVPR, 2016

Descrizione:

深部神经网络在图像分类和目标检测问题上都取得了显著的性能，代价是大量的参数和计算复杂度。在本文中，我们将展示如何使用稀疏分解来减少这些参数中的冗余。最大稀疏度是利用信道间和信道内的冗余度来获得的，它具有一个微调步骤，使最大稀疏度引起的识别损失最小化。此过程将90%以上的参数归零，而ILSVRC2012数据集的精度下降小于1%。针对稀疏卷积神经网络（SCNN）模型，提出了一种有效的CPU稀疏矩阵乘法算法。我们的CPU实现比现成的稀疏矩阵库具有更高的效率，在原始密集网络上实现了显著的加速。此外，我们将SCNN模型应用于目标检测问题，结合级联模型和稀疏全连接层，以实现显著的加速。