15 apr 2019 anni - Chao Li: Low-rank Embedding of Kernels in Convolutional Neural Networks under Random Shuffling, ICASSP, 2019

Descrizione:

尽管卷积神经网络（CNN）近年来在各种图像处理和计算机视觉任务中得到广泛应用，但在资源有限的平台上降低参数的存储成本仍是一个具有挑战性的问题。在以往的研究中，张量分解（TD）通过将卷积层的核嵌入到低阶子空间中，获得了有前途的压缩性能。然而，td的使用在内核或其指定的变体上是幼稚的。与传统的方法不同，本文表明内核可以嵌入到更一般甚至更随机的低阶子空间中。我们通过使用cifar-10对标准分类任务进行随机无序张量分解（rstd）压缩卷积层来证明这一点。此外，还分析了训练数据的空间相似性对核的低阶结构的影响。实验结果表明，即使核随机洗牌，CNN也能被显著压缩。此外，在较大的压缩比范围内，基于RSTD的方法比传统的基于TD的方法获得更稳定的分类精度。