1 feb 2019 anni - ZhishengZhong: ADA-Tucker: Compressing deep neural networks via adaptive dimension adjustment tucker decomposition, NN, 2018

Descrizione:

尽管深度学习模型最近在许多应用程序中取得了成功，但它们在移动设备上的广泛应用受到存储和计算需求的严重阻碍。本文提出了一种新的网络压缩方法，即自适应尺寸调整塔克分解（ADA塔克）。利用可学习的核心张量和变换矩阵，AdaTucker对任意阶张量进行Tucker分解。此外，我们还提出了具有适当次序和平衡维的网络中的权张量更容易被压缩。因此，在分解选择方面的高灵活性将AdaTucker与以前的所有低阶模型区分开来。为了进一步压缩，我们通过为所有层定义一个共享的核心张量，进一步将模型扩展到共享核心AdaTucker（SCADATucker）。我们的方法不需要记录非零元素索引的开销。在不损失准确度的情况下，我们的方法将lenet-5和lenet-300的存储量分别降低了和的比率，显著优于现有技术。我们的方法的有效性也在其他三个基准（cifar-10、svhn、ilsvrc12）和现代新深度网络（resnet、wide resnet）上进行了评估。