jan 1, 2019 - Pavlo Molchanov: Importance Estimation for Neural Network Pruning, CVPR, 2019

Description:

神经网络参数的结构修剪减少了推理过程中的计算、能量和内存传输成本。我们提出了一种新的方法来估计神经元（滤波器）对最终损失的贡献，并迭代地去除那些分数较小的神经元。我们描述了我们的方法的两个变化，使用一阶和二阶泰勒展开来近似一个滤波器的贡献。这两种方法都可以在任何网络层上一致地扩展，而无需进行每层敏感度分析，并且可以应用于任何类型的层，包括跳过连接。对于在ImageNet上训练的现代网络，我们通过实验测量了我们的方法计算出的贡献与真实重要性的可靠估计之间的高（>93%）相关性。使用所提出的方法进行修剪，在精度、触发器和参数减少方面比最先进的方法有了改进。在resnet-101上，通过删除30%的参数，我们实现了40%的触发器减少，在Imagenet的前1精度中损失了0.02%。

Added to timeline:

Date: