jan 4, 2017 - Tien-Ju Yang: Designing Energy-Efficient Convolutional Neural Networks Using Energy-Aware Pruning, CVPR, 2017

Description:

本文提出了一些比较有意思的概念,比如说基于能耗感知的剪枝,逐层本地剪枝微调以降低当前层输出误差,全局微调以降低总误差.


深度卷积神经网络（CNN）是最先进的计算机视觉算法必不可少的。然而，它们仍然很少部署在电池驱动的移动设备上，例如智能手机和可穿戴的小工具，在这些设备上，视觉算法可以实现许多革命性的现实世界应用程序。关键的限制因素是CNN处理的高能耗，因为它的计算复杂度很高。虽然之前有许多努力试图减少CNN模型的大小或计算量，但我们发现它们不一定会导致更低的能耗。因此，这些目标不能作为能源成本估算的良好指标。为了缩小CNN设计与能耗优化之间的差距，我们提出了一种基于能量感知的CNN修剪算法，该算法直接利用CNN的能耗来指导修剪过程。能量估计方法使用从实际硬件测量中推断出的参数。该算法通过减少输出特征映射中的误差而不是过滤权重，比以前提出的逐层修剪算法更能有效地进行修剪。对于每一层，首先对权重进行修剪，然后使用闭合形式的最小二乘法对权重进行局部微调，以快速恢复精度。修剪完所有层后，使用反向传播对整个网络进行全局微调。采用该修剪方法，Alexnet和Googlenet的能耗分别降低了3.7x和1.6x，前5位精度损失小于1%。我们还发现，在Alexnet中减少目标类的数量会大大减少权重的数量，但对能量消耗的影响有限。

Added to timeline:

Date: