25 agos 2017 anni - Incremental Network Quantization: Towards Lossless CNNs with Low- Precision Weights, INQ, 2017

Descrizione:

增量网络,即对每层的全职分组,一组量化为低精度,另一组则保持全精度训练以弥补低精度带来的误差.通过迭代调整逐步降低全精度组的数据,最后时限全部量化.


本文提出了一种新的网络量化方法，即增量网络量化（INQ），它的目标是将预先训练的全精度卷积神经网络（CNN）模型有效地转换为一个低精度的模型，该模型的权值限制为二次幂或零。与现有的在显著的精度损失中挣扎的方法不同，我们的INQ有可能解决这个问题，因为这得益于两个创新。一方面，我们引入了三种相互依赖的运算，即权重划分、分组量化和再训练。一个经过充分验证的度量被用来将预先训练的CNN模型的每一层的权重划分为两个不相交的组。第一组中的权重形成了一个低精度的基，因此它们通过可变长度编码方法进行量化。另一组的权重负责补偿量化带来的精度损失，因此它们是需要重新训练的权重。另一方面，这三个操作以迭代的方式在最新的重新训练组上重复，直到所有权重都转换为低精度权重，作为一个增量网络量化和精度增强过程。利用Alexnet、VGG-16、Googlenet和Resnet等几乎所有已知的深层CNN体系结构对ImageNet分类任务进行了大量的实验，证明了该方法的有效性。具体来说，在5位量化时，我们的模型比32位浮点引用提高了精度。以resnet-18为例，进一步证明了我们的四位、三位和二位三元权重量化模型相对于其32位浮点基线的精度提高了或非常相似。此外，还报道了网络修剪与INQ相结合的效果。该代码在此https URL上可用。

Aggiunto al nastro di tempo:

Data: