29 abr 2018 ano - Extremely Low Bit Neural Network Squeeze the Last Bit Out with ADMM, AAAI, 2018

Descrição:

本文接用Alternating Direction Method of Multipliers (ADMM)思想来解决量化网络训练过程中的离散离散约束优化问题，即离散的梯度问题。其分离了连续权值和离散权值的训练过程，将离散权值看作是连续权值的约束，并使用拉格朗日乘子实现带约束的优化方程，可以实现更快的收敛速度。同时，本文还使用了诸多在ImageNet上的实验来证明其有效性，包括AlexNet，VGG-6、Resnet-18，Resnet-50以及GoogLeNet，并在论文中提出了1x1的卷积核可能是性能瓶颈，提出使用8bit来量化。同时还在文中实现了基于SSD的Object detection的实验结果。