9 mar 2020 ano - Forward and Backward Information Retention for Accurate Binary Neural Networks, CVPR 2020

Descrição:

本文提出了二值网络，将所有的权值和激活量化到二值，以实现高效率的网络推理。
相比于以往的BNN工作只考虑前向过程中优化量化误差，本文认为前向和方向都会带来信息损失，这是限制二值网络的瓶颈，因此本文的主要方法有两个：1，在前向过程中，最小化量化误差和信息损失，以保证前向的信息损失；2，在反向传播中逐步地逼近符号函数以保证梯度的信息损失最小，并联合考虑梯度的更新能力和准确性。