9 marzo 2020 anni - Forward and Backward Information Retention
for Accurate Binary Neural Networks, CVPR 2020
Descrizione:
本文提出了二值网络,将所有的权值和激活量化到二值,以实现高效率的网络推理。
相比于以往的BNN工作只考虑前向过程中优化量化误差,本文认为前向和方向都会带来信息损失,这是限制二值网络的瓶颈,因此本文的主要方法有两个:1,在前向过程中,最小化量化误差和信息损失,以保证前向的信息损失;2,在反向传播中逐步地逼近符号函数以保证梯度的信息损失最小,并联合考虑梯度的更新能力和准确性。
Aggiunto al nastro di tempo:
Data:
~ 4 years and 2 months ago