24 maio 2018 ano - Lei Deng:
GXNOR-Net: Training deep neural
networks with ternary weights and
activations without full-precision
memory under a unified discretization
framework, NN, 2018
Descrição:
本文很有意思的是提出了全三值训练网络,即zai训练过程中完全不需要全精度的权值保存(之前的训练都需要基于全精度模型),而是使用类似于有限状态机的形式,按照概率在不同量化值之间跳转。并且使用近似梯度逼近实现激活值三值化的反向求导。缺陷:没有ImageNet上的实验,不知道实际的运行效果如何。
Adicionado na linha do tempo:
Data:
~ 5 years and 11 months ago