33
/fr/
AIzaSyB4mHJ5NPEv-XzF7P6NDYXjlkCWaeKw5bc
November 30, 2025
3251714
288434
1
Public Timelines
FAQ

5 janv. 2017 - Deep Learning with Low Precision by Half-wave Gaussian Quantization (HWGQ)

Description:

本文主要讨论了在低位宽量化的近似梯度训练中,梯度消失的问题,通过设计新的量化函数(sign/Q)和激活函数来保证梯度不消失,以实现量化模型的收敛。有趣的是,仅通过对relu函数的剪切或者log-tail变换,模型的性能得到了显著提升。这或许就是特征的影响

Ajouté au bande de temps:

29 mars 2020
1
0
810

Date:

5 janv. 2017
Maintenaint
~ Il y a 8 ans et 9 mois