17 marzo 2016 anni - Daisuke Miyashita: Convolutional Neural Networks using Logarithmic Data Representation

Descrizione:

认为网络权值满足log正态分布,使用非均匀的量化实现了更低的精度下降.

卷积神经网络的最新进展考虑了模型的复杂性和硬件效率，使其能够部署到嵌入式系统和移动设备上。例如，现在众所周知，深层网络的算术运算可以被编码为8位定点，而不会显著降低性能。然而，精度进一步降低到3位固定点以下会导致性能显著下降。在本文中，我们提出了一种新的数据表示方法，使最先进的网络编码为3位，分类性能损失可以忽略不计。为了实现这一点，我们利用了这样一个事实，即训练网络中的权重和激活自然具有非均匀分布。使用非均匀的以2为底的对数表示来编码权重、通信激活和执行点积，使网络能够1）在相同分辨率下比固定点获得更高的分类精度，2）消除笨重的数字乘法器。最后，我们提出了一个端到端的训练程序，它使用5位的日志表示，这比5位的线性测试精度更高。