26 Feb 2017 Jahr - Ternary Neural Networks for Resource-Efficient AI Applications (TNNs)

Beschreibung:

本文实现了三值网络。使用教师-学生网络，并基于层贪心策略的方法实现。较是网络使用完全的层，比如dropout和BN以实现快速收敛和保证精度，而学生网络使用完全的三值权值和激活值学习模仿老师的行为而避免使用任何的乘法。本文再FPGA和ASIC上实现TNNs实现表明比当前最好的方法相比实现了3.1x的能效并且提升了精度。