may 22, 2019 - Improving Neural Network Quantization without Retraining using Outlier Channel Splitting, arxiv
Description:
非常有意思的工作：该工作的观点很直接，一般的数据分布都包含异常值，而直接将异常值丢弃的操作将导致打的信息丢失。本文接用Net2Net的观点，通过宽度扩张，将异常值分解到正常值以内，从而避免额外的损失，比如100是一个异常值，直接通过clip会被丢弃，但是我们如果直接将100分解为10*10，即10个10相加，那就落在了正常的范围，只是会增加10个维度。所以其其实也是在复杂度和精度之间进行了权衡。而为了表现该工作的效果，本文不需要重新训练量化网络即可实现较好的效果。Added to timeline:
Date:
may 22, 2019
Now
~ 6 years ago