1 Jan 2017 Jahr - Junho Yim: A Gift From Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning, CVPR, 2017

Beschreibung:

本文使用了一种更为直接的,类似于深度监督的训练方法,将老师的中间层也作为学生网络学习的目标而不仅仅是最后一层的输出. 这将加速模型的收敛速度.

我们介绍了一种新的知识转移技术，将预训练的深神经网络（DNN）中的知识提取并转移到另一个DNN中。当dnn按顺序从输入空间映射到输出空间时，我们根据层之间的流动定义要传输的蒸馏知识，这是通过计算两层特征之间的内积来计算的。当我们比较学生dnn和与学生dnn大小相同但没有教师网络训练的原始网络时，所提出的将蒸馏知识作为两层之间的流动进行转移的方法呈现出三个重要的现象：（1）学生dnn学习了数据流。现有的知识优化比原模型快得多；（2）学生dnn优于原dnn；（3）学生dnn可以从接受不同任务训练的老师dnn学习提炼的知识，学生dnn优于原dnn。从零开始。