7 Jan 2018 Jahr - Ilija Radosavovic: Data Distillation: Towards Omni-Supervised Learning, CVPR, 2018

Beschreibung:

使用多个模型的集合作为教师网路,通过教师网络标注许多数据供给学生网络学习.

我们研究了全监控学习，这是一种特殊的半监控学习机制，学习者利用所有可用的标记数据加上互联网规模的未标记数据源。Omni监督学习在现有标记数据集上的性能限制较低，提供了超越最先进的完全监督方法的潜力。为了充分利用全域监控设置，我们提出了一种数据蒸馏方法，该方法使用一个模型，将来自多个未标记数据转换的预测集合起来，自动生成新的训练注释。我们认为，视觉识别模型最近变得足够精确，现在可以将有关自我训练的经典思想应用于具有挑战性的现实数据。我们的实验结果表明，在人体关键点检测和一般目标检测的情况下，采用数据蒸馏技术训练的最新模型超过了仅使用COCO数据集的标记数据的性能。