4 mars 2019 - Jonathan Frankle: The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks, arxiv, 2019

Description:

神经网络剪枝技术可以在不影响精度的前提下，将训练后的网络参数减少90%以上，减少存储需求，提高推理计算性能。然而，现代经验表明，修剪产生的稀疏结构从一开始就很难训练，这同样会提高训练性能。我们发现，标准修剪技术自然地揭示了子网络，其初始化使它们能够有效地训练。基于这些结果，我们阐明了“彩票假设”：密集的、随机初始化的前馈网络包含子网络（“中奖票”），当单独训练时，在类似的迭代次数中达到与原始网络相当的测试精度。我们发现的中奖彩票赢得了初始化彩票：它们的连接具有初始权重，使培训特别有效。我们提出了一个识别中奖彩票的算法和一系列支持彩票假设和这些偶然初始化的重要性的实验。我们始终发现，对于mnist和cifar10，中奖门票的规模小于几个完全连接和卷积前馈架构的10-20%。超过这个尺寸，我们发现中奖的彩票比原来的网络学习更快，达到更高的测试精度。