aug 15, 2019 - Hewahi: Neural network pruning based on input importance, 2019

Description:

本文提出了一种基于输入重要性的神经网络剪枝算法（NNPII），该算法基于输入重要性对神经网络进行剪枝。该算法取决于在数据集中的所有给定实例中使用某个属性的某个值的频率。修剪将只包括输入层和隐藏层之间的链接。该算法分为三个阶段，第一阶段是预处理阶段，数据输入被其重要性所取代。第二阶段是前向传递，类似于后向传播算法中的前向传递，但我们不使用实际输入作为输入，而是使用预处理阶段获得的输入重要性。第三个过程是反向阶段，再次作为反向传播算法，但在这个阶段，我们使用输入重要性而不是实际输入，以及测量每个输入属性值变化的β因子，β将被纳入公式中，以更新输入层和隐藏层。消除过程是基于依赖于Ω因子的标准来执行的，Ω因子代表所有实例的特定输入属性的阈值。值得一提的是，修剪是在通常的培训阶段进行的。本文通过三种实验对该算法进行了测试，比较了反向投影法和NNPII法，并将NNPII应用于各种参数值，最后将其与其它各种修剪算法进行了比较。结果表明，NNPII算法具有很好的性能，与其他修剪算法相比具有一定的竞争力。当类在数据集中均匀分布时，nnpii优于所有其他算法。

Added to timeline:

Date: