(通讯员 芦毅衡)西安电子科技大学协同智能系统教育部重点实验室芦毅衡博士、公茂果教授在神经网络领域权威期刊IEEE Transactions on Neural Networks and Learning Systems (TNNLS)上发表题为“SAAF: Self-Adaptive Attention Factor-Based Taylor-Pruning on Convolutional Neural Networks”的学术论文。该文章针对泰勒剪枝中过剪枝造成的模型性能下降问题,提出了一种基于自适应注意力因子的剪枝策略,可以显著提升泰勒剪枝后模型的性能。


传统的泰勒剪枝算法由于忽略高阶多项式,从而导致模型在剪枝过程中对重要层的“过剪”并使得模型性能出现明显下降。针对“过剪”问题,本文提出一种基于自适应注意力因子的剪枝策略,其可在传统泰勒剪枝过程中对重要卷积层中的卷积核进行保护,从而提升模型剪枝后的性能。该剪枝策略从理论以及实验上进行了广泛的验证。
IEEE Transactions on Neural Networks and Learning Systems是计算机科学和工程技术领域顶级期刊(IF 10.4,中科院一区,Top期刊),致力于发表关于神经网络和相关学习系统的理论、设计和应用的技术文章
论文链接:
https://ieeexplore.ieee.org/document/10659741