近日，我院屈小波教授团队在神经网络学习权威期刊《IEEE Transactions on Neural Networks and Learning Systems》上发表论文“Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding”，该工作提出了一种软阈值卷积神经网络的凸对偶理论分析方法。

稀疏深度学习重建常采用软阈值函数，但针对软阈值神经网络理论分析严重缺乏。该方法设计了一个凸对偶软阈值网络，解决了传统软阈值神经网络难以获得全局最优解的困境，避免了神经网络训练过程依赖于网络参数初始化方式（图1）。理论上分析了网络的凸性并理论证明强对偶关系成立，在图像去噪的数据集验证强对偶关系成立、对偶网络不依赖于初始化方式及优化器的选取等。此外，还推导了带并行结构的深层软阈值网络的对偶模型。该工作将为稀疏深度学习重建方法提供理论基础。

图1. 软阈值对偶神经网络特性。（a）常规软阈值网络的非凸目标函数；（b）对偶软阈值的凸目标函数；

（c）原始网络和对偶网络的零对偶间隙；（d）对偶网络的凸性避免了局部最优。

该工作博士生熊春燕为第一作者，实验部分由硕士生张超星、卢梦丽等合作完成，论文写作得到硕士生于小烔、博士生曹健、银娱优越会717陈忠院长、厦门理工学院郭迪教授等共同指导，由屈小波教授担任通信作者。

该工作得到国家自然科学基金（61971361，62122064，62331021和62371410）、福建省自然科学基金（2023J02005和2021J011184）、银娱优越会717校长基金（20720220063）和银娱优越会717南强拔尖人才计划资助。

论文链接: http://dx.doi.org/10.1109/TNNLS.2024.3353795

银娱优越会717计算感知实验室：https://csrc.xmu.edu.cn/index_cn

图文作者：熊春燕