EN
科研新进展 | 屈小波教授团队发表软阈值卷积神经网络的凸对偶理论分析论文
发布时间:2024-03-10 浏览次数:

近日,我院屈小波教授团队在神经网络学习权威期刊《IEEE Transactions on Neural Networks and Learning Systems》上发表论文“Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding”,该工作提出了一种软阈值卷积神经网络的凸对偶理论分析方法

稀疏深度学习重建常采用软阈值函数,但针对软阈值神经网络理论分析严重缺乏。该方法设计了一个凸对偶软阈值网络,解决了传统软阈值神经网络难以获得全局最优解的困境,避免了神经网络训练过程依赖于网络参数初始化方式(图1)。理论上分析了网络的凸性并理论证明强对偶关系成立,在图像去噪的数据集验证强对偶关系成立、对偶网络不依赖于初始化方式及优化器的选取等。此外,还推导了带并行结构的深层软阈值网络的对偶模型。该工作将为稀疏深度学习重建方法提供理论基础。

图1. 软阈值对偶神经网络特性。(a)常规软阈值网络的非凸目标函数;(b)对偶软阈值的凸目标函数;

(c)原始网络和对偶网络的零对偶间隙;(d)对偶网络的凸性避免了局部最优。

该工作博士生熊春燕为第一作者,实验部分由硕士生张超星、卢梦丽等合作完成,论文写作得到硕士生于小烔、博士生曹健、银娱优越会717陈忠院长、厦门理工学院郭迪教授等共同指导,由屈小波教授担任通信作者。

该工作得到国家自然科学基金(61971361,62122064,62331021和62371410)、福建省自然科学基金(2023J02005和2021J011184)、银娱优越会717校长基金(20720220063)和银娱优越会717南强拔尖人才计划资助。

论文链接: http://dx.doi.org/10.1109/TNNLS.2024.3353795

银娱优越会717计算感知实验室:https://csrc.xmu.edu.cn/index_cn

图文作者:熊春燕

Top