曾锦山教授作了题为“On ADMM in Deep Learning: Convergence and Saturation-Avoidance”的学术报告，他介绍了深度学习在大数据时代的重要性，讨论了传统学习过程中的挑战。并深入探讨了深度sigmoid网络与深度ReLU网络在逼近能力上的理论比较，证明了深度sigmoid网络在某些函数类上的逼近能力不逊于深度ReLU网络。在深度sigmoid网络训练的过程中，饱和问题导致的梯度消失问题更加频繁，而梯度消失的根源是用链式法则更新梯度，以此提出了ADMM算子，并讨论了算法在实际深度学习训练中的稳定性和超参数调整的便利性。

曾教授通过一系列数值实验验证了所提出ADMM算法的有效性，包括在逼近简单且重要函数（如平方函数、径向基函数）方面的优越性能，以及在真实数据集上的应用效果。

在现场交流环节，曾教授与参会师生对ADMM的数学推理过程中的一些问题进行了深入的讨论，并对学院师生参加“挑战杯”全国大学生系列科技学术竞赛提供了指导和建议。整场报告气氛活跃，与会师生收获颇丰。

专家简介:

曾锦山，教授，博士生导师,现任计算机信息工程学院副院长、高性能计算江西省重点实验室主任、江西省大数据专家、江西师范大学语言空间信息科学研究中心副主任。2015年博士毕业于西安交通大学，师从徐宗本院士。曾先后在中国科学院电子学研究所、美国加州大学洛杉矶分校、香港科技大学和香港城市大学从事博士后或访问合作研究。2019年入选江西省“双千计划”(首批培养类)，主持国家自然科学基金3项(面上2项，青年1项)和江西省自然科学基金杰出青年基金1项，参与国家自然科学基金多项。现已在人工智能相关领域主流期刊和会议上发表高水平论文65篇，其中JMLR和IEEE汇刊系列论文20篇，CCFA类论文15篇。2篇论文获得“世界华人数学家联盟最佳论文奖”(2018和2020年)，单篇论文连续两年入选“中国数学领域热点论文榜单前十”(排名第5(2022年)和第4(2023年))，单篇论文最高引用愈1200次(谷歌学术)；授权发明专利13 项，获批软件著作权9项。指导学生获得“挑战杯”红色专项赛道国家特等奖等国家级奖励10余项,相关研究成果得到《人民日报》《中国青年网》和“学习强国”学习平台等多家主流媒体的广泛报道。两度受邀在世界华人数学家大会上作45分钟学术报告。受邀担任国际高水平学术会议副主席或论坛主席近10次。主要研究方向是人工智能中的数学理论、方法与应用。

（审稿 张炜）