2023-5-18

5月15日上午，人工智能数学理论系列报告第十场邀请清华大学统计学研究中心林乾副教授作报告，题目是：Convergence and Implicit Regularization of Deep Learning Optimizers。报告会由张新雨研究员主持，线上线下百余位听众共同参与了本次活动。

林乾副教授的报告主要考虑梯度下降法训练的较宽的深层全连接神经网络的泛化能力。在报告中，他首先论证了在宽度足够大时，对于一维数据，由梯度下降训练的两层神经网络的泛化能力在适当的早停策略下可以达到极小极大率，而由梯度下降训练至过拟合的两层神经网络没有泛化能力。基于这个结果，他们对Benign Overfitting现象提出了一个新的解释。随后，对于更一般的数据或者高维数据，他简要介绍了其团队与深层神经网络的泛化能力相关的部分工作，并介绍了其中一些值得探索的问题。

林乾，清华大学统计学研究中心副教授，2010年在麻省理工数学系获得博士学位。2017年8月至今在清华大学任教。主要研究方向为高维充分性降维，机器学习中的核方法，深度学习的数学理论等。