网站地图 | 联系我们 | English | 意见反馈 | 主任信箱
 
首页 中心概况 新闻动态 科研进展 交流合作 人才培养 研究队伍 人才招聘 政策规章 数学交叉科学传播
学术报告
现在位置:首页 > 学术报告

过拟合神经网络的泛化能力
【2023.5.15 10:00am, N204 腾讯会议】

【打印】【关闭】

   2023-5-9 

  Colloquia & Seminars 

  

  Speaker

林乾,清华大学统计学研究中心副教授

  Title

过拟合神经网络的泛化能力

  Time

2023年5月15日10:00-11:00

  Venue

N204

腾讯会议:784-661-248

  Abstract

  我们考虑梯度下降法训练的较宽的深层全连接神经网络的泛化能力。 我们首先将论证在宽度足够大时,对于一维数据,由梯度下降训练的两层神经网络的泛化能力在适当的早停策略下可以达到极小极大率,而由梯度下降训练至过拟合的两层神经网络没有泛化能力。基于这个结果,我们对Benign Overfitting现象提出了一个新的解释。 随后,对于更一般的数据或者高维数据,我们将会简单介绍一下我们组与深层神经网络的泛化能力相关的部分工作,并介绍一些可以做的问题。如果时间允许,我们也将简短的讨论一下如何对不太宽的深层神经网络的动力学性质进行研究。

  Affiliation

  林乾,清华大学统计学研究中心副教授, 2010年在麻省理工数学系获得博士学位。2017年8月至今在清华大学任教。主要研究方向为高维充分性降维,机器学习中的核方法,深度学习的数学理论等。

  

  

欢迎访问国家数学与交叉科学中心 
地址:北京海淀区中关村东路55号 邮编:100190 电话: 86-10-62613242 Fax: 86-10-62616840 邮箱: ncmis@amss.ac.cn