高小山团队与中科院软件所合作在深度学习的泛化与安全的数学理论方面取得重要进展，在机器学习顶会NeurIPS2024上发表4篇论文。

通过训练得到的深度神经网络往往接近插值训练数据，但却展现出很好的泛化性。这是深度学习最主要的“理论之迷”之一，传统统计学习理论不能解释这一现象。论文[1]针对这一问题，给出处了插值网络的新的泛化界，可部分解释插值深度神经网络的泛化性。主要结果包括：1）对某类数据分布定义了其插值参数复杂度，并证明该数据分布的任何i.i.d.数据集都存在参数个数不超过插值参数复杂度的插值网络，即任意有限数据集都具有参数个数为常数的插值网络。2）证明了插值网络具有泛化性的必要条件是网络的宽度必须至少等于数据维度。3）给出了插值算法的样本复杂度的下限和具有常数参数的插值算法的精确样本复杂度，并证明存在数据分布，其可泛化插值网络必须具有指数数量的参数。4）引入了数据分布的高效插值泛化复杂度，并证明当训练样本的数量大于该复杂度时，存在多项式时间可计算且可具有泛化性质的插值网络。

还给出了同时对监督学习和对比学习进行有效数据投毒的攻击方法[2]，从傅里叶角度提高三维点云识别鲁棒性的方法[3]，以及用于测试大预言模型安全的数据集[4]。

 

[1] Lijia Yu, Xiao-Shan Gao, Lijun Zhang, Yibo Miao. Generalizablity of Memorization Neural Network. NeurIPS 2024 .

[2] Yihan Wang, Yifan Zhu, Xiao-Shan Gao. Efficient Availability Attacks against Supervised and Contrastive Learning Simultaneously. NeurIPS 2024 .

[3] Yibo Miao, Yinpeng Dong, Jinlai Zhang, Lijia Yu, Xiao Yang, Xiao-Shan Gao. Improving Robustness of 3D Point Cloud Recognition from a Fourier Perspective. NeurIPS 2024 .

[4] Yibo Miao, Yifan Zhu, Yinpeng Dong, Lijia Yu, Jun Zhu, Xiao-Shan Gao. T2VSafetyBench: Evaluating the Safety of Text-to-Video Generative Models. NeurIPS Datasets and Benchmarks Track 2024.