深度对抗学习主要研究在对手攻击下如何进行安全鲁邦学习,是深度学习安全的重要研究方向。交叉中心高小山团队在深度对抗学习数学理论方面取得若干重要进展。
系统研究了最优鲁邦深度神经元网络(DNN)插值的数学理论。1)证明了深度为2、宽度为2 的鲁邦DNN插值构造是NP难,首次给出DNN鲁邦插值的计算复杂度。2)对任意数据集,给出了存在最优鲁邦DNN插值的必要条件是其宽度至少为数据的维数d,由此可以推出鲁邦DNN插值比DNN插值实质性困难;显示构造了含O(Nd)个参数、具有最优稳定半径的鲁邦DNN。3)显示构造了含O(Nd log d)个参数、通过控制Lipschitz系数、具有最优稳定半径的鲁邦深度神经元网络。该工作被人工智能顶会ICLR 2024 接受为spotlight论文。
研究了不可学习数据(Unlearnable Example)的数学理论与高效算法。给出了不可学习数据的博弈论理论刻画,证明了方法的最优性并给出有效求解算法。证明了若干类型的不可学习数据是线性可分的,以此为基础给出了不可学习数据的检测与防御方法。两篇论文被AAAI2024接受。
Lijia Yu, Xiao-Shan Gao, and Lijun Zhang. Optimal Robust Memorization with ReLU Neural Networks, ICLR 2024 (spotlight).
Shuang Liu, Yihan Wang, and Xiao-Shan Gao, Game-Theoretic Unlearnable Example Generator. Accepted by AAAI 2024.
Yifan Zhu, Lijia Yu, and Xiao-Shan Gao, Detection and Defense of Unlearnable Examples. Accepted by AAAI 2024.