2021-7-16

贾晓红副研究员及其博士生杨小龙与腾讯公司合作，将李代数运用于卷积神经网络(CNN)进行侧脸识别，在多个常用数据集上的测评达到领先结果。该工作探索了三维空间中的人脸旋转变换影响CNN的深层特征生成的过程，并证明了图像空间中的人脸旋转等效于 CNN 特征空间中仅由旋转决定的附加残差分量（见图一）。相关论文“LARNet：Lie Algebra Residual Network for Face Recognition”被人工智能和机器学习领域的重要国际会议International Conference on Machine Learning(ICML) 接收。

图一：图像空间和特征空间中的人脸旋转

深度学习和海量数据集的涌现极大推进了人脸识别技术的发展。由于深度学习模型的泛化能力与训练数据的分布密切相关，而现有数据集大多集中在正脸数据，人脸识别技术的一个主要挑战来源于侧脸识别。现有方法常基于原始图像生成更多的不同角度的侧脸数据来扩充训练集，但引入了大量不必要的计算负担和训练成本。该工作旨在从侧脸图像恢复正脸的特征，从而进行高精高效的人脸识别。特别地，将李代数理论嵌入CNN的梯度运算及优化过程中，研究了人脸旋转变换影响CNN的深层特征生成的过程。在网络设计方面，通过设计了一个残差训练网络来学习侧脸图像中的旋转带来的影响；通过设计一个门控函数以平衡旋转对人脸特征的影响力度，最终生成相应的正脸特征（见图二）。

图二：LARNet的网络结构

图三分别展示了LARNet 的特征表示能力——该网络能模拟任意角度的侧脸特征，且模拟数据分布接近真实数据的分布（左图），及LARNet的特征聚类能力——该网络可显著区分高度相似的挑战性案例（右图）。

图三：LARNet的特征分布

该工作在多个知名数据集上的测评取得领先结果。例如，侧脸人脸数据集IJB-A上所有四个指标都优于近五年大量人脸识别工作；名人数据集CFP-FP上首次突破99%和打破人工记录；在多个通用人脸数据集LFW,YTF,CPLFW上名列前茅。 审稿意见认为该论文是： “Significant contribution, advances state of the art”，“Technically strong, highly general results”, “Technically adequate for its area, solid results”.

参考文献：

Xiaolong Yang, Xiaohong Jia, Dihong Gong, Dong-Ming Yan, ZhiFeng Li, Wei Liu

LARNet: Lie Algebra Residual Network for Face Recognition.

Proceedings of the 38th International Conference on Machine Learning (ICML2021).