深度神经网络的参数量极大，造成训练时间成本高、训练样本量要求高。大家普遍认识到神经网络中具有很多的冗余，因此找到有效的低维结构、有效地去除冗余一直是学者们努力的方向。通过分析神经网络的动态特性，我们发展了一种新的降维方法，能够在很低维的空间中对神经网络进行有效的训练。实验结果表明，对于 CIFAR 级别的任务，在40维的空间进行训练；对于 ImageNet 级别的任务，在 200 维空间进行训练，就足以达到或接近于标准训练的效果。神经网络训练动态中低维结构的发现，对于节省训练时间、减少调参工作量、提升对抗训练效果、提升小样本学习效率等方面都有所裨益。

11-03海报.pdf