《TSNs: Towards Good Practices for Deep Action Recognition》, 发表于2016 ECCV，主要探讨了深度行为识别领域中的最佳实践。文章指出，现有基于CNN的分类方法在长期时间结构的捕获上不如手工设计的特征，并因视频数据集量不足可能导致过拟合。作为解决方案，文章提出了一个高效模型，专注于长期时间结构的捕获，并讨论了在数据有限的情况下如何有效训练模型，包括跨模态预训练、规范化技术和数据增强，同时还介绍了第一个端到端的视频时序建模模型。
随着深度学习应用的广泛传播，如何在软件层面上实现更高效的计算和降低内存也是模型轻量化需要考虑的问题。这些优化技术包括深度学习框架、编译器和库等方面的改进。我们将依次介绍这些方面的关键技术，并讨论它们的主要优缺点。
深度学习模型轻量化方法旨在通过减少模型参数、降低计算复杂度和减小存储需求等手段，在保持较高性能的同时实现模型的轻量化。这些方法可以分为几类，包括剪枝、低秩分解、量化、知识蒸馏、紧凑网络架构、稀疏性和其他一些相关方法。它们之间的关系和差异主要体现在降低模型复杂度的策略、压缩程度和性能损失等方面。剪枝方法通过移除不重要的神经元或连接来减少模型参数；低秩分解则利用矩阵分解来降低模型参数数量；量化方法将权重和激活值用较少的比特数表示以减小存储和计算需求；知识蒸馏将一个大型教师模型的知识迁移到一个较小的学生模型；紧凑网络架构通过设计更高效的网络结构来降低模型复杂度；稀疏性方法则尝试在模型中引入稀疏性，以减少参数数量和计算量。此外，还有一些其他的轻量化方法，如神经结构搜索（NAS）、提前退出（early exiting），它们在不同程度上结合了上述方法的优点。在接下来的部分，将详细介绍这些轻量化方法的原理、优缺点和应用场景。
