Python计算机视觉编程与应用 习题及答案 第10章 习题答案.docx

第10章轻量化网络与迁移学习

习题答案

10-1模型压缩常用的方法有哪些？为什么用使用模型压缩？

答：量化、知识蒸馏、剪枝等。深度学习在计算机视觉、语音识别、自然语言处理等众多领域取得了令人难以置信的成绩。然而，这些模型中的大多数在移动电话或嵌入式设备上运行的计算成本太过昂贵。所以需要采用模型压缩的方法。

10-2介绍一下知识蒸馏的原理。

答：知识蒸馏指的是模型压缩的思想，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。将从大而笨重中需要的知识转换到一个小但是更合适部署的模型。

10-3SqueezeNet网络的FireModule有什么特点？

答：1）挤压：高维特征有着更好的表示能力，但使得模型参数急剧膨胀。为追求模型容量与参数的平衡，可使用1×1的卷积来对输入特征进行降维。同时，1×1的卷积可以综合多个通道的信息，得到更加紧凑的输入特征，从而保证了模型的泛化性。

2）扩张：通常3×3的卷积占用了大量的计算资源。可以使用1×1的卷积来拼凑出3×3的卷积。

10-4什么是迁移学习？请解释迁移学习的基本概念并提供一个实际示例。

答：迁移学习是一种机器学习方法，它将从一个任务中学到的知识或模型应用到另一个相关任务中，以提高性能或加速学习。这通常涉及到将一个模型的权重和特征用于新任务，而不是从头开始训练一个全新的模型。例如，可以使用在大型图像数据集上训练的卷积神经网络（CNN）来提取特征，然后在一个小型医学图像数据集上微调该网络，以用于疾病诊断。

10-5为什么在实际应用中，微调迁移通常比从头开始训练模型更为高效？

答：微调迁移利用了预训练模型中的通用知识和特征表示，减少了在新任务上学习这些特征的成本。此外，预训练模型通常已经在大量数据上进行了训练，因此具有更好的泛化能力。