首先,为什么对模型进行微调?
当我们得到一个深度学习任务时,例如,一个涉及在图像数据集上训练卷积神经网络(Covnet)的任务,我们的第一直觉将是从头开始训练网络。然而,在实践中,像 Covnet 这样的深度神经网络具有大量的参数,通常在百万数量级。在一个小的数据集(小于参数数量)上训练一个 Covnet,会极大的影响网络的泛化能力,通常会导致过拟合。
什么是模型微调
给定预训练模型(Pre_trained model),基于模型进行微调(Fine Tune)。相对于从头开始训练(Training a model from scatch),微调为你省去大量计算资源和计算时间,提高了计算效率,甚至提高准确率。