对于一个多分类数据集,其中两个数据标签概率质量函数如下:
所有概率质量都属于其中某一类别,其它类别都为0。
这样做会过度激励模型以相当高的置信度学习每个样本的真实类别,这可能会影响模型的泛化能力。
标签平滑优雅地解决了这个问题。
如上图所示,设置标签平滑:
● 故意稍微减少真实类别的概率质量(通过超参数设置减少量)。
● 减少的概率质量均匀分配给其他所有类别。
简单来说,这可以被看作是要求模型在训练和预测时“少一些自信”,同时仍然努力进行准确的预测。
下图的结果可以证实这一技术的有效性。
对于一个多分类数据集,其中两个数据标签概率质量函数如下:
所有概率质量都属于其中某一类别,其它类别都为0。
这样做会过度激励模型以相当高的置信度学习每个样本的真实类别,这可能会影响模型的泛化能力。
标签平滑优雅地解决了这个问题。
如上图所示,设置标签平滑:
● 故意稍微减少真实类别的概率质量(通过超参数设置减少量)。
● 减少的概率质量均匀分配给其他所有类别。
简单来说,这可以被看作是要求模型在训练和预测时“少一些自信”,同时仍然努力进行准确的预测。
下图的结果可以证实这一技术的有效性。