标签平滑也是一种正则化技术

文摘   2024-11-06 09:24   辽宁  

对于一个多分类数据集,其中两个数据标签概率质量函数如下:

所有概率质量都属于其中某一类别,其它类别都为0。

这样做会过度激励模型以相当高的置信度学习每个样本的真实类别,这可能会影响模型的泛化能力。

标签平滑优雅地解决了这个问题。

如上图所示,设置标签平滑:

● 故意稍微减少真实类别的概率质量(通过超参数设置减少量)。

● 减少的概率质量均匀分配给其他所有类别。

简单来说,这可以被看作是要求模型在训练和预测时“少一些自信”,同时仍然努力进行准确的预测。

下图的结果可以证实这一技术的有效性。

人工智能大讲堂
专注人工智能数学原理和应用
 最新文章