【机器学习】图解多类别逻辑回归

文摘   2024-10-02 08:12   吉林  


前面介绍的简单逻辑回归只能进行二分类,今天我们将图解多分类逻辑回归,也就是利用逻辑回归实现多分类。

先来个整体视角:

再逐步分解开来:

主要有两种方法。

1️⃣ 𝗢𝗡𝗘-𝗩𝗦-𝗥𝗘𝗦𝗧 (𝗢𝘃𝗥):

逻辑回归模型在二元分类中表现出色。

那么……如果我们为每个类别分别训练一个逻辑回归分类器会怎样呢?

💡 这个想法是将焦点放在分类一个类别与其余类别的对比上。

🎯 𝗢𝘃𝗥 𝗦𝗧𝗥𝗔𝗧𝗘𝗚𝗬:

训练多个逻辑回归分类器,每个分类器针对一个单独的类别。

我们需要的分类器数量与我们想要分类的类别数量相同。

那么最终输出呢?

它就是所有分类器中得分(或概率)最高的那个类别。

2️⃣ 𝗠𝗨𝗟𝗧𝗜𝗡𝗢𝗠𝗜𝗔𝗟 𝗟𝗢𝗚𝗜𝗦𝗧𝗜𝗖 𝗥𝗘𝗚𝗥𝗘𝗦𝗦𝗜𝗢𝗡:

与只输出一个概率(正样本概率,二分类)不同,我们构建了一个模型,该模型输出一个向量,表示每个类别的概率!f 中的每个元素都应该是输入 x 与该类别匹配程度的概率。

😓 那么问题来了!

对于分类模型,就像之前的逻辑回归一样,我们需要输出一个满足下面约束的值:

非负数。

约束在 0 和 1 之间。

我们可以通过使用指数函数,并将每个得分除以总和来解决这个问题。

这样我们就得到了最终的多分类模型。

📊 𝗠𝗢𝗗𝗘𝗟 𝗘𝗩𝗔𝗟𝗨𝗔𝗧𝗜𝗢𝗡:

我们怎么知道我们的模型是MVP(最有价值球员)而不是板凳球员呢?

准确率和混淆矩阵!它们就像是教练的战术手册,用来查看我们的预测是否得分还是错失了目标。

𝗔𝗦𝗦𝗨𝗠𝗣𝗧𝗜𝗢𝗡𝗦:

我们的模型不是水晶球。为了正常工作,它需要做出一些假设:

没有多重共线性

样本量要大

人工智能大讲堂
专注人工智能数学原理和应用
 最新文章