前面介绍的简单逻辑回归只能进行二分类,今天我们将图解多分类逻辑回归,也就是利用逻辑回归实现多分类。
先来个整体视角:
再逐步分解开来:
主要有两种方法。
1️⃣ 𝗢𝗡𝗘-𝗩𝗦-𝗥𝗘𝗦𝗧 (𝗢𝘃𝗥):
逻辑回归模型在二元分类中表现出色。
那么……如果我们为每个类别分别训练一个逻辑回归分类器会怎样呢?
💡 这个想法是将焦点放在分类一个类别与其余类别的对比上。
🎯 𝗢𝘃𝗥 𝗦𝗧𝗥𝗔𝗧𝗘𝗚𝗬:
训练多个逻辑回归分类器,每个分类器针对一个单独的类别。
我们需要的分类器数量与我们想要分类的类别数量相同。
那么最终输出呢?
它就是所有分类器中得分(或概率)最高的那个类别。
2️⃣ 𝗠𝗨𝗟𝗧𝗜𝗡𝗢𝗠𝗜𝗔𝗟 𝗟𝗢𝗚𝗜𝗦𝗧𝗜𝗖 𝗥𝗘𝗚𝗥𝗘𝗦𝗦𝗜𝗢𝗡:
与只输出一个概率(正样本概率,二分类)不同,我们构建了一个模型,该模型输出一个向量,表示每个类别的概率!f 中的每个元素都应该是输入 x 与该类别匹配程度的概率。
😓 那么问题来了!
对于分类模型,就像之前的逻辑回归一样,我们需要输出一个满足下面约束的值:
非负数。
约束在 0 和 1 之间。
我们可以通过使用指数函数,并将每个得分除以总和来解决这个问题。
这样我们就得到了最终的多分类模型。
📊 𝗠𝗢𝗗𝗘𝗟 𝗘𝗩𝗔𝗟𝗨𝗔𝗧𝗜𝗢𝗡:
我们怎么知道我们的模型是MVP(最有价值球员)而不是板凳球员呢?
准确率和混淆矩阵!它们就像是教练的战术手册,用来查看我们的预测是否得分还是错失了目标。
𝗔𝗦𝗦𝗨𝗠𝗣𝗧𝗜𝗢𝗡𝗦:
我们的模型不是水晶球。为了正常工作,它需要做出一些假设:
没有多重共线性
样本量要大