逻辑回归和Softmax回归是两个重要的分类模型，在机器学习和统计学中有着广泛的应用。它们之间既存在相似之处，也有各自的特点和应用场景。逻辑回归主要用于二分类问题，通过Sigmoid函数将线性回归的输出值映射到概率范围内；而Softmax回归则用于多类分类问题，通过Softmax函数将线性回归的输出值转换为概率分布。
一、逻辑回归
逻辑回归是一种用于解决二分类问题的统计学习方法。它的基本原理是，对于给定的输入特征，逻辑回归通过计算一个概率值来预测输出结果的类别（通常为正类或负类）。
定义：逻辑回归是一种广义的线性回归分析模型，用于估计二分类因变量的概率。它常用于数据挖掘、疾病自动诊断、经济预测等领域。
与线性回归的区别：虽然逻辑回归和线性回归都是广义线性模型，但它们的因变量不同。线性回归直接以w'x+b作为因变量，而逻辑回归则通过逻辑函数（如Sigmoid函数）将w'x+b映射到[0, 1]的概率范围内。
基本原理：逻辑回归通过逻辑函数（通常是Sigmoid函数）将线性模型的输出值（范围在−∞到+∞）映射到（0, 1）区间内，从而得到一个概率值。这个概率值表示输入数据属于正类的可能性。
Sigmoid函数：Sigmoid函数是逻辑回归的核心，其数学形式为g(z)=1/(1+e^(-z))。当z接近−∞时，g(z)接近0；当z接近+∞时，g(z)接近1。
应用：逻辑回归在医学领域、信用评估、欺诈检测、客户细分和定位、个性化推荐以及经济学预测等方面有着广泛的应用。
二、Softmax回归
Softmax回归，也称为多项逻辑回归，是逻辑回归的广义形式，用于处理多类分类问题。
定义：Softmax回归是在线性回归的基础上进行一次Softmax函数映射，将回归问题转为了多分类问题。
应用场景：当因变量可以有两个以上的类别时，使用Softmax回归。例如，在MNIST数据集中对数字（0-9）进行分类。
Softmax函数：Softmax函数是Softmax回归的核心，用于将原始预测分数（logits）转换为概率。其数学形式为σ(z)i=e^(z_i)/∑(j=1)(z_j)，其中z是原始分数（logits）的输入向量，K是类别数，σ(z)_i是输入属于类别i的概率。
损失函数：Softmax回归使用交叉熵损失函数来衡量分类模型输出为0到1之间概率值的性能。单个样本的交叉熵损失函数为ℓ_softmax(z,y)=-log(σ(z)_y)，其中y是真实类别标签。
与逻辑回归的关系：逻辑回归预测两个类别的概率，而Softmax回归则预测所有可能类别的概率。因此，可以说Softmax回归是逻辑回归在多分类问题上的推广。
机器学习专栏推荐：机器学习专栏
深度学习专栏推荐：计算机视觉专栏
深度学习专栏推荐：深度学习
深度学习框架pytorch：pytorch
人工智能之数学基础专栏：人工智能之数学基础
三、逻辑回归与Softmax回归的关系
基础联系：逻辑回归和Softmax回归都是基于线性回归模型进行扩展的分类算法。它们通过不同的映射函数（Sigmoid函数和Softmax函数）将线性回归的输出值转换为概率值，从而实现对输入数据的分类。
映射函数：逻辑回归使用Sigmoid函数将线性回归的输出值映射到（0, 1）区间内，得到一个表示输入数据属于正类概率的值。而Softmax回归则使用Softmax函数将线性回归的输出值（logits）转换为概率分布，得到输入数据属于每个类别的概率。
应用场景：逻辑回归主要用于二分类问题，而Softmax回归则用于多类分类问题。然而，从数学形式上看，Softmax回归可以看作是逻辑回归在多分类问题上的自然扩展。当Softmax回归中的类别数为2时，其数学形式与逻辑回归相同。
损失函数与优化：逻辑回归和Softmax回归都使用交叉熵损失函数来衡量模型输出与真实标签之间的差异。通过优化算法（如梯度下降法）来最小化损失函数，从而求解模型中的参数（权重w和偏置b）。
模型选择与解释性：逻辑回归和Softmax回归都具有较好的解释性，可以清楚地展示每个特征对最终结果的影响。然而，在处理大量类别时，Softmax回归的性能可能优于逻辑回归（通过修改逻辑回归来处理多类分类问题）。此外，逻辑回归对多重共线性敏感，而Softmax回归在处理多类分类问题时通常不受此影响。
