一文读懂十模型lasso、贝叶斯、KNN、Logistic、决策树、随机森林、SVM、神经网络、XGBoost、lightGBM

Scikit-learn（sklearn）‌是一个基于Python的开源机器学习库，它建立在NumPy、SciPy和Matplotlib之上，为数据建模提供了一整套工具。

Scikit-learn提供了大量的算法和工具，涵盖了数据挖掘、数据分析和机器学习领域的各种任务，包括分类、回归、聚类、降维等‌。

主要特点和功能‌
1.简单易用‌：Scikit-learn的设计非常简洁，易于上手，即使对于机器学习的新手也能快速掌握‌。‌

2.功能强大‌：它包含了从基础的线性回归、逻辑回归到复杂的支持向量机等多种机器学习算法‌。

‌3.集成性好‌：Scikit-learn与NumPy、Pandas、Matplotlib等Python科学计算库紧密集成，方便进行数据预处理、模型训练和结果可视化‌。‌

4.社区活跃‌：Scikit-learn有一个活跃的开源社区，不断更新和完善库的功能，同时提供丰富的文档和教程资源‌。

‌Lasso回归（Least Absolute Shrinkage and Selection Operator Regression）是一种线性回归模型，通过引入L1正则化（即Lasso惩罚项），对模型中的系数进行压缩，使某些系数缩减至零，从而实现特征选择和模型稀疏性‌‌。Lasso回归由Robert Tibshirani提出，主要用于处理变量过多而样本量较少的情况，能够有效防止过拟合并解决多重共线性问题‌。

Lasso回归的基本原理

Lasso回归通过在目标函数中添加一项L1正则化项，即变量系数的绝对值之和，来压缩模型。这使得一些系数变为零，从而实现特征选择和模型稀疏性。具体来说，Lasso回归的优化目标函数如下：

[ \min_{\beta} \left( \sum_{i=1}^n (y_i - x_i^T \beta)^2 + \alpha \sum_{j=1}^p |\beta_j| \right) ]

其中，( n ) 是样本数量，( p ) 是特征数量，( y_i ) 是实际观测值，( x_i^T \beta ) 是预测值，( \beta ) 是模型参数（系数），( \alpha ) 是L1正则化项的权重‌。

    Lasso回归的应用场景和优缺点

‌应用场景‌：

‌一、特征选择‌：Lasso回归可以用于选择最重要的特征，通过将不重要的特征系数缩减为零，简化模型并提高模型的泛化能力‌。

‌二、多重共线性问题‌：在存在多重共线性的情况下，Lasso回归可以通过将相关变量的系数变为零来降低其对回归结果的影响‌。

‌三、预测建模‌：在医学研究中，Lasso回归可以选择最相关的指标和变量，建立高效的预测模型‌。

‌Lasso回归的优点‌：

1.‌特征选择‌：能够有效进行变量选择，特别是在预测变量数量远大于样本量的情况下‌。

2.‌防止过拟合‌：通过压缩系数，避免模型过于复杂，提高模型的泛化能力‌。

‌Lasso回归的缺点‌：

1.‌计算复杂度较高‌：由于L1正则化的非光滑性，优化过程较为复杂，计算成本较高‌。

2.‌稳定性问题‌：由于某些系数可能完全为零，模型的稳定性可能受到影响‌。

岭回归（Ridge Regression）‌是一种用于处理多重共线性的有偏估计回归方法，它通过在普通最小二乘法的基础上加入L2正则化项来解决多重共线性问题，从而提高模型的泛化能力和鲁棒性‌。

基本概念和原理

岭回归通过在最小二乘损失函数中加入L2范数的惩罚项，即模型参数的平方和乘以一个称为岭参数的λ值。这个惩罚项确保了模型参数不会变得过大，从而减少过拟合的风险，提高模型的稳定性和泛化能力‌。岭回归的损失函数包括两部分：一部分是残差平方和，另一部分是模型参数平方和乘以λ值。

应用场景

岭回归特别适用于那些特征之间高度相关（即多重共线性问题）的数据集。在这种情况下，普通的线性回归模型可能会变得不稳定，并且模型的系数可能会变得非常大。岭回归通过惩罚模型参数，使其保持较小的值，从而使得模型更加稳健‌。

‌岭回归的优点‌：

‌1.处理多重共线性‌：岭回归能够有效处理特征之间的强相关性，避免参数估计的不稳定。

‌2.减少过拟合‌：通过惩罚大参数，岭回归能够提高模型的泛化能力，减少过拟合的风险。

‌3.计算简单‌：岭回归的实现相对简单，不需要复杂的计算过程。

‌岭回归的‌缺点‌：

‌1.有偏估计‌：岭回归通过牺牲无偏性来获得更稳定的估计，可能会导致模型预测的偏差。

‌2.参数选择‌：选择合适的λ值是一个挑战，不同的λ值会影响模型的性能。

‌岭回归的实际应用案例

在实际应用中，岭回归常用于生物信息学、金融数据分析等领域，特别是在处理具有高度相关特征的数据时表现出色。例如，在基因表达数据分析中，基因之间的相关性可能导致普通线性回归模型不稳定，此时岭回归可以提供更稳定的参数估计‌。

‌朴素贝叶斯模型（Naive Bayes Model, NBM）是一种基于贝叶斯定理和特征条件独立性假设的分类算法‌。其核心思想是通过给定特征X的条件下，预测样本属于某类别c的后验概率P(c|X)，选择后验概率最大的类别作为分类结果‌。

基本原理

朴素贝叶斯模型的基本原理基于贝叶斯定理，公式如下：

[ P(c|X) = \frac{P(X|c)P(c)}{P(X)} ]

其中：

( P(c|X) )表示在给定样本特征X的条件下，样本属于类别c的后验概率。

( P(X|c) )表示在类别c已知的情况下，样本特征X出现的概率。

( P(c) )表示类别c本身的概率。

( P(X) )表示样本特征X出现的总概率，通常用于归一化‌。

特征条件独立性假设

朴素贝叶斯模型的关键假设是特征之间在给定类别的情况下是相互独立的。这一假设极大地简化了计算，使得似然( P(X|c) )可以分解为各个特征的条件概率的乘积：

[ P(X|c) = \prod_{j=1}^n P(X^{(j)}|c) ]

这一假设虽然在实际中往往不完全成立，但在许多任务中仍然表现良好‌。

应用场景和优缺点

朴素贝叶斯模型在许多领域有广泛的应用，如文本分类、垃圾邮件识别等。其优点包括实现简单、计算效率高、所需估计的参数少；缺点是假设特征之间完全独立，这在现实中很少见，可能导致分类效果不佳‌。

今天我们仍以熟悉的示例数据集为例，演示一下朴素贝叶斯（Naive Bayes）模型的操作及拟合效果的ROC曲线、混淆矩阵评价。

加载程序包（openpyxl和pandas等）

#使用pandas读取示例数据xlsx文件

import openpyxl

import pandas as pd

import matplotlib.pyplot as plt

import sklearn

from sklearn.model_selection import train_test_split

# 加载数据集

dataknn = pd.read_excel(r'C:\Users\L\Desktop\示例数据.xlsx')

# 查看前几行数据

print(dataknn.head())

# 分离特征和目标变量

X = dataknn[['指标1', '指标2', '指标3','指标4','指标5','指标6']]

y = dataknn['结局']

# 划分训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

#加载朴素贝叶斯模型所需要的库

from sklearn.naive_bayes import MultinomialNB

from sklearn.metrics import roc_curve, auc, confusion_matrix

from matplotlib import pyplot as plt

# 假设X_train和y_train已经是训练数据和目标值

# 创建Naive Bayes模型

bysmodel = MultinomialNB()

bysmodel.fit(X_train, y_train)

# 对测试集进行预测

y_pred = bysmodel.predict(X_test)

accuracy = bysmodel.score(X_test, y_test)

print(f"Accuracy: {accuracy}")

print("预估值：\n",y_pred)

acc = sum(y_pred == y_test) / y_pred.shape[0]

print("预测的准确率ACC: %.2f%%" % (acc*100))

# 计算ROC曲线和面积

fpr, tpr, thresholds = roc_curve(y_test, y_pred)

roc_auc = auc(fpr, tpr)

# 绘制ROC曲线

plt.figure()

lw = 2

plt.plot(fpr, tpr, color='darkorange',

         lw=lw, label='ROC curve (area = %0.2f)' % roc_auc)

plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')

plt.xlim([0.0, 1.0])

plt.ylim([0.0, 1.05])

plt.xlabel('False Positive Rate')

plt.ylabel('True Positive Rate')

plt.title('Receiver Operating Characteristic example')

plt.legend(loc="lower right")

plt.show()

# 计算混淆矩阵

cm = confusion_matrix(y_test, y_pred)

# 打印模型拟合效果的评价指标

print(f"ROC AUC: {roc_auc}")

print(f"Confusion Matrix:\n{cm}")

# 使用Seaborn的heatmap绘制混淆矩阵

import matplotlib.pyplot as plt

from sklearn.metrics import confusion_matrix

import seaborn as sns

sns.heatmap(sklearn.metrics.confusion_matrix(y_test, y_pred), annot=True, fmt='d')

plt.title('Confusion Matrix')

plt.xlabel('Predicted label')

plt.ylabel('True label')

plt.show()

K最近邻（KNN）模型‌是一种简单且有效的机器学习算法，主要用于分类和回归任务。KNN的基本思想是：‌一个样本的类别或数值取决于其最邻近的k个邻居的类别或数值‌。具体来说，KNN通过计算待分类点与训练数据集中所有点的距离，选择距离最近的k个点作为邻居，然后根据这些邻居的类别或数值来预测该点的类别或数值‌。

KNN模型的工作原理

KNN算法的工作流程如下：

‌距离度量‌：KNN使用距离度量（如欧几里得距离、曼哈顿距离等）来确定数据点之间的相似性。最常见的距离度量是欧几里得距离‌。

‌选择K值‌：K是一个超参数，表示在进行决策时考虑的最近邻居的数量。K的选择对模型的性能有很大影响，一般通过网格搜索等方法来确定最佳的K值‌。

‌决策‌：对于分类任务，KNN算法通过多数投票法来预测新样本的类别；对于回归任务，则计算K个最近邻居的目标值的平均值作为新样本的目标值‌。

KNN模型的优缺点

‌优点‌：

‌简单易懂‌：KNN算法概念简单，容易理解和实现。

‌无需训练阶段‌：KNN没有显式的训练阶段，只需存储训练数据集，因此在数据集规模和特征数量相同的条件下，建模训练速度较快‌。

‌适用于小数据集‌：对于小数据集，KNN通常表现良好。

‌缺点‌：

‌计算量大‌：对于大规模数据集，计算每个测试样本与训练集中所有样本的距离非常耗时。

‌内存消耗大‌：需要存储所有训练数据以进行距离计算。

‌对异常值敏感‌：近邻的选择对异常值非常敏感，可能导致模型不稳定‌。

应用场景和实际案例

KNN算法在实际应用中有广泛的应用，例如：

‌文本分类‌：用于将文本数据分类到不同的类别中。

‌图像识别‌：通过比较图像特征来识别图像内容。

‌推荐系统‌：根据用户的购买或浏览历史推荐相关商品或内容‌。

今天我们仍以熟悉的示例数据集为例，演示一下python中K最近邻（KNN）模型的基本操作以及ROC曲线、混淆矩阵评价。

#将数据中结局为1或0的部分提出来，组成Positive、Negative的群，通过不同标签和颜色进行图示

positive = datalr[datalr['结局'].isin([1])]

negative = datalr[datalr['结局'].isin([0])]

plt.figure(figsize=(12,8))

#头两个参数是X轴与Y轴数据，c是颜色:marker是散点图形状

plt.scatter(positive['指标1'], positive['指标6'],c='b',marker='o',label='Admitted')

plt.scatter(negative['指标1'], negative['指标6'],c='r',marker='x',label='Not Admitted')

plt.xlabel('指标1')

plt.ylabel('指标6')

plt.legend(loc=True)

plt.show()

也可以

#使用statsmodels库拟合logistic回归并获取OR值

import statsmodels.api as sm

modellr = sm.Logit(y_train, X_train)

# 进行模型拟合

result = modellr.fit()

# 打印结果摘要，其中包括OR值

print(result.summary())

#根据上述拟合结果绘制森林图

import matplotlib.pyplot as plt

data = {

    'name': ['X1', 'X2', 'X3', 'X4', 'X5', 'X6'],  # 指标变量名

    'P': [0.000, 0.000, 0.031, 0.003, 0.000, 0.000],  # P值

    'Effect': [1.1015, 1.1638, 0.3206, 0.4811, 0.8825, 2.5983],  # 效应值

    'LowerCI': [0.754, 0.806, 0.029, 0.167, 0.560, 2.135],  # 下置信界限

    'UpperCI': [1.449, 1.521, 0.612, 0.795, 1.205, 3.061]  # 上置信界限

       }

fpdata=pd.DataFrame(data)

plt.figure(figsize=(5, 4))

plt.plot([0.5, 1.5], [0.5, 0.5], color='gray', linestyle='--', linewidth=2)  # 0线

# 遍历每一行，绘制误差条

for i,row in fpdata.iterrows():

    plt.errorbar(row['Effect'], i,

        xerr=[[row['Effect'] - row['LowerCI']], [row['UpperCI'] - row['Effect']]],

        fmt='o',color='black',ecolor='black',capsize=3, markersize=6)

#绘制森林图

#添加垂直线 x=1 作为参考线

plt.axvline(x=1,color='black',linestyle='--',linewidth=1)

#设置y轴的刻度和标签，将组名结合显示

plt.yticks(range(len(fpdata)),[f"{group}" for group  in zip(fpdata['name'])])

#设置x轴标签和图表标题

plt.xlabel('Estimate(95% CI)')

plt.title('Forest plot')

#反转y轴，使得顶部的条目在图中更高

plt.gca().invert_yaxis()

# 调整图表布局

plt.tight_layout()

#显示图表

plt.show()

‌决策树模型‌是一种简单易用的非参数分类器，它不需要对数据有任何的先验假设，计算速度较快，结果容易解释，且稳健性强‌。决策树模型基于贝叶斯定理建立，通过概率和选项赋值来推导货币价值，广泛应用于公司商业决策中，帮助决策者选择最佳行动方针‌。

决策树模型通过构建一个树形结构来展示决策过程。每个内部节点代表一个属性上的测试，每个分支代表测试的输出，每个叶节点代表一个类别或结果‌。在机器学习中，决策树是一种预测模型，代表对象属性与对象值之间的映射关系。它常用于分类问题，通过训练数据和测试数据的划分来构建和验证模型‌。

临床数据的决策树模型‌是一种在临床决策分析中广泛使用的数学模型，主要用于展示临床重要事件的可能发展过程及结局，帮助医务人员比较各种备选方案的预期结果，从而进行择优决策。决策树模型通过树形图展示决策过程，每个节点代表一个决策点或机会点，分支代表不同的决策或结果‌。

今天我们仍以示例数据为例，探讨一下Python做决策树模型及可视化和拟合效果评价的步骤和方法。

#加载读取示例数据所需程序包（openpyxl和pandas等）

# 使用pandas读取示例数据xlsx文件

import openpyxl

import pandas as pd

import plot

#导入示例数据

datadt = pd.read_excel(r'C:\Users\hyy\Desktop\示例数据.xlsx')

# 查看前几行数据

print(datadt.head())

#加载决策树模型所需的包并进行数据准备

from sklearn.preprocessing import StandardScaler

from sklearn.model_selection import train_test_split

# 分离特征和目标变量

X = datadt[['指标1', '指标2', '指标3','指标4','指标5','指标6']]

y = datadt[['结局']]

# 划分训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 数据标准化

scaler = StandardScaler()

X_train = scaler.fit_transform(X_train)

X_test =  scaler.transform(X_test)

#构建决策树分类器

from sklearn.tree import DecisionTreeClassifier

from sklearn.metrics import classification_report, accuracy_score

# 初始化决策树分类器

dt_model = DecisionTreeClassifier(criterion='gini', 

                                  max_depth=6, 

                                  random_state=12)

# 训练模型

dt_model.fit(X_train, y_train)

#预测

dt_pred = dt_model.predict(X_test)

print("对测试集300个数据的预测值为：")

print(dt_pred)

#决策树模型可视化

import matplotlib.pyplot as plt

from sklearn import tree

# 使用 export_graphviz 函数

with open("tree.dot", 'w') as f:

    f = tree.export_graphviz(dt_model, out_file=f)

# 使用 graphviz 将 .dot 文件转换为图片

import os

os.system('dot -Tpng tree.dot -o tree.png')

# 显示图形

plt.show()

# 使用export_graphviz函数进行模型可视化，并应用剪枝

with open("tree.dot", 'w') as f:

    f = tree.export_graphviz(dt_model,

        out_file=f,

        filled=True,

        rounded=True,

        special_characters=True

    )

os.system('dot -Tpng tree.dot -o tree_tree2.png')

# 评估模型

print("Accuracy:",accuracy_score(y_test,dt_pred))

print("Classification Report:\n ", classification_report(y_test,dt_pred))

#混淆矩阵评估模型

#导入第三方模块

from sklearn import metrics

# 混淆矩阵

print("混淆矩阵四格表输出如下：")

print(metrics.confusion_matrix(y_test, dt_pred, labels = [0, 1]))

Accuracy = metrics._scorer.accuracy_score(y_test, dt_pred)

Sensitivity = metrics._scorer.recall_score(y_test, dt_pred)

Specificity = metrics._scorer.recall_score(y_test, dt_pred, pos_label=0)

print("决策树模型混淆矩阵评价结果如下：")

print('模型准确率为%.2f%%' %(Accuracy*100))

print('正例覆盖率为%.2f%%' %(Sensitivity*100))

print('负例覆盖率为%.2f%%' %(Specificity*100))

# 使用Seaborn的heatmap绘制混淆矩阵

import matplotlib.pyplot as plt

from sklearn.metrics import confusion_matrix

import seaborn as sns

sns.heatmap(metrics.confusion_matrix(y_test, dt_pred), annot=True, fmt='d')

plt.title('Confusion Matrix')

plt.xlabel('Predicted label')

plt.ylabel('True label')

plt.show()

#进行ROC曲线绘制计算准备

# у得分为模型预测正例的概率

y_score =dt_model.predict_proba(X_test)[:,1]

#计算不同阈值下，fpr和tpr的组合值，其中fpr表示1-Specificity，tpr表示sensitivity

fpr,tpr,threshold =metrics.roc_curve(y_test,y_score)

# 计算AUC的值

roc_auc = metrics.auc(fpr,tpr)

print("决策树模型预测测试集数据ROC曲线的AUC:",roc_auc)

决策树模型预测测试集数据ROC曲线的AUC: 0.8910666666666667

#绘制ROC曲线

import matplotlib.pyplot as plt

import seaborn as sns

# 绘制面积图

plt.stackplot(fpr, tpr, color='steelblue', alpha = 0.5,edgecolor = 'black')

# 添加边际线

plt.plot(fpr, tpr, color='black',lw = 1)

# 添加对角线

plt.plot([0,1],[0,1],color ='red',linestyle ='--')

# 添加文本信息

plt.text(0.5,0.3,'Roc curve(area =%.2f)'% roc_auc)

# 添加轴标签

plt.xlabel('1-Specificity')

plt.ylabel('Sensitivity')

# 显示图形

plt.show()

决策树模型广泛应用于各种领域，包括但不限于：

‌商业决策‌：帮助公司在面对不确定性时选择最佳行动方针‌。

‌机器学习‌：用于分类和预测，如判断一个人是否会患癌症‌。

‌序列决策‌：通过树状图解方式求解在不同条件下的效益值，帮助决策者做出决策‌。

严格来说，CART、ID3、C4.5、C5.0、CHAID、Random Forest、Gradient Boosting Decision Trees（GBDT）、XGBoost、LightGBM都属于决策树的衍生算法，或者说思想基于决策树的思想，这些算法在不同的应用场景下都有其优势和适用性。

构建决策树模型时，通常需要将数据分为训练数据和测试数据。训练数据用于建立模型，测试数据用于验证模型的优劣。模型的构建过程中需要注意防止过拟合，即训练数据表现良好但测试数据表现糟糕的情况。参数设置越复杂，可能会导致训练数据表现优秀但测试效果不佳‌。

通过以上介绍，可以看出决策树模型不仅在理论上有坚实的基础，而且在实践中也有广泛的应用和优化方法。