上万人使用的机器学习工具箱是什么样子的？最新版工具箱功能定版！

      评价工具箱目前V5版本，以后还会根据用户的需求不断改进功能、增加算法。V3版本的工具箱支持一键导出代码，可以实现30种评价算法，除了前6种常用的评价算法，其余都是自研的新算法，现在有层次分析法、TOPSIS法、熵权法、变异系数法、CRITIC法、主成分分析法、熵权-秩和比法、变异系数-秩和比法、CRITIC-秩和比法、随机TOPSIS法、随机层次TOPSIS法、随机熵权TOPSIS法、随机变异系数TOPSIS法、层次-熵权法、层次-变异系数法、熵权-变异系数法、层次-熵权-变异系数法。

【视频讲解】B站录制了使用详细的视频，可以扫码观看或者点击链接 https://www.bilibili.com/video/BV1a94y147Qf/

可以观看视频的1-4节

【获取方式】扫码获取或者点击链接

https://mbd.pub/o/bread/Y56amJ1t

降维聚类工具箱

    降维聚类工具箱 目前V5版本，支持一键导出代码，可以实现12种降维方法分别是nnmf、PCA、SVD、t-SNE、autoencoder、KPCA、SPCA、kernelPCA、MDS、isomap、SNE、autoencoder-EA，还有多种聚类方法kmeans聚类、kmedoid聚类、GMM高斯聚类、层次聚类、FCM聚类、ISODATA聚类、canopy聚类、kshape聚类、DBSCN聚类、谱聚类、30智能优化算法优化kmeans、优化kmedoid聚类、优化dbscn聚类、优化canopy聚类、优化kshape聚类。

  同时支持30智能优化算法优化kmeans、优化kmedoid聚类、优化SOM聚类、优化dbscn聚类、优化canopy聚类、优化kshape聚类，在原来19种智能优化算法的基础上增加到了30种智能优化算法优化聚类。

可以实现带标签数据的降维可视化，以下为葡萄酒数据的PCA降维可视化

以下为葡萄酒数据的自编码降维可视化

手写数据集的高维数据集PCA降维

手写数据集的高维数据集T-SNE降维

 可以实现任意维度的二维数据或者曲线聚类

一维数据聚类

二维数据聚类

三维数据聚类

高维数据聚类

无标签的聚类更新了以下聚类评价指标

有标签的数据聚类更新了以下评价指标

一维聚类更新了小提琴图

二维聚类更新了密度直方图

高维聚类更新3维聚类图

    附带详细的使用手册，里面有详细的使用方法以及工具箱内出现算法的公式原理。

【视频讲解】B站录制了使用详细的视频，可以扫码观看或者点击链接 https://www.bilibili.com/video/BV1a94y147Qf/

可以观看视频的1、5~9节

【获取方式】扫码获取或者点击链接

https://mbd.pub/o/bread/mbd-Y56ck5lx

分类回归工具箱

    首先回顾下上一个版本，V5版本的功能，V5版本支持一键导出代码、一键离散、字符类型数据处理、独热编码功能、四种离群点检测方法分别是3sigma、Zscore、箱线图、孤立森林检测法、六种特征选择方法分别是L1范数、L2范数、树模型、person相关性分析、spearman相关性分析、kendall相关性分析、七种特征变换方法分别是nnmf降维、PCA降维、MDS降维、SPE降维、t-SNE降维、KPCA降维、autoencoder降维。

   能够实现多种回归算法以及分类算法，能够组合出上万种方法，回归算法可以实现多元线性回归、多元LASSO回归、多元岭回归、LSBoost回归、XGBoost回归、高斯回归、高斯核回归、ELM回归、GRNN回归、GAM回归、决策树回归、随机森林回归、SVM回归、BP/MLP回归、LSTM回归、LSTM-attention回归、GRU回归、GRU-attention回归、CNN回归、BiLSTM回归、BiLSTM-attention回归、CNN-LSTM回归、CNN-LSTM-attention回归、CNN-GRU回归、CNN-GRU-attention回归、CNN-BiLSTM回归、CNN-BiLSTM-attention回归、CNN-LSTM-SE注意力机制回归、CNN-LSTM-GRU注意力机制回归、包括多种组合算法MLP-RF回归、MLP-DT回归、MLP-SVM回归、SVM-RF回归、优化MLP-RF回归、优化MLP-XGBoost回归、优化LSTM-XGBoost回归、优化LSTM-attention-XGBoost回归、优化BiLSTM-RF回归、优化BiLSTM-attention-RF回归、优化CBiLSTM-XGBoost回归、优化CBiLSTM-attention-XGBoost回归。

  分类方法能实现最近邻分类、贝叶斯分类、决策树分类、随机森林分类、SVM分类、BP/MLP分类、LSTM分类、LSTM-attention分类、GRU分类、GRU-attention分类、CNN分类、BiLSTM分类、BiLSTM-attention分类、CNN-LSTM分类、CNN-LSTM-attention分类、CNN-GRU分类、CNN-GRU-attention分类、CNN-BiLSTM分类、CNN-BiLSTM-attention分类、CNN-LSTM-SE注意力机制分类、CNN-LSTM-GRU注意力机制分类、MLP-RF分类、MLP-SVM分类、SVM-RF分类、优化MLP-RF分类、优化BiLSTM-attention-RF分类、优化CBiLSTM-XGBoost分类、优化CBiLSTM-attention-XGBoost分类。

 RC工具箱最新更新：

回归分类算法更新

    加了在回归分类任务里面效果还可以的几个transformer变体网络

    目前支持30种智能优化算法优化trasformer变体网络，回归和分类都支持

    "SSA麻雀搜索算法"    "优化 Transformer-G…"    "位置编码向量数:"    "16"    "  注意力机制头head:"    "8"    "  注意力机制键key:"    "16"

    "  隐藏层神经元gruLa…"    "8"    "   dropoutLayer_r…"    "0.34329"    "   learnrate: "    "0.0024119"

    新增多种机器学习和深度学习的组合方法，支持30种智能优化算法优化优化单模型后再进行组合

新增数据增强方法

      新增四种数据增强方法，回归分类数据均可增强，可以有效解决分类数据样本不平衡、少样本等问题，自定义分类倍数，能够让回归、分类数据整体更加平衡

注：数据增强只增强到训练集和验证集中，测试集保持不变，因此可以放心对比数据增强效果

二分类疾病诊断数据测试，分类效果有了明显提升

增强前测试集效果

增强后测试集效果

特征选择方法更新

   在原来的基础上新增了3种效果绝的特征选择算法，这三种算法自适应得到最优的特征组合，不需要提前设定算法，其中多种智能优化算法特征选择支持工具箱内置的30种智能优化算法优化出最佳算法组合。

SHAP分析功能更新

   MATLAB的SHAP分析也安排上了，目前只有特定模型能实现（bp神经网络、SVM、数模型、高斯回归模型等），如果模型实现不了会有提示语

   可以实现智能优化算法优化模型后再进行SHAP分析

K折验证功能更新

     工具箱内所有的单个和组合回归以及分类算法都支持K折验证，可以验证优化前或者优化后的模型超参数在整个数据集循环的效果

ROC功能更新

   工具箱内所有的单个分类算法和组合分类算法都支持绘制ROC曲线，并且可以对比多个算法的ROC曲线

在函数附件中，可以比较方便地进行多个算法的ROC曲线对比

固定随机种子功能更新

   随机种子支持固定和随机两个选项，固定随机种子每次运行结果就会一样，完全可以复现出来，当然如果使用优化算法可能就不一样了

   模型特征重要性绘图可以随机优化，当然要在随机种子不固定的时候

智能优化算法更新

绘图功能更新

一键式概率区间预测功能更新

    除此之外V5版本能够实现一键概率区间预测，指标评价以及概率区间随机美化绘图，概率区间预测方法，回归赛道太卷了，形形色色就那样，没太大改进，如果能在回归的基础上实现概率区间预测，那是一个发论文，做课题的非常大的加分项，概率区间预测不仅能实现区间预测，还能得到概率区间范围，能够提供更多的预测信息

在之前的基础上增加了多种深度学习分位数回归的概率区间区域方法

    工具箱的前3个区间预测模块都是根据验证集误差建模的，也就是说，这三种方法可以和任意回归方法组合，因此可以实现五万多种回归组合*3种概率区间方法的任意组合=15万种概率区间预测方法，而且设计了分层概率方式，后几种方法的概率区间预测也可以和均值预测组合。概率区间置信度值均可以自己设定。同时提供了matlab和python多种神经网络分位数回归示例，随机森林分位数示例以及python lightgbm、catboost分位数回归示例可以自由设置任意的概率区间，任何数据都适用，并且有丰富的5个评价指标，PICP、PINAW、CWC、MPICD、AIS

光伏数据集：

风电数据集：

房价数据集：

鲍鱼数据集：

  多种概率区间预测的对比，那必须得有，在example_Qregrees.m的对比函数里面

附带详细的使用手册，里面有详细的使用方法以及工具箱内出现算法的公式原理，一共两百多页，随着工具箱的更新也会持续更新。

     【视频讲解】B站录制了使用详细的视频，可以扫码观看或者点击链接 https://www.bilibili.com/video/BV1a94y147Qf/

可以观看视频的1、10~19节

【获取方式】扫码获取或者点击链接

https://mbd.pub/o/bread/mbd-ZJWUkphq

时序预测工具箱

        首先回顾下上个版本的时序预测工具箱，支持一键导出代码，可以实现单时间序列预测、可知未来特征的多元时间序列预测、不可知未来特征的多元时间预测以及非时间序列的多输入多输出序列预测。目前保守估计能实现大概二十万多种组合预测算法。

数据处理部分可以实现数据缺失处理以及插值，特征处理方面有六种特征选择方法分别是L1范数、L2范数、树模型、person相关性分析、spearman相关性分析、kendall相关性分析、七种特征变换方法分别是nnmf降维、PCA降维、MDS降维、SPE降维、t-SNE降维、KPCA降维、autoencoder降维。有三种去噪方法VMD去噪、CWT去噪、NLM去噪，同时支持对序列进行分解再预测有VMD分解、EMD分解、EEMD分解、19种智能优化算法优化VMD分解、19种智能优化算法优化CEEMDAN分解。

    在算法层面能实现LSBoost算法、XGBoost算法、高斯核算法、GRNN算法、决策树算法、随机森林算法、SVM算法、BP/MLP算法、LSTM算法、LSTM-attention算法、GRU算法、GRU-attention算法、CNN算法、BiLSTM算法、BiLSTM-attention算法、CNN-LSTM算法、CNN-LSTM-attention算法、CNN-GRU算法、CNN-GRU-attention算法、CNN-BiLSTM算法、CNN-BiLSTM-attention算法,CNN-LSTM-SE注意力机制、CNN-GRU-SE注意力机制，TCN、TCN-LSTM、TCN-GRU、TCN-BiLSTM、还有多种组合算法 LSTM-XGB算法、 LSTM-attention-XGB算法、LSTM-SVM算法、LSTM-attention-SVM算法、CNN-XGBoost算法、CNN-BiLSTM-XGB算法、CNN-BiLSTM-attention-XGB算法、CNN-BiLSTM-RF算法、CNN-BiLSTM-attention-RF算法、优化LSTM-XGB算法、优化LSTM-attention-XGBoost算法、优化LSTM-SVM算法、优化LSTM-attention-SVM算法、优化CNN-XGBoost算法、CNN-BiLSTM-XGB算法、优化CNN-BiLSTM-attention-XGBoost算法、优化CNN-BiLSTM-RF算法、优化CNN-BiLSTM-attention-RF算法。

工具箱训练完后可以直接得到预测结果，单时序预测和不可知未来特征的多元时序预测，不需要借助未来的特征，因此在训练过程中，可以直接得到预测的结果。因此可以放心使用序列分解，因为根本不需要未来信息去预测，因此不会存在数据泄露的问题。对于可知未来特征的时序预测的序列分解可能会存在这个问题，其实很多问题分解之后反而不如没有分解的，因此要以数据导向，不要盲目跟风，多试方法才知道数据适合什么。

    预测点个数和自己设置的个数有关，这里会构造滑动窗口可能会要求训练数据不能太少，如果想用比较少的数据预测未来很多个点，可以把得到的预测值带入到真实值然后再训练预测

同样，我们也开发了一套结果对比图，方便大家直接对比多个算法结果，直接把训练好保存的训练文件数据导入就可以得到结果，可以说，你想对比什么算法都可以轻松的对比，在example_timepre.m里面，给大家提供

预测算法更新

 更新了几个transformer变体的算法

     这些算法都支持30种智能优化算法对网络结果寻优，亲自实验寻优后预测效果会有明显的提升

    "SSA麻雀搜索算法"    "优化 CNN-iTransfor…"    "位置编码向量数:"    "16"    "  注意力机制头head:"    "4"    "  注意力机制键key:"    "8"

    "  隐藏层神经元lstmL…"    "16"    "   dropoutLayer_r…"    "0.11595"    "   learnrate: "    "0.0078123"

    于此同时更新了多种组合创新算法，保证既有预测效果又有创新性

特征选择方法更新

   在原来的基础上新增了3种效果绝的特征选择算法，这三种算法自适应得到最优的特征组合，不需要提前设定算法，其中多种智能优化算法特征选择支持工具箱内置的30种智能优化算法优化出最佳算法组合。

时序分解方法更新

   在众多分解方法里面挑出了几种效果比较好的分解算法，虽然有很多分解方法但不是都适合时序分解，最近试了二十多种分解方法挑出来的，支持30种智能优化算法优化VMD和CEEMDAN分解

智能优化算法更新

趋势项拟合更新

  增加趋势项拟合的功能，提高这种趋势项明显的数据的预测精度，消解时序数据的趋势项

一键时序概率区间预测更新

    最重要的是增加了概率区间预测功能，能够实现单元时序概率区间预测、多元时序概率区间预测以及多输入多输出概率区间预测，指标评价以及概率区间随机美化绘图，在时序预测的基础上实现概率区间预测，那是一个发论文，做课题的非常大的加分项，概率区间预测不仅能实现区间预测，还能得到概率区间范围，能够提供更多的预测信息

     同样支持10多种概率区间预测方法，可以支持任意的区间设置

自定义概率置信区间，一键式得到评价结果

绘图功能更新

可以随机更新以及自定义绘图样式，再也不怕找不到绘图样式了

附带详细的使用手册，里面有详细的使用方法以及工具箱内出现算法的公式原理。

【视频讲解】B站录制了使用详细的视频，可以扫码观看或者点击链接

https://www.bilibili.com/video/BV1a94y147Qf/

可以观看视频的1、20~25节

【获取方式】扫码获取或者点击链接

https://mbd.pub/o/bread/mbd-ZJaVm55t

国赛保奖班

详情请看原文链接：国赛保奖救命班系列来啦！三种班型任你选择

扫码进入云顶科研店铺查看更多哦~

     公众号【Lvy的口袋】 QQ交流3群【674205165】前两个交流群已满