本期，笔者将使用Sklearn自带的一个数据集（大家无需下载数据集，直接运行代码）来演示朴素贝叶斯算法的实现。
首先给出贝叶斯公式：
给定一个截取的文档数据集如下图，请大家思考两个问题：
（1）现有一篇被预测文档：出现了影院，支付宝，云计算，计算属于科技、娱乐的类别概率？
（2）其中属于娱乐的类别概率为0，可是文章中出现影院这一词，那么是否就真的完全没有一点概率使得文章属于娱乐呢？
解决方案：使用拉普拉斯修正。
接下来，按照这样处理，我们将代码完整呈现如下：这个数据集包括20组新闻类别的18000个新闻帖子。
from sklearn.datasets import fetch_20newsgroupsfrom sklearn.model_selection import train_test_splitfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.metrics import classification_reportdef naviebayes():"""朴素贝叶斯进行文本分类:return: None"""news = fetch_20newsgroups(subset="all")# 对数据集进行划分# 注意返回值，既含有训练集 train x_train,y_train 也有测试集test。x_train , x_test , y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)# 对数据集进行特征抽取tf = TfidfVectorizer()# 以数据集中的词的列表进行每篇文章重要性的统计['a', 'b', 'c']x_train = tf.fit_transform(x_train)print(tf.get_feature_names())# 前面如果fit 或者 fit_transform之后，后面只需要transform即可x_test = tf.transform(x_test)# 进行朴素贝叶斯算法mlt = MultinomialNB(alpha=1.0)# 将稀疏表示变成向量表示print(x_train.toarray())mlt.fit(x_train,y_train)y_predict = mlt.predict(x_test)print("预测的文章类别为：", y_predict)# 获得准确率print("准确率为：", mlt.score(x_test, y_test))print("每个类别的精确率和召回率",classification_report(y_test, y_predict, target_names=news.target_names))return Noneif __name__ == "__main__":naviebayes()
