基于深度学习的AI生成文本判别模型研究

点击上方“高科技与产业化”可以订阅哦

近年来，自然语言处理领域经历了革命性的发展，特别是以OpenAI的ChatGPT等大型语言模型的出现为代表。随着这些模型复杂度的不断提升，区分机器生成文本与人类创作内容的挑战也日益严峻。本文将详细介绍研究方法、检测模型架构及实验结果，并就发现的对句子特征与结构的广泛含义进行深入讨论。

近期的大型语言模型，如ChatGPT，能编写文章、详细描述艺术作品、生成AI艺术提示、进行哲学对话乃至编程。为了捕捉这些复杂的模式，学术界已经涌现出一些突出的研究成果。DetectGPT通过利用LLM的对数概率和它生成的随机扰动来判断文本是否为机器生成(Mitchell等人，2023)。该方法擅长识别由GPT-NeoX等模型制作的假新闻^[1]文章，且性能优于多数零样本方法；Kumarage等人针对易受误导信息和假新闻生成影响的社交媒体平台，提出了一种新颖的文体检测算法，他们使用BERT和集成方法，结合文体特征作为基线研究，通过分析文本的句法、标点和语言多样性等文体信号，结合RoBERTa这样的模型对提取的特征进行分类，他们发现这种方法在XGBoost上表现最佳，优于逻辑回归和随机森林分类器。本文计划研究不同数据来源和类型对模型AUC-ROC的影响，找到一种更精准有效的文本判别方法。

2.1  数据集描述

本研究采用的数据集融合了五种不同类型的人类生成文本资源，旨在通过多样化的内容增强模型对于短文本、长文本乃至复杂医学术语的理解与分析能力。这五大数据源包括：Twitter情感分析数据、足球赛事评论、古腾堡计划文学作品、PubMedQA医学问答以及SQuAD阅读理解数据集。

具体处理步骤如下：足球赛事评论数据被切割为100词和150词的句子段落；SQuAD问题被截断至最多200词；而从古腾堡计划中抽取了200词长度的句子以构建定制的文学文本样本。通过这一系列操作，整合得到了2,534,498个人类生成的句子实例。这些句子进一步被划分为10至200词的多个类别，每5词为一个增量区间，并通过标准化处理确保每个类别中句子数量占比约为16%，最终形成包含400,015个句子的高质量数据集。

为了构建机器生成文本，本文用OpenAI的GPT-3.5-turbo版ChatGPT API对选定的句子进行了改写，同时设置提示条件以保证改写后句子的长度与原句保持一致。如此构建的综合数据集总计包含800,030条记录，涵盖了从10词至200词不等长度的句子，既有人类的原始文本也有机器改写的文本。所有超过200词的句子被截断处理，少于10词的句子则被移除，以此确保数据集的统一性和适用性。

2.2  模型概述

本文选用了三种模型进行AI生成文本的判别，分别是支持向量机（SVM），RoBERTa-base模型以及RoBERTa large模型。这些模型被设计用于精确识别跨多个领域的ChatGPT生成文本。研究的核心目标，在于揭示模型决策机制的内在逻辑，同时深入剖析ChatGPT生成文本的独特特征，这些特征使其能在众多文本中脱颖而出，有别于传统意义上的人类创作文本^[2]。

2.2.1 支持向量机（SVM）

支持向量机分类器作为一种强大的机器学习工具，本文选用了径向基函数（RBF）核来识别特征空间中的模式。RBF核因其能捕捉非线性数据中的复杂关系而闻名。本文采用了TF-IDF（词频-逆文档频率）向量化技术来表示文本数据。TF-IDF既考虑了每个文档内部的词频，又考虑了词在整个语料库中的重要性。这种RBF核与TF-IDF向量化相结合的方法确保了SVM模型能处理自然语言的复杂性，捕捉语义细微差别及上下文变化，从而实现准确而稳健的分类。

SVM配以RBF核和TF-IDF向量化技术，是因为它是文本分类领域内成熟且广泛应用的基准方法。与RoBERTa模型相比，SVM-RBF-TF-IDF方法更为轻量级，无论是训练还是推理过程都消耗较少的时间和计算资源。此外，SVM模型展现出了鲁棒性[3]，在文本分类领域与其他同规模和复杂度的机器学习模型相比，其性能表现具有竞争力。

2.2.2 RoBERTa-base

第二种采用了RoBERTa-base模型，这是一种基于变换器的架构。为了将这个预训练的语言模型调整到特定的二元分类任务——即区分人类生成和ChatGPT生成的句子，本文在RoBERTa-base之后添加了一个全连接(FC)层以及一个sigmoid激活函数。这一改动能将RoBERTa学到的上下文表示转化为二元分类决策。RoBERTa模型凭借其深度双向架构和在大量语料库上的广泛预训练，能捕获复杂的语言模式和语义关系，增强了辨别文本来源细微差别的能力。增加的FC+sigmoid层使得模型能将这些表示映射到二元决策空间中，便于进行精确分类。这种混合方法利用了变换器的语言模型优点，并针对二元分类任务的具体需求进行了定制。

经FC+sigmoid 层增强的RoBERTa-base模型在二元分类任务中证明是有效的，但其较高的计算复杂性相对于轻量级的SVM模型在效率方面提出了挑战。

2.2.3 RoBERTa-large

本节采用了先进的RoBERTa-large模型作为核心分析工具。RoBERTa-large，作为变换器架构的典范，其显著特点是拥有多达3.55亿个参数，这一庞大的参数量为其提供了深入挖掘文本数据复杂性的潜力。为了适应二元分类任务的具体要求，即精确分辨人类创作文本与ChatGPT生成文本，笔者对RoBERTa-large进行了策略性调整。具体调整包括在模型的输出端集成一个额外的全连接（FC）层，辅以sigmoid激活函数，旨在生成概率分数，以此作为分类决策的依据。

此模型增强策略不仅保留了RoBERTa-large对上下文丰富性的敏锐捕捉能力，还进一步提升了其在特定任务中的区分精度，但RoBERTa-large模型的高级特性和大规模参数集也引致了显著的计算挑战。

3.1  数据集准备

在实验数据集设计部分，本文将原始数据分割为互斥的训练集、测试集及验证集，每个集合中都包含长度从10到200词不等的句子。为确保模型在不同长度句子下识别的泛化能力，在每个集合内部又按照特定的长度范围对其进行细分，比如10-14词，15-19词等细粒度区间。

通过实施严格的句子长度分层策略，本研究得以深入探究各模型处理不同长度文本的能力，从而在广泛的语言环境框架内洞悉其适应特性。实验设计的核心在于，依据句子长度区间对数据进行系统性分类，旨在从多维度全面剖析模型在抓取多样化句长文本细微差异时的鲁棒性与效能。

3.2  模型指标构建

在深入探究模型鉴别力评估的过程中，本研究采用了Area Under the Receiver Operating Characteristic Curve (AUC-ROC) 作为核心量化工具。AUC-ROC值本质上是对模型分类阈值变化时，真正率(True Positive Rate, TPR) 相对于假正率(False Positive Rate, FPR) 的积分，其取值范围从0到1，数值越大表明模型的分类性能越佳。

数学上，AUC-ROC可被解释为ROC空间下曲线所覆盖的面积，其中ROC曲线描绘了TPR与FPR间权衡的所有可能情况。对于本研究中的任务——区分人类生成与ChatGPT生成的句子，AUC-ROC分析尤为适用，因为它全面考虑了各种预测置信度下的正确分类与错误分类情况。

3.3  实验结果

在初步的实验结果中，列举了不同模型在多种数据集（包括训练集、测试集、验证集）上的AUC-ROC分数。支持向量机（SVM）模型在所有这些集合上均显示出强劲的区分性能。RoBERTa-base相较于SVM展现出更胜一筹的表现，而RoBERTa-large在此基础上，进一步提升了表现水平。这些分数从量化角度概述了各个模型在不同数据集中区分人类与ChatGPT生成句子的有效性，突出强调了RoBERTa模型强大的区分能力。

随后的实验中，针对不同长度范围的句子，记录了三种模型（SVM、RoBERTa-base、RoBERTa-large）的 AUC-ROC分数。随着句子长度的增长，RoBERTa模型持续超越SVM，展示了在捕捉细腻模式方面的强大稳健性。此外，即便在较长的句子长度范围内，RoBERTa-large依旧保持前列，这证明其在多样语言环境中的熟练应用能力。

本研究成功构建了一个结构良好且标注完善的语料库，该语料库包含了来自五个不同来源的人类创作文本与ChatGPT（GPT3.5 Turbo）生成的文本。语料库中的句子长度变化范围广泛，自10词至200词不等。此外，本文设计并训练了多个分类器，用以区分人类撰写与ChatGPT生成的文本。接下来将致力于收集更多来源的文本类型，以此提升数据集的多样性，同时为提升分类效果，将尝试更多的模型对数据集进行训练，找到模型准确性与算力消耗的平衡点。

参考文献

1 龚静,郑迪聪,刘现芳.基于AI深度学习的新闻文本分类法研究[J].中国新技术新产品, 2024(05):18-20.

2 薛泽民,邹连旭,黄志威,等.基于深度学习的Attention U-Net语义分割模型研究[J].长春工程学院学报(自然科学版), 2023,24(04):97-101.

3 刘鑫,景丽萍,于剑.基于多样真实任务生成的鲁棒小样本分类方法[J].软件学报, 2024(04):1587-1600.