今天是2024年12月08日,星期日,北京,天气晴。
今天,我们来看两个有趣的的话题,一个是最近o1-pro发布后,大家用来测试的一些有趣的例子,本质是逻辑陷进;另一个是关于文本检测,是否为大模型生成,来看看一些训练数据和工具索引。
供各位参考,多思考,多总结,多实践;
一、一个有趣的常识/逻辑推理测试
最近o1-pro发布,一些有趣的测试例子也出来了,例如“磁悬浮老鹰”的问题。
题目是:
“ 未来的某天,李同学在实验室制作超导磁悬浮材料时,意外发现实验室的老鼠在空中飞,分析发现,是因为老鼠不小心吃了磁悬浮材料;第二天,李同学又发现实验室的蛇也在空中飞,分析发现,是因为蛇吃了老鼠;第三天,李同学又发现实验室老鹰也在空中飞,你认为其原因是 ”
Qwen网页端给出的答案是:
ChatGPT-o1-pro给出的答案是:
可以看到,虽然思考了半天,在步骤中也提到了这是逻辑陷进,但是最终还是输出了错误答案。
所以,这个时候,是否存在一种假设,就是在逻辑推理诱导前,模型对于常识是一定忽视?其实,问了几个朋友,第一意识也是老鹰吃了蛇。但从另一个角度上讲,使用这种脑经急转弯的题目来测试大模型,其实也不是太合适。
二、关于AI文本检测的数据集及9个工具
AI文本检测是当前文本处理界的一个很重要的任务,我们可以至少了解三个事情。
一个是当前大模型时代下,AI生成带来的一些现实问题,可以参考《Detecting AI-Generated Text: Factors Influencing Detectability with Current Methods》(https://arxiv.org/pdf/2406.15583)
一个是在不同场景下鉴别AI生成的一些方案:
一个是当前用来训练AI文本检测模型的一些数据集:
一个是目前AI文本检测方面的一些产品工具,来自于《Exploring AI Text Generation, Retrieval-Augmented Generation, and Detection Technologies: a Comprehensive Overview》(https://arxiv.org/pdf/2412.03933)
1、GPTZero:由Edward Tian在2023年开发的GPTZero,通过分析文本的困惑度和突发性来检测AI生成的文本。
地址:https://gptzero.me
2、Turnitin:Turnitin是一个广泛使用的抄袭检测工具,2023年整合了AI检测功能,通过分析语言模式来验证文本的真实性。尽管有时会误报,但在学术界中广泛使用。
地址:https://www.turnitin.com/solutions/topics/ai-writing/ai-detector/
3、ZeroGPT:ZeroGPT是一个免费的在线工具,通过识别重复短语等模式来检测AI生成的文本,但对细微文本的准确性较低。
地址:https://www.zerogpt.plus/cn/content-detector-ai
4、GLTR:Giant Language Model Test Room(GLTR)使用统计可能性来可视化词汇的可预测性,有助于分析AI生成文本的模式,主要用于研究和教育领域。
地址:http://gltr.io,https://arxiv.org/abs/1906.04043
5、Copyleaks:Copyleaks是一个基于深度学习的AI内容检测工具,支持多种语言,但需要订阅。它在教育和商业内容验证中有广泛应用。
地址:https://copyleaks.com/ai-content-detector
6、Crossplag:Crossplag通过机器学习检测AI辅助的抄袭,特别适用于学术诚信领域,但在大语种的支持上存在限制。
地址:https://crossplag.com/ai-content-detector/
7、Hive AI:Hive AI专注于检测和识别AI生成的文本和多媒体内容,特别适用于新闻和媒体真实性分析。
地址:https://thehive.ai
8、Scribbr AI Checker:Scribbr的AI抄袭检测工具主要针对学术写作,提供详细的报告并支持多种语言,但在支持的语言范围上有局限。
地址:https://www.scribbr.com/ai-detector/
9、AI Writing Check,一个快速检测AI内容的工具,适用于博客、文章和新闻,但对复杂或创意性AI写作的检测效果较差。
地址: https://www.aiwritingcheck.com
总结
本文主要介绍了8个AI文本检测的数据集、常用方案及工具其索引地址,当然还不全。此外,一个有趣的常识/逻辑推理测试也很有趣,但其中所蕴含的意义也很值得关注。
参考文献
1、https://arxiv.org/pdf/2412.03933
2、https://arxiv.org/pdf/2406.15583
关于我们
老刘,NLP开源爱好者与践行者,主页:https://liuhuanyong.github.io。
对大模型&知识图谱&RAG&文档理解感兴趣,并对每日早报、老刘说NLP历史线上分享、心得交流等感兴趣的,欢迎加入社区,社区持续纳新。
加入会员方式:关注公众号,在后台菜单栏中点击会员社区->会员入群加入