【深度测评】GPT时代来了,你不会还在用翻译软件读论文吧!

文摘   2024-08-14 21:57   河南  

在当今全球化的学术研究环境中,阅读和理解英文文献对于广大学生、科研人员来说是一项至关重要的技能。然而,由于语言差异和学术用语的独特性,英文学术论文翻译工作往往充满挑战,不仅要求精准传递信息,更需保持学术表达的专业性和严谨性。


近年来,随着人工智能技术尤其是大语言模型的飞速发展,AI翻译工具正在逐渐改变学术翻译的格局。以ChatGPT为代表的大规模预训练语言模型们,以其强大的自然语言理解和生成能力,在学术翻译领域展现出显著优势。


小编通过详尽对比评测国内外多个主流大语言模型及传统翻译程序在英文学术论文翻译任务中的表现,从多维度进行深度分析并打分。我们将分享具体的翻译实例,展示它们在处理学术术语、句子结构和复杂语境时的能力,并给出最佳实践建议和有效的Prompt使用策略。希望通过这次全面的评测和经验分享,帮助广大读者找到最适合自己的学术论文翻译工具,从而提升阅读速度和理解质量,助力学术研究与学习。


00

# 太长不看版

共测评了9款大语言模型与6种传统翻译程序,最终通义千问与DeepL拔得头筹,推荐使用。


01

# 测评模型/软件

国外主流大语言模型:ChatGPT4.0(OpenAI)、Bard(Google)、Claude2.1(Anthropic)

国内主流大语言模型:文心大模型4.0(百度)、通义千问(阿里)、智谱清言GLM-4(清华)、讯飞星火认知大模型(讯飞)、360智脑(360)、混元大模型(腾讯)

传统翻译程序:DeepL、谷歌翻译、彩云小译、有道翻译、金山词霸、Bing翻译

02

# 翻译文本选择

测试对象为一段兼具专业词汇、长难句、拥有复杂结构,且直译易出现Chinglish感的SCI论文片段,出自麻省理工学院微反应器技术领域世界级学术带头人 Klavs F. Jensen 教授的《Microreaction engineering — is small better?》:

Microreaction technology is expected to have a number of advantages for chemical production. The high heat and mass transfer rates possible in microfluidic systems allow reactions to be performed under more aggressive conditions with higher yields than can be achieved with conventional reactors. More importantly, new reaction pathways deemed too difficult in conventional microscopic equipment, e.g., direct fluorination of aromatic compounds, could be pursued. Even if a microreactor fails, the small quantity of chemicals released accidentally could be easily contained. Moreover, the presence of integrated sensor and control units could allow the failed reactor to be isolated and replaced while other parallel units continued production. These inherent safety characteristics suggest that production scale systems of multiple microreactors should enable distributed point-of-use synthesis of chemicals with storage and shipping limitations, such as highly reactive and toxic intermediates (e.g., cyanides, peroxides, azides). As a demonstration of these concepts, DuPont has synthesized a number of potentially hazardous chemicals, including isocyanates, in a microreactor formed by bonding silicon wafers patterned to form channels, preheaters, and catalytic reactor sections.


03

# 提示词Prompt

众所周知,大语言模型需要在高质量的提示词下才能有较好的表现,根据小编不断优化与测试,最终确定提示词为:

作为一名化工领域的资深专家和专业论文翻译者,请你翻译以下这段英文学术论文摘录,力求使其适应中文阅读习惯,保持行业表达的专业性和逻辑性,并在必要时进行语序调整以确保文本通顺易懂。待翻译英文原文如下:[英文原文,不含方括号]

使用该提示词后,翻译质量明显提升。大家可自行取用。


04

# 测评结果

从准确性(术语翻译、句子结构、语境理解)、专业度(学术领域特有词汇和表达方式处理)、流畅度与可读性、长句与复杂结构翻译能力四个维度对翻译结果进行评判,每个维度最高10分,总分40分。评分由小编主观判断,难免有不严谨之处,如有疏漏,敬请指正。


##  ChatGPT 4.0


点评:总分31分。ChatGPT对于长难句的翻译以及准确度方面都表现较好,但是对于“微流控”“图案刻蚀”等专业用语翻译稍欠佳,“被预期具有诸多优势”“化学品数量小”“应该能够实现”等翻译较为晦涩,可读性弱。



##  Bard (Gemini Pro版)



点评:总分32分。Bard整体表现较优,但对于个别学术词汇,如“微流控”“化学品的分布式现场合成”等未能准确翻译,对于长句与复杂结构(最后一句)处理较差。


##  Claude 2.1



点评:总分23分。Claude表现让人失望,是本次测试的所有大语言模型中最差的,各个维度都不好,令人意外,可能需要进一步专门优化提示词。将“反应器故障”翻译为“反应器失效”,“传统微观设备”翻译为“常规设备”,信息传递不完整,对于“硅晶键合”等学术词汇翻译不准确,“预计会具有”稍显拗口;最后一句中,“由微加工的硅晶片粘合而成的微流道、预热器和催化反应段组成的微反应器”描述略显累赘,可能会对读者造成理解上的困难。


##  文心大模型4.0(API)



点评:总分28分。文心大模型4.0给出的答复较多,不仅给出了翻译,还给出了直接翻译与优化后的翻译,以及他做出的特殊处理(小编实测在文心大模型3.5上则直接给出最终翻译结果),但结果还是稍显逊色。“多重优势”稍显拗口,“分布式使用点合成”的翻译不准确(应为分布式就地合成或现场合成)。信息传递完整,但最后一句长难句的翻译语序与语句连接稍显生硬,影响了对于文章的理解。


##  通义千问 V2.1.1



点评:总分35分。通义千问是一匹黑马,在本次测试中表现出了令人惊叹的翻译能力,是本次测试中表现最好的。以后将成为小编的首选。除了在“小量化学品”(一般译为“少量化学品”)处翻译不准确,“应能实现”的翻译稍显生硬之外,其他翻译堪称完美。对于“微流控系统”“化学品的分布式现场合成”翻译的十分准确,对于“有望为化工生产带来一系列优势”“成功合成了包括异氰酸酯在内的多种潜在危险化学品”等句子的处理兼顾了信达雅,而不是直接翻译。


##  智谱清言 GLM-4



点评:总分30分。智谱清言对于一些学术用语翻译的专业度与准确性上还有待提高,比如“高热和质传递速率”“粘合”等。在长难句的处理上也稍有不足。


##  讯飞星火认知大模型 V3.5



点评:总分29分。讯飞星火的表现中规中矩。对于“微流控系统”“分布式现场合成”的概念未能准确翻译,并且出现了“侵略性的条件”这样晦涩生硬的翻译。


##  360智脑


点评:总分29分。360智脑表现也是中规中矩,“微流体系统”“应该可以实现”“点对点的化学合成”“概念的演示”这些翻译都较为生硬,也没有翻译出“硅晶键合”这样的专业词汇,对于长难句的处理还不够完美。


##  腾讯混元大模型 V1.6.1




点评:总分28分。腾讯混元大模型在流畅度与可读性方面,翻译结果表达略显生硬,尤其是“在微流体系统中,可能实现的高传热和传质速率使得反应能够在比传统反应器更高的收率下进行更严苛的条件”这句,其结构复杂且让人难以理解;“杜邦公司在通过键合硅晶片形成的微反应器中合成了一系列潜在危险的化学物质,包括异氰酸酯,这些硅晶片上形成有通道、预热器和催化反应器部分。”翻译的冗长且表达不清。


##  DeepL


点评:总分35分。DeepL表现了出色的翻译能力,不愧其广告语“全世界最准确的翻译”。虽本身不是大语言模型,但凭借其出色的AI机器学习能力展现出了非常高超的翻译技巧,甚至超过多数的大语言模型,翻译结果基本上无可挑剔,跟其他国产翻译软件相比遥遥领先。但很可惜的是DeepL并不支持在中国境内使用Pro版本,不能进行全文翻译。


虽然在本次评测中,DeepL与通义千问获得并列第一名的成绩,但经小编测试,在某些不能直译的场景,大语言模型有其天生的自然语言处理优势。如“Efficient conversion of propane in a microchannel reactor at ambient conditions”,包括DeepL在内的翻译软件都只能将“ambient conditions”翻译为“环境条件”,但几乎所有的大语言模型都能非常好的翻译为“常温常压条件”。


## 谷歌翻译


点评:总分26分。谷歌翻译目前在中国大陆境内不提供服务,但考虑到测评完整性,还是加入了在全球范围内都非常知名的该翻译程序。但翻译结果也不是十分令人满意。““传统显微设备”出现了明显的翻译错误,“微流体系统”“应该能够”“粘合”“反应堆”等翻译也不够准确,对于长难句的处理也偏生硬。


##  彩云小译



点评:总分22分。彩云小译的表现令人失望,我本来以为能对标DeepL,但事实上相差甚远。“侵略性的条件”“失效的反应堆”“应该能够”“使用点合成”等这些翻译显得笨拙,也提不上专业和准确。长难句的翻译也令人一言难尽。,“新的反应途径被认为太难在传统的显微设备,例如,直接氟化芳香族化合物,可以追求”这样的翻译存在错误的同时也令人看不懂。


##  有道翻译



点评:总分21分。斩获全场最低分。将“微反应器”翻译为“微反应堆”,“键合”“分布式现场合成”等专业术语翻译不能准确翻译,“有望在化工生产中具有许多优势”的表达较为生硬,“例如,芳香族化合物的直接氟化,可以追求”直呼看不懂,其他长难句也晦涩难懂。


##  金山词霸



点评:总分28分。金山词霸作为传统翻译软件,也情理之中出现了翻译错误,“传统微观反应器”被错误翻译为“传统显微镜设备”,完全曲解原意,“异氰酸酯”被翻译为“异氰酸盐”,这是在其他所有翻译程序及大语言模型中都没有出现的错误。对于“硅晶片的键合”等专业学术用语翻译的也不够专业。在某些长句的处理上稍显笨拙,可能会影响非专业读者的理解。


##  Bing翻译(Edge浏览器全文翻译)



点评:总分25分。Bing翻译与谷歌翻译表现基本持平。“微流控系统中可能的高传热和传质速率允许在更具侵略性的条件下进行反应”这句话读起来不够通顺,“反应器”被翻译为“反应堆”,“可以追求在传统显微设备中”也出现了与其他普通翻译器相同的错误。但整体还是流畅宜读的。值得一提的是,Bing翻译被集成在Edge浏览器中,在使用Edge浏览器打开论文全文时,直接右键然后选择“翻译为中文(简体)”就能便捷的一键全文翻译,帮助我们快速浏览文章内容。但显然精读还是需要阅读英文原文或者借助其他大语言模型进行精准翻译。


05

# 综合推荐与最佳实践

经过以上评测,最终结果为:

根据以上结果,小编推荐大家使用Edge浏览器阅读论文原文,使用集成的Bing翻译一键全文翻译,先快速浏览文章内容。在需要精读的重点部分,可使用通义千问大语言模型进行翻译,帮助我们更好的快速阅读,有疑问的地方可以搭配DeepL对比。


另外,大语言模型除了在论文翻译方面能够发挥卓越作用,在论文辅读方面也有无可比拟的优势。在此推荐几种免费好用的论文阅读工具,但篇幅有限不再详细赘述。

  1. 通义智文,通义千问的兄弟,有专门阅读论文的功能,上传论文的PDF版,即可看到论文概述、速读、总结等内容,也可以提供每天多次的全文翻译,还能通过直接对话对文章进行提问。不仅支持单篇文章提问,还可以对多篇文章进行综合提问,功能强大。但可能由于提示词的问题,经小编测试,通义智文的全文翻译质量不及小编通过提示词提示后的通义千问。

  2. Aminer,清华大学计算机系唐杰教授开发的学术论文搜索与挖掘服务网络程序,与智谱清言同出一门,都是由智谱AI驱动。拥有ChatPaper与对话的能力,还能关注学者或者搜索论文。

  3. Readpaper,由粤港澳大湾区数字经济研究院开发的AI辅助论文阅读工具。有非常方便的文献翻译功能,最近还推出了Eureka学术大模型,专门进行大语言模型文献翻译与辅读,有PC版。但目前AI辅读功能还在内测,只能连续登录5天后才能获得几天的使用期,要想长期使用,就要坚持每天登录。

  4. txyz,AI增强阅读工具,但似乎只支持英文,即使用中文提问,也会给予英文回答,英文较好的同学可以使用。

  5. OpenRead,提供AI论文浓缩、问答、论文关系网等辅读工具。


06

# 参考

  • 文心一言:https://yiyan.baidu.com

  • 通义千问:https://tongyi.aliyun.com/qianwen

  • 智谱清言:https://chatglm.cn/detail

  • 讯飞星火:https://xinghuo.xfyun.cn/desk

  • 360智脑:https://chat.360.cn/chat

  • 腾讯混元:https://hunyuan.tencent.com/bot/chat

  • DeepL:https://www.deepl.com/translator

  • 通义智文:https://tongyi.aliyun.com/zhiwen/home

  • Aminer:https://www.aminer.cn

  • Readpaper:https://readpaper.com

  • txyz:https://app.txyz.ai/

  • OpenRead:https://www.openread.academy/zh

  • ChatGPT、Bard、Claude和谷歌翻译在中国大陆境内不可使用,需使用魔法。

觉得内容还不错的话,给我点个“在看”呗

化育万物上善若水
致力于化学化工让生活更美好,专注于化学化工科普、科研、转化
 最新文章