AI批改英语作文,质量和数量都完爆人类老师改卷

教育   教育培训   2024-08-20 12:09   广东  

改作文,是英语老师为学生提供的最有价值的服务之一。

这是技术活,也是辛苦活。

首先,老师要非常熟悉作文的评分标准——

国内的中考、高考、四六级、考研等的作文评分标准相对简单,例如大学四六级作文采取的是Global Scoring评分法,“阅卷人员就总的印象给出奖励分(Reward Scores),而不是按语言点的错误数目扣分”,相对主观但也分为4~5档。有的考试还提供具体题目每一档的范文。伍教练发现中考英语已经分两个维度(内容、语言),有复杂化的趋势,向国际考试靠拢。

国外英语考试的写作评分标准体系性极强,典型的是剑桥系列,分多个维度和多个band,例如雅思是4维度:

Task response

Coherence and cohesion

Lexical resource

Grammatical range and accuracy

每个维度再分10个band,于是形成37个项目的二维矩阵,蔚为壮观。

在详细标准的指导下,老师不能光凭感觉随便打分,而要具体给出档次,还要按每个维度来评,全部都要求有依有据。这对老师的英语水平、文字能力、批改经验,以及精力、眼力、专注度都提出了很高的要求。

另一方面,学生的作文不是干净、整洁的数据。大部分写作考试还是笔试,不少考生书写歪歪扭扭,还夹杂涂改、增补、箭头大挪移,令老师看得头晕眼花。更麻烦的是,由于英语写作水平不咋地,国内考生的作文大量存在拼写和语法错误,文意也十分混乱,让老师光是读都读到吐血,要大量批改学生习作,每篇都严格参照评分标准,简直就不是人干的事情!

一位高三学生向伍教练透露,他们班上有58个学生,老师从来没改过作文,想必是吐血都忙不过来。然而水平能力以及成绩的提升,最需要的就是写作的反馈,中肯而具体的批改意见可以告知学生问题所在,才能有的放矢地提升。

一份考试卷,听力、阅读部分基本上是选择题,对着答案批改的效率很高,更不用说早已普及答题卡技术,唯有口试、作文这些最难搞。因此,校外教培机构往往以作文批改服务为卖点。我就见过有让学生一天写5篇中考作文的,全部高质量批改——人家学费贵,价值就是在这些细节上!

2024年AI大模型普及,彻底打破改作文(包括但不限于英语)的困局,也直接导致英语老师呕心沥血的辛劳迅速贬值……




第一步:手写作文OCR成电子版

传统的OCR软件智能化程度低,例如微信的图片文字提取功能,对印刷体文本还凑合,但手写英文会OCR出来大量乱码。现在可以把学生手写作文拍照上传到AI大模型,推荐智谱清言,输入框打OCR(不打也可以,但有的AI要),马上就把乱七八糟的手写作文整理成电子版。

细看对照可能会有些出入,例如“箭头大挪移”AI没整明白,或者划线删除的单词照样打出来,还有乱点的标点符号,天晓得AI识别成什么样子。这些问题只能手动修改,倒逼学生书写工整,尽量在大白纸上写作,写得清晰一点、大一点,行距不要太密集……

当然,会键盘打字的话,效率就高多了,写一篇几百词的作文像玩一样。在别家孩子练书法的时候,伍教练让儿子学习键盘打字,现在写KET作文就很容易上量。美国的GRE、托福早已是机考作文,英国的雅思现在也可以选机考了,不知道键盘打作文是不是未来的大趋势。





第二步:清扫拼写及语法错误

把电子版的作文复制黏贴到Quillbot官网做grammar check。有的同学省掉这一步,直接扔给大模型AI改语法,但专业的事情应该交给专业的AI,语言大模型只能指出部分明显的错误,不如专业语法AI的100%修改。伍教练推荐号称“世界排名第一语法AI”的Quillbot,它连句首字母大写、标点后空格这些“鸡毛蒜皮”都一个不落地找出来,非常有利于培养写作的规范性。

语法AI有手机平板上的输入法,但TypeRight、Scribens之类检查并不严格,还有软件兼容性、国际服务器联网、输入法切换等一堆技术问题,而上Quillbot官网就简单多了,即便是手机也很方便。检查后切记不要点accept all一键全部改正,而要逐个看自己错在什么地方,才能发现自己经常犯的错误。

Quillbot还提供改写功能(免费改有字数限制),顺便做一做并对照学习,对写作的帮助很大。




第三步:AI大模型批改

最关键的步骤,你只需把——

1作文题目

2评分标准

3考生作文

4批改指令

堆在一起做成prompt,提交AI大模型就可以了。有的考试作文例如雅思大作文,光是评分标准就近2000单词,加上题目和考生作文,远超文心一言之类大模型的token上限,所以我推荐用豆包、智谱清言;通义千问的token上限稍低,改雅思作文是不够的,改其他还行。

作文题不难找,网上有大把样题、真题、模拟题,copy下来就可以了,例如剑桥PET的我搜刮了一大堆,让学生每天写一篇都写不完。写过的题目还可以重新写,因为我要求把每天透析的生词写到作文里,不同的生词自然就是不同的内容,可以向各种方向探索作文题的边界。

有的作文题例如KET大作文,要求看图写话,可以把图片上传AI,现在大模型的读图能力已经很强悍了。豆包不能直接上传图片,可以把题目图片连同评分标准等放在一个Word文档里上传便可以了。

最重要的是评分标准,越详细越好。以剑桥KET、PET为例,伍教练不满足官网段位维度表格,还“掘地三尺”搜遍官网的教师指南,但凡跟评价相关的都copy过来堆料,尽可能让AI有丰富的依据可依。这些工作很累,但再累也比不上英语老师改作文,而且我一劳永逸,以后就可以无限量让不知疲倦的AI改作文啦!

就算是香港DSE考试的400词大作文(迄今我见过要求字数最多的考试作文),AI最多也只需十来秒就批改出来了。AI可以根据你的要求给每一个维度评分,最后汇集成总分或者平均分,而且有很详细的点评,例如给我的学生改剑桥PET作文的结果——

内容(Content):2分 分析依据:故事以给定的句子开头,但是内容上存在一些不连贯和逻辑上的问题。例如,男人杀狮子的情节显得突兀,而且Jenna报警后警察的回应和处理过程描写不够合理。故事长度基本符合要求,但是细节描述不够丰富。

交流成效(Communicative Achievement):2分 分析依据:文章尝试以故事的格式呈现,但是缺少了故事的典型特征,如详细的角色描写、情节发展和高潮。故事中的对话使用不够自然,没有很好地吸引读者的注意力。

组织结构(Organisation):1分 分析依据:文章的组织结构较为混乱,缺乏清晰的段落划分和事件发展的逻辑顺序。例如,警察的出现和抓捕过程描述得过于简单,缺乏过渡和细节。此外,标点符号的使用也存在问题,如直接引用话语后的标点应该放在引号内。

语言(Language):1分 分析依据:文章中存在多处语法错误,如“she called SOS”应为“she called the SOS”,“he were a black jacket”应为“he was wearing a black jacket”,“policemen came on”应为“policemen arrived”。此外,词汇使用也较为基础,缺乏变化。

总体评分:6分

这样的结果跟英语老师(如上图,某著名机构的名师精心批改的学生PET作文,用来发软广告的)相比就是碾压,就是降维打击!

对分数不用太在意,因为各家AI大模型对同一篇作文的判断也不尽相同。据我长期观察,好的作文用不同AI去改,基本上都是高分。更重要的是AI给出的具体意见,以及引用的原文,让学生知道自己什么地方写得好,什么地方需要加强。好几次我还遇到这样的趣事:基础比较差的学生刚开始写的作文被AI狂扁打低分,接下来就写出接近满分,我还以为这娃进步神速啊!回过头来我起了疑心,质问学生是怎么写的,结果她瞒不住只好说是写了之后自己让AI优化了一下下……我那个去!

我要求学员把每日透析的生词硬塞也要写进去考试作文,一来复习生词,二来改善“词汇使用也较为基础,缺乏变化”这种最常见的AI批改意见。开始时会因编造的内容过于荒诞离奇被AI判低分。这问题不大,等这些“主动词汇”积累多了,遣词造句能力上升,对考试作文也摸透了,分数自然就上来了。AI改作文是无限量的,咱可以变着花样写着玩,把严肃的考试作文当成游戏,最大限度调动学生的写作兴趣。我就每天把生词全部写成天马行空、胡说八道的作文,结果AI还是一丝不苟地改出来了,认真指出我的那些胡扯为什么不符合评分标准……要是把这些文章给英语老师改,恐怕他们立马跟你翻脸!(高中时代我就是这样训练语文作文的,平时尽管写各种诡异重口味负能量,经常被老师点名批评,但考试作文却经常贴墙评优。)




第四步:改写满分作文

要写出高分,教培机构的大招是让学生模仿满分作文的各种模版。这可以说是各家的核心竞争力,由资深英语老师团队对历年题目进行深入分析,系统提取模板并进行复杂的加工,据说可以让写作天赋平平、人生阅历浅薄的学生在短时间内华丽转身。

现在,只需在给AI的指令中加上一句“请根据评分标准,把作文改写成满分”,学生的最佳参考范文就出炉了。别人的满分模版往往跟自己的写作思路不一致,过去学生只能生搬硬套。现在就不一样了,AI能根据学生写的内容进行个性化优化,写出来的满分作文思路基本一致,对个人的参考价值明显高出一个档次。

我的经验是只要你写得不太离谱,AI就会沿着你原来的思路、情节,用上你塞进去的生词,改写成高质量的“范文”,太离谱了就会另起炉灶重写。特别推荐通义千问(参考下面的15分中考作文,是通义修改我一个初一学生的),改写的满分作文质量明显高过豆包、智谱清言、讯飞星火等,我估摸着都到了专业作家的水平了,而别家只是优秀考生——“取法于上,仅得乎中”,当然是参考顶尖高手的写法提分最狠了。

Revised Essay:

Tomorrow’s Life: Twenty-Five Years Ahead

Twenty-five years from now, I envision myself living in a serene countryside, not far from a vibrant city where I will work. My home will be nestled among lush green fields and surrounded by the soothing sounds of nature. I’ll commute to the city, where I’ll be involved in developing innovative technologies that enhance people’s lives.

My family will be the center of my universe. I imagine having a loving partner and two children, a boy and a girl. Together, we’ll create cherished memories through laughter-filled evenings at home and weekend adventures exploring new places. Our bond will be strengthened by our shared experiences and the warmth of our home.

Downtime will be precious. In my free moments, I’ll retreat to the comfort of my garden, losing myself in the pages of a good book. The gentle rustle of leaves and the sweet fragrance of flowers will provide the perfect backdrop for relaxation. With my family, we’ll embark on trips to distant lands, broadening our horizons and deepening our appreciation for the world’s diverse cultures.

I’m confident that the future will be marked by remarkable advancements in technology. These innovations will make our daily routines smoother and more efficient, allowing us to focus on what truly matters—our relationships and personal growth. Our home will be equipped with smart devices that can anticipate our needs, creating a comfortable and sustainable living environment.

As I look ahead, I feel excited about the endless possibilities that await. Tomorrow’s life promises to be a blend of tranquility, fulfillment, and discovery. I eagerly anticipate the journey that lies ahead.

在实际教学中,我要求冲高分的考生把几家AI的满分作文全部认真对照学习一遍,把其中优秀的表达透析出来,后面按流程自己也要写一遍,形成闭环。这样学习对大脑的刺激特别大——原来还可以这样表达啊!跟AI学习,把优秀表达迭代到自己的作文,再做AI评分和改写,可逐渐缩小自己作文跟AI作文的差距。这正是训练AI模型的方法:我之前搞AI换脸就是天天看着lose值的下降,要换的脸就越来越像了。现在无论是学围棋还是写作文,大家都在“背AI”,水平提高的速度之快是前所未有的!





示例:剑桥英语KET考试作文prompt

请根据作文题目和评分标准改卷并分析,题目如下:

Part 7. Look at the three pictures.

Write the story shown in the pictures.

Write 35 words or more.

Write the story on your answer sheet.

评分标准:

Content

Good: The candidate answered the question. They have done what they were asked to do.

Bad: The candidate did not include everything they were asked to. They have written something irrelevant.

Is the piece of writing a story? Does the story refer to all three picture prompts? Is the story about 35 words?

Band 5: All content is relevant to the task. Target reader is fully informed.

Band 4: Performance shares features of Bands 3 and 5.

Band 3: Minor irrelevances and/or omissions may be present. Target reader is on the whole informed.

Band 2: Performance shares features of Bands 1 and 3.

Band 1: Irrelevances and misinterpretation of task may be present. Target reader is minimally informed.

Band 0: Content is totally irrelevant. Target reader is not informed.

Organisation

Good: The structure of the writing is clear. The order of the ideas is logical.

Bad: It is difficult for the reader to follow. It is organised in a way which is not suitable for the task, like beginning an email with a title.

Is the text coherent (does it make sense)? Are the ideas in a logical order? Are the connections between the pictures shown, using basic linking words or cohesive devices (such as and, but, so, because and referencing language)? Is punctuation used correctly?

Band 5: Text is connected and coherent, using basic linking words and a limited number of cohesive devices.

Band 4: Performance shares features of Bands 3 and 5.

Band 3: Text is connected using basic, high-frequency linking words.

Band 2: Performance shares features of Bands 1 and 3.

Band 1: Production unlikely to be connected, though punctuation and simple connectors (i.e. ‘and’) may on occasion be used.

Band 0: Performance below Band 1

Language

Good: There is a good range of vocabulary and grammar. Language is used accurately.

Bad: Check the mistakes. Do these mistakes make it difficult for the reader to understand?

Does the text use everyday vocabulary appropriately? Does the text use simple grammar accurately (such as basic tenses and simple clauses)? Is the meaning generally clear even though there are errors with grammar, vocabulary or spelling?

Band 5: Uses everyday vocabulary generally appropriately, while occasionally overusing certain lexis. Uses simple grammatical forms with a good degree of control. While errors are noticeable, meaning can still be determined.

Band 4: Performance shares features of Bands 3 and 5.

Band 3: Uses basic vocabulary reasonably appropriately. Uses simple grammatical forms with some degree of control. Errors may impede meaning at times.

Band 2: Performance shares features of Bands 1 and 3.

Band 1: Produces basic vocabulary of isolated words and phrases. Produces few simple grammatical forms with only limited control.

Band 0: Performance below Band 1

请给以下这篇考生作文评分,满分15分,给出content、organisation、language的band分以及分析依据。请用中文输出,举例保持用英语原文。请根据评分标准改写成满分作文。




AI淘汰英语老师

迄今为止,伍教练已经制作了中考、高考、四六级、考研、KET、PET、FCE、雅思、托福、GRE、DSE等国内外绝大多数你能想到的英语考试的AI改作文prompt,以后还可以随时按照学生的需要制作“津巴布韦中考英语”、“印度尼西亚大学英语3级”等任何一个你没想到的考试——只要在网上能搜到题目和评分标准,就可以了,so easy!

实际上,就连官方改作文也开始应用AI了。例如,托福官网透露判分是by a combination of AI scoring and certified human raters,有理由相信越来越多的考试也回走上AI批改的道路。AI语言大模型特别擅长改作文,能全面、严格执行评分标准,多快好省,最重要的是公平——过往作文考试常常被公众诟病的就是不同老师评分相去甚远,大家比拼的是写作能力还是运气,抑或是跟考官的关系?例如,2020年浙江高考语文作文“名篇”《生活在树上》,第一位阅卷老师打了39分,被灵道只手遮天改成满分,很多人质疑这是通篇狗屁,但其极度装逼的写法跟灵道出的作文指导书文风“恰好”如出一辙,你懂的……AI改的话,争议就会小很多。及早适应AI改作文,考生就会占得先机。

AI改作文就是轰炸应试教育的一枚核弹,恐怕英语老师要废了。有网友给伍教练留言,说你也是英语老师,为什么还要推荐AI?我的回答是,难道我不推荐AI,AI就不会淘汰包括我在内的所有老师(not only English teachers)吗?我可没那个本事推动或者阻碍技术发展啊!大趋势的发展不可逆转,人人只能顺势而为,自求多福吧。

文/伍君仪,AI语言教练

语言教育畅销书系列《把你的英语用起来!》《把你的词汇用起来!》作者

伦敦大学学院语言学语言发育方向硕士,北京大学应用心理学硕士/临床医学学士,曾任教培机构英语导师及课程总监

“把你的英语用起来”互动群
QQ群:71929542
微信群:加DIALYSIS55(
请标明报名儿童”“口语”“游戏”以进入相应主题群)
"把你的英语用起来"AI训练营

"把你的英语用起来"AI训练,运用最新人工智能大模型,选购主流平板深度定制AI学习机,实施风靡国际的translanguaging超语学习!


  • 挖掘硬件性能,机械化提升英语语文词汇和成绩

  • 读懂听懂真英语,AI监控口语写作高质量输出

  • 世界名校语言教练指导+每日集体数字打卡互动


适用人群

  • 带娃家长:提升自我英语水平同步鸡娃启蒙

  • 莘莘学子:模拟出国环境考试提分逆天改命

  • 职场人士:使用英语提升业务能力升职加薪


训练内容

  • AI听说读写闭环训练+各大英语考试模考

  • 用英美母语者日常用app打造语境训练

  • 个性化行为转化每日沉浸英语超10小时


报名方法

击“阅读原文”或点击小程序卡片报名

线上\线下(广州海珠),1对1或1对多


AI透析英语
把你的英语用起来,从“学英语”飞跃到“用英语”,生活上听说读写全英化,借助手机打造全英语环境,让你读懂英文小说、专业书和新闻,听懂英文电台、电视台和电影,词汇量稳步扩充到10000以上。欢迎报名伍教练VIP视频直播课,新增儿童英语母语训练。
 最新文章