最近AIGC战场依然热闹,微软的new bing、Google的Bard、国内的讯飞星火认知大模型,都接连上阵,我们对比ChatGPT一起来看看,我把实际使用测试结果发出,供大家参考。有些测试结果可能会出乎大家的预料哦....
今天我们暂时主要比拼4个能力:
字符计算能力
文学创意能力
实时新闻联网能力
数学运算能力
一、字符的计算比拼
字符计算一直是各大AIGC应用的不擅长的,我们看看新秀们的表现
How many characters including spaces are in the sentence “Once upon a time, there was a girl with red shoes.”
要结对这段字段进行数量计算,一共是多少个字符,正确答案是50。我们看一下各家的表现...
1.讯飞星火认知大模型:回答错误
2.Google Bard:回答错误
3. Bing : 回答错误
4.ChatGPT:回答错误
这个问题各家都给出了错误的答案。相信有不少朋友会觉得,这么简单的事情,对于它们来说根本不是事,但是事实是这么简单的事情,各家都失误啦,看来不要高估大模型的一些能力,这个有点出乎不少朋友的意料吧。
如果大家不信,那么我用这个再用另外一个小试题测试一下:
"pneumonoultramicroscopicsilicovolcanoconiosis" 一词的第13个字母是什么?
再一次全部错误!没想到吧!
二、文学创意能力比拼
看看各家模型的创意创作都是什么水平。由于Google Bard不支持中文,暂时用英文将就一下Google Bard。
给我写一个关于公园里有一个叫Tony的小狗的故事 Write me a story about a dog who lives in the park named Tony.
1.讯飞星火认知大模型:一般
2.Google Bard:一般
3. Bing : 优秀
4.ChatGPT: 精彩
以上的故事创意,我更喜欢ChatGPT和Bing的,他们更加人性化。而星火和Bard明显差了不少。
三、即时新闻:联网能力测验
说一下今天美国NBA有什么新闻吧
这个问题是为了测试AIGC应用是否有最新状态和访问互联网的能力。考虑到 Google和Bing 是搜索引擎基因,我对他们俩寄予厚望。
1.讯飞星火认知大模型:不具备联网能力
2.Google Bard:优秀
3. Bing : 优秀
4.ChatGPT: 不具备联网能力
结果果然不出我所料,Google Bard 和 微软的Bing不负所望。
四、数学运算
考察一下各家数学运算推理能力,出个题考考大家吧。
小明周一阅读了一本书中的30页,周二读了1/8本书,周三读完了剩下的1/4本书。 请问这本书一共有几页?
1.讯飞星火认知大模型:回答错误
2.Google Bard: 回答正确
3. Bing : 回答正确
4.ChatGPT: 回答正确
以上问题,除了讯飞星火大模型出现错误以外,其他的都回答正确,而且思路清晰。
今天仅做了4个方面的测试,后面我们将在编程、角色扮演,对话能力等方面进行更多测试。
敬请期待!