ChatGPT | Bing | Google Bard | 讯飞星火 | 到底哪家强?实测(一)

文摘   科技   2023-05-14 23:53   美国  

最近AIGC战场依然热闹,微软的new bing、Google的Bard、国内的讯飞星火认知大模型,都接连上阵,我们对比ChatGPT一起来看看,我把实际使用测试结果发出,供大家参考。有些测试结果可能会出乎大家的预料哦....

今天我们暂时主要比拼4个能力:

  • 字符计算能力

  • 文学创意能力

  • 实时新闻联网能力

  • 数学运算能力


一、字符的计算比拼

字符计算一直是各大AIGC应用的不擅长的,我们看看新秀们的表现

How many characters including spaces are in the sentence “Once upon a time, there was a girl with red shoes.”

要结对这段字段进行数量计算,一共是多少个字符,正确答案是50。我们看一下各家的表现...

1.讯飞星火认知大模型:回答错误

2.Google Bard:回答错误

3. Bing : 回答错误

4.ChatGPT:回答错误

这个问题各家都给出了错误的答案。相信有不少朋友会觉得,这么简单的事情,对于它们来说根本不是事,但是事实是这么简单的事情,各家都失误啦,看来不要高估大模型的一些能力,这个有点出乎不少朋友的意料吧。

如果大家不信,那么我用这个再用另外一个小试题测试一下:

"pneumonoultramicroscopicsilicovolcanoconiosis" 一词的第13个字母是什么?


再一次全部错误!没想到吧!

二、文学创意能力比拼

看看各家模型的创意创作都是什么水平。由于Google Bard不支持中文,暂时用英文将就一下Google Bard。

给我写一个关于公园里有一个叫Tony的小狗的故事 Write me a story about a dog who lives in the park named Tony.

1.讯飞星火认知大模型:一般

2.Google Bard:一般

3. Bing :  优秀

4.ChatGPT:  精彩

以上的故事创意,我更喜欢ChatGPT和Bing的,他们更加人性化。而星火和Bard明显差了不少。

三、即时新闻:联网能力测验

说一下今天美国NBA有什么新闻吧

这个问题是为了测试AIGC应用是否有最新状态和访问互联网的能力。考虑到 Google和Bing 是搜索引擎基因,我对他们俩寄予厚望。

1.讯飞星火认知大模型:不具备联网能力

2.Google Bard:优秀

3. Bing :  优秀

4.ChatGPT:  不具备联网能力

结果果然不出我所料,Google Bard 和 微软的Bing不负所望。

四、数学运算

考察一下各家数学运算推理能力,出个题考考大家吧。

小明周一阅读了一本书中的30页,周二读了1/8本书,周三读完了剩下的1/4本书。 请问这本书一共有几页?

1.讯飞星火认知大模型:回答错误

2.Google Bard: 回答正确

3. Bing :  回答正确

4.ChatGPT: 回答正确

以上问题,除了讯飞星火大模型出现错误以外,其他的都回答正确,而且思路清晰。

今天仅做了4个方面的测试,后面我们将在编程、角色扮演,对话能力等方面进行更多测试。

敬请期待!


光哥说AI
站在数字化战略与工程实践交汇路口的探索者
 最新文章