实测腾讯开源的Hunyuan-Large大模型,感觉。。。

文摘   2024-11-05 17:47   美国  

下面实测内容没有任何个人观点,仅为测试结果。另外,测试用例可能不多,但都是之前常测得一些问题,

今天突然发现腾讯开源混元大模型,十分震惊,腾讯也来挤开源赛道了,只能说大模型开源越来越繁华了。

这次开源的主要是MoE模型,有Base模型和Instruct模型,总参数量389B,激活参数52B,支持最大上下文256K。

Github: https://github.com/Tencent/Tencent-Hunyuan-Large
Paper: https://arxiv.org/pdf/2411.02265
HF: https://huggingface.co/tencent/Tencent-Hunyuan-Large

由于时间关系,还没仔细的阅读paper,扫了一眼指标,不知道为啥没跟Qwen2.5-72B比较,但是我单独看了几个榜单,是要好一些的。

Base模型
Instruct模型

由于本人没有16张H800,但又像测试一下腾讯新开源的Hunyuan-Large,因此在官方提供huggingface spaces上进行的测试

https://huggingface.co/spaces/tencent/Hunyuan-Large
  • 将“I love Hunyuan-Large”的所有字母反过来写

说明:理解了意图,但是输出结果不正确,没有将所有字母反过来。

  • 9.9和9.11谁大

说明:结果正确。

  • strawberry有几个r

说明:结果错误,感觉还是tokenizer的问题,但很奇怪为啥没单独优化一下。

  • 监狱里的都是犯人,为什么警察不去监狱里抓坏人

说明:结果正确

  • 生蚝煮熟了叫什么?

说明:熟蚝。。。。。。。

  • 用水来兑水,得到的是浓水还是稀水

说明:稀水。。。。。。。。

  • 小红有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹

说明:没理解,小红是女生,字母说呢,合理也不合理,反正我觉得小红是女生。

  • 小红(女)有2个兄弟,3个姐妹,那么小红的兄弟有几个姐妹

说明:结果正确

  • 未来的某天,李同学在实验室制作超导磁悬浮材料时,意外发现实验室的老鼠在空中飞,分析发现,是因为老鼠不小心吃了磁悬浮材料。第二天,李同学又发现实验室的蛇也在空中飞,分析发现,是因为蛇吃了老鼠。第三天,李同学又发现实验室的老鹰也在空中飞,你认为其原因是

说明:按照我的推理是对的,但是不应该按照事实知识回答嘛。

就是测试了一下,感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。

祝:开源越来越好,后面把paper仔细读一下,再来分享。

PS:看到这里,如果觉得不错,可以来个点赞在看关注。给公众号添加【星标⭐️】不迷路!您的支持是我坚持的最大动力!

欢迎多多关注公众号「NLP工作站」,加入交流群,交个朋友吧,一起学习,一起进步!

NLP工作站
日常分享AIGC前沿知识&落地经验总结,也欢迎关注《ChatGPT原理与实战》、《大型语言模型实战指南》两本大模型相关书籍
 最新文章