HF Weekly01: Qwen2.5 tech report领衔

科技   2024-12-22 23:50   广东  

SmartFlowAI


点击上方蓝字关注我们

作者:企鹅火烈鸟

全文约 1000 字,预计阅读时间 3 分钟

开一个新坑,每周分享这周读的感兴趣的hf daily。每天取一篇,组成hf weekly。(本周看了5篇paper

Daily1: GenEx: Generating an Explorable World

周一给大家推荐rank2的这篇paper,原因是它的demo真的很动感。让我直接就点进去了hhh,下面我们一起来看一下吧。

文章简介:

这篇文章介绍了 GenEx 系统,它能从单张 RGB 图像生成 3D 一致且可探索的想象世界,助力人工智能模拟人类认知过程,其最吸引人的点在于为具身人工智能提供了新平台,推动了人工智能在多个领域的发展,并在生成质量、探索一致性等多方面表现出色。它能根据你的动作进行实时生成的三维场景渲染,有很fancy的感觉。

Daily2: Byte Latent Transformer: Patches Scale Better Than Tokens

文章简介:

到了周二,今天这上面多了很多inpaint的工作。看到inpaint的工作demo都是十分的好看,但是实现方法感觉都十分一致。所以周二咱们带来Meta的大作BLT,记得这天网上上最火的一句话就是:tokenizer不存在了。

这篇文章介绍了 Byte Latent Transformer(BLT)这一全新字节级 LLM 架构,它通过将字节编码为动态补丁进行计算,首次在大规模上达到与基于分词模型相当的性能,同时显著提升了推理效率与鲁棒性,实现了计算资源的动态分配,为语言模型的发展开辟了新方向。其吸引人之处在于提出了一种创新的模型架构,解决了传统分词方式的诸多问题,且在多项实验中展现出卓越性能,如在推理效率上超越同类模型,在处理噪声输入和字符级任务时表现出色,主要的点还是给词表压缩进潜空间。带来效率上的提升。

Daily3: OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain

文章简介:

周三是比较沉寂的一天,hf上有好几篇eval的工作。这里咱们一起看一篇OmniEval换换口味。文章核心是在金融领域引入全方位自动的 RAG 基准 OmniEval,它具备多维评估框架,涵盖矩阵式 RAG 场景评估、多维度数据生成、多阶段评估系统及稳健评估指标,实验表明其全面性并凸显 RAG 系统在垂直领域的改进空间。

Daily4: Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference

文章简介:

第四天有一个很重磅的工作,有人重新做了ModernBert。有更大的词表,更快的推理速度。这篇文章介绍了 ModernBERT,一种为快速、内存高效和长上下文微调及推理而设计的现代双向编码器,在多种任务上实现了当前最优性能,推理效率显著提升,且设计注重硬件效率,为编码器模型发展带来重大改进。(主打一个情怀

Daily5: Qwen2.5 Technical Report

文章简介:

周五有一篇数据生成的文章,也很有意思。但是碍于时间都用来读Qwen2.5 report了,所以咱们还是回来说Qwen2.5吧。

  • Qwen2.5第一个点就是训练tokens数量变多了很多

  • 第二个点就是从它的字里行间看出来,Qwen2.5训了一个MoE模型。但是作为serving了,还是很好奇Qwen2.5 MoE模型的性能的。

  • 第三点是它们的开源协议很有意思,3B模型和72B模型开源协议和其他模型不一样(我关注的都是些什么奇怪的点

  • 长文使用了DCA+YARN(第一次看大海捞针这么绿的

总结

本周看了五篇论文,这也就是我这周看的论文啦~不知道大家这周都种草了什么论文。


往期 · 推荐

苹果Mac用户的福音来啦!ChatGPT深度集成,还有AGI彩蛋等你挖!

GPT-4o数学能力跑分直掉50%,上海AI Lab开始给大模型重新出题了

OpenAI o3震撼觉醒,AGI今夜降临?血洗o1,破解陶哲轩最难数学题

o3发布,OpenAI提出全新对齐范式,通过SFT和RL直接教会LLM结合安全策略进行CoT复杂推理

🌠 番外:我们期待与读者共同探讨如何在 AI 的辅助下,更好地发挥人类的潜力,以及如何培养和维持那些 AI 难以取代的核心技能。通过深入分析和实践,我们可以更清晰地认识到 AI 的辅助作用,并在 AI 时代下找到人类的独特价值和发展空间。“机智流”公众号后台聊天框回复“cc”,加入机智流大模型交流群!

一起“点赞”三连👇

机智流
共赴 AI 时代浪潮~
 最新文章