WXRedian | 深度学习与NLP

将MoE塞到LoRA：一篇文章的诞生

科技 2024-09-05 00:02 北京

本文主要介绍一篇论文是怎么诞生。文章基本信息如下：论文标题：Mixture-of-Subspaces in Low-Rank Adaptation论文链接：https:// ...

热门惋惜！吴瑛教授自杀离世

科技 2024-09-05 00:02 北京

2024年7月10日，美国西北大学范伯格医学院的杰出讲座教授吴瑛教授因服用过量药物在芝加哥家中自杀，享年60岁。此事件一出就在中美科学界引起轩然大波。网络上在哀悼吴瑛教授的 ...

LSTM+Transformer王炸创新，荣登Nature，精度高达95.65%...

科技 2024-09-04 08:03 北京

时序+大模型开始火了，大家最近关注了吗？在ICLR'24、WWW'24、AAAI'24、IJCAI'24等今年的顶会上，都有多篇时序+大模型的研究入选。时序+LLM的潜力非 ...

李飞飞等14位斯坦福微软大牛等撰写《AGENT AI: 综述多模态交互的前沿展望》免费pdf分享

科技 2024-09-04 08:03 北京

介绍多模态人工智能系统可能会成为我们日常生活中无处不在的存在。使这些系统更具交互性的一种有前景的方法是将它们作为智能体嵌入到物理和虚拟环境中。目前，系统利用现有的基础模型作 ...

8岁小孩哥上手用AI制作游戏，全程2小时，引来50多万人围观

科技 2024-09-04 08:03 北京

来源 | 机器之心 ID | almosthuman2014一个八岁的孩子，在没有任何编程经验的情况下，居然手动建起了一个网站。是不是炒作不知道，但真的感知到了 AI 正 ...

RAG新范式MemLong：用于长文本生成的记忆增强检索

科技 2024-09-04 08:03 北京

传统的注意力机制由于时间和空间复杂度的二次方增长，以及在生成过程中键值缓存的内存消耗不断增加，限制了模型处理长文本的能力。相关的解决方案包括减少计算复杂度、改进记忆选择和引 ...

引用率全球Top2%大佬耗时几年编写深度学习神书分享！！

科技 2024-09-03 10:30 北京

介绍这本深度学习书籍是由一位拥有多重职称和荣誉的顶尖科学家所打造，被评为全球引用率最高的2%科学家之一。这本书被认为是目前最全面系统的深度学习著作，涵盖了深度学习的 ...

超240家全国重点实验室，来了！

科技 2024-09-03 00:03 北京

来源 | 青塔8月11日，中共中央国务院发布关于加快经济社会发展全面绿色转型的意见。其中提到，要发挥科技创新支撑作用，强化应用基础研究，组建一批全国重点实验室和国家创新平 ...

大模型是一场泡沫？

科技 2024-09-03 00:03 北京

来源 | https://www.zhihu.com/question/663581801/answer/3610033756转眼，2024年的九月就要带来，能写在简历里的 ...

如何估算LLM推理和训练所需的GPU内存？

科技 2024-09-03 00:03 北京

作者：孙鹏飞，南京大学 · 计算机科学与技术原文：https://zhuanlan.zhihu.com/p/716317173在实际工作中，经常有人问，7B、14B或70B ...

Github 13w Star，吴恩达强推《ChatGPT提示词工程》课程视频、配套代码及笔记分享

科技 2024-09-02 15:18 北京

课程介绍 ChatGPT 的一个挑战在于编写有效的提示词，OpenAI 创始人在去年 2 月曾在 Twitter 上表示：“精通编写提示词以与聊天机器人对话，是一项令 ...

神书《从零构建大模型》分享，尚未发布，GitHub标星22k！！

科技 2024-09-02 15:16 北京

本书介绍《从零构建大模型》是一本即将于今年10月底发布的书籍，github已经吸引了惊人的21.7k标星！作者是威斯康星大学麦迪逊分校的终身教授，在GitHub、油 ...

上交2024最新-《动手学大模型》实战教程及ppt分享！

科技 2024-09-02 00:01 北京

本课介绍今天分享一个上海交大的免费的大模型课程，有相关教程文档和Slides，目前是2.2K星标，还是挺火的！关注下方公众号回复“mlj24”获取本课ppt ...

校招生做大模型，选预训练还是SFT？

科技 2024-09-02 00:01 北京

作者：ybq链接：https://www.zhihu.com/question/635761315/answer/3608088928我推荐选 pretrain，理由如下： ...

OpenAI家庭机器人NEO登场，动作丝滑逼近人类！穿着西装的「人」却专做家务

科技 2024-09-02 00:01 北京

来源 | 新智元继Optimus和擎天柱之后，人形机器人领域又闯入一员猛将。OpenAI押注的初创公司1X Technologies正式宣布，最新的通用家务机器人NEO b ...

GMeLLo：结合知识图谱的 LLM 多跳问答技术，效果显著提升

科技 2024-09-02 00:01 北京

1. GMeLLo 提出的背景1.1 多跳问答多跳问答的难度往往比较大，因为不仅要追溯事实，还要聚合与串联事实。事实的来源可以是知识图谱、表格、自由格式文本，或者是这些来源 ...

吴恩达&open AI联合推出《大模型通关指南》免费pdf分享，手把手教你掌握大模型技术！

科技 2024-09-01 11:14 北京

本书介绍 LLM（Large Language Models）正在逐步改变人们的生活，对于开发者来说，如何利用LLM提供的API快速、便捷地开发具备更强大能力、集成 ...

2024 最新世界大学排名发布！

科技 2024-09-01 00:00 北京

2024年8月15日，全球领先的高等教育评价机构软科今日正式发布“2024软科世界大学学术排名”。排名展示了全球领先的1000所研究型大学，中国内地共有203所大学上榜，其 ...

2024最新,李宏毅深度学习教程pdf免费分享！绝对值得反复阅读的神书！

科技 2024-09-01 00:00 北京

本书介绍李宏毅老师是台湾大学的教授，他的《机器学习》（2021年春）视频课程是深度学习领域中文视频中的经典之一。李老师风趣幽默的授课风格深受学生喜爱，他以很多动漫相 ...

RAG不存在了？世界首个1亿token神级上下文模型诞生，前OpenAI大佬加盟获4.65亿融资！

科技 2024-09-01 00:00 北京

来源 | 新智元就在刚刚，AI上下文处理的新纪录被打破了！Magic开发了一个专门针对代码的语言模型——LTM-2-mini。它的上下文窗口，包含1亿个token，相当于1 ...