本图由“千象”（网址：www.hidreamai.com）生成
本周，我们观察到以下AI领域的新动向和新趋势：
1.FlashAttention-3：H100 GPU利用率升至75%，性能翻倍，LLM速度和上下文长度大幅提升。由普林斯顿大学助理教授Tri Dao领衔的团队发布了第三代FlashAttention，专为NVIDIA的H100 GPU优化，实现了前所未有的性能飞跃。FlashAttention-3通过优化H100 GPU的新特性，实现了1.5-2倍的速度提升，达到740 TFLOPS，即H100理论最大FLOPs的75%（FP16模式下）和接近1.2 PFLOPS（FP8模式下），显著提高了大语言模型（LLM）的性能和上下文长度处理能力。
2.DeepMind新方法JEST：训练时间减少13倍，算力降低90%。DeepMind团队提出了一种创新的数据筛选方法"联合样本选择"（Joint Example Selection，JEST），这一技术显著降低了AI模型训练所需的时间和算力资源。与传统的单个数据点筛选方法相比，JEST通过挑选优秀的数据批次来提高训练效率。研究发现，这种方法不仅减少了迭代次数和浮点运算次数，而且在仅使用10%的FLOP预算的情况下，就能超越先前的最先进水平。
如果您对人工智能的新浪潮有兴趣，有见解，有创业意愿，欢迎扫码添加“阿尔法小助理”，备注您的“姓名+职位”，与我们深度连接。
人工智能产品和技术的新突破
1. FlashAttention-3：H100 GPU利用率升至75%，性能翻倍，LLM速度和上下文长度大幅提升
FlashAttention-3通过优化H100 GPU的新特性，实现了1.5-2倍的速度提升，达到740 TFLOPS，即H100理论最大FLOPs的75%（FP16模式下）和接近1.2 PFLOPS（FP8模式下），显著提高了大语言模型（LLM）的性能和上下文长度处理能力。该算法由普林斯顿大学助理教授Tri Dao领导开发，他曾师从于斯坦福大学的Christopher Ré和Stefano Ermon，并在Together AI担任首席科学家。
FlashAttention系列自发布以来，已成为加速Transformer训练和推理的主流方法。第一代FlashAttention通过减少内存读写次数，实现了GPU上注意力机制的加速。FlashAttention-2在A100 GPU上达到了理论最大FLOPS的50-73%，实际训练速度可达225 TFLOPS。然而，FlashAttention-2未能充分利用H100 GPU的新功能，仅实现了35%的理论最大FLOPS利用率。
FlashAttention-3针对最新的Hopper GPU进行了改进，采用了三大技术：利用Tensor Cores和TMA的异步性，通过warp-specialization技术重叠整体计算和数据移动，交替进行块状矩阵乘法和softmax操作，以及利用硬件支持进行FP8低精度的非相干处理。这些优化使得H100 GPU的利用率从35%提升至75%。
此外，FlashAttention-3在FP8模式下误差比基线FP8注意力小2.6倍，显著提高了低精度性能。这不仅加快了处理速度，还能减少内存使用，为运行大规模AI操作的客户节省成本并提高效率。
FlashAttention-3的发布标志着LLM的训练和运行速度将显著提高，处理更长、更复杂的文本内容变得更加高效。该项目已在GitHub上发布了用于Beta测试的源代码，未来有望集成到PyTorch中，进一步推动AI模型的发展和应用。
来源：https://tridao.me/blog/2024/flash3/
2. DeepMind新方法JEST：训练时间减少13倍，算力降低90%
DeepMind团队提出了一种创新的数据筛选方法"联合样本选择"（Joint Example Selection，JEST），这一技术显著降低了AI模型训练所需的时间和算力资源。JEST的核心在于联合选择最佳的数据批次进行训练，类似于一个智能图书管理员，从大量数据中筛选出最有价值的部分，以加速模型的学习过程。
与传统的单个数据点筛选方法相比，JEST通过挑选优秀的数据批次来提高训练效率。研究发现，这种方法不仅减少了迭代次数和浮点运算次数，而且在仅使用10%的FLOP预算的情况下，就能超越先前的最先进水平。JEST的关键在于选择好的批次、调整ADAM超参数和使用非常高质量的小型参考数据集。
JEST的数据选择标准基于RHO损失的研究，结合了学习模型和预训练参考模型的损失，以评估数据点的可学习性。它倾向于选择那些对预训练模型较容易，但对当前学习模型较难的数据点，从而提高训练的效率和效果。
此外，JEST还采用了基于阻塞吉布斯采样的迭代方法来构建批次，并在多分辨率下进行了训练，这证明了多分辨率训练对于协调评分和学习者模型的重要性。研究还强调了使用高质量的精选数据集来训练参考模型的重要性，这有助于优化大规模预训练的数据分布，并提升模型的泛化能力。
最终，JEST及其变体JEST++和FlexiJEST++在减少计算量的同时，性能显著优于许多其他先前的SOTA模型。这项研究不仅为AI训练领域带来了突破性进展，也为担心AI高能耗的电网带来了积极的消息。论文已公开，为有兴趣的读者提供了深入了解的机会。
3. Meta发布移动设备可用的轻量级AI模型MobileLLM
Meta最近发布了一个能在移动设备上运行、参数量不到10亿的新AI模型MobileLLM。该模型由Meta Reality Labs、PyTorch和Meta AI Research（FAIR）联合研发，旨在解决在云上运行大型语言模型（LLM）所带来的高计算成本和延迟性问题。
Meta的研究小组采用了创新的训练方法，创建了1.25亿和3.5亿参数量的小模型MobileLLM。他们发现，对于小模型来说，模型的深度比广度更为重要，因此采取了“深而精简”的模型架构，并使用了分组查询注意力（Grouped Query Attention，GQA）方法，以最大化权重利用率。此外，他们还开发了权重共享的新方法，能够减少存储区块的计算次数，从而进一步降低AI模型的运算延迟。
在零样本测试中，MobileLLM 125M和350M的平均准确率分别比同类的Cerebras、OPT和BLOOM模型高出2.7%和4.3%。通过权重共享方法训练的MobileLLM LS-125M和LS-350M版本，准确率分别再提升0.7%和0.8%。在聊天和API呼叫任务中，MobileLLM 125M和350M的效能大幅超越其他同参数量的小型LLM，甚至在API呼叫任务中超过了Meta的LLaMA-v2 7B模型。
Meta还训练了其他参数规模的模型，包括MobileLLM-600M、1B和1.5B。尽管MobileLLM尚未公开使用，Meta研究小组已将MobileLLM的相关资源公开在GitHub和Hugging Face上，开源了预训练代码，为其他研究人员提供了进一步开发的可能性。此外，苹果和谷歌也分别发布了OpenELM和Gemma系列的轻量级模型。
来源：https://www.meta.ai
4. Claude推Artifacts分享功能，可在别人基础上修改混合
Anthropic公司推出的AI——Claude3.5 Sonnet，不仅具备聊天功能，还能生成文档、代码、思维导图、矢量图形和简单游戏。7月9日，Claude进行了重大升级，新增了Artifacts分享和重新混合功能，允许用户发布自己的创作，并在他人作品的基础上进行修改和迭代，这标志着技术平权新时代的到来。
Claude3.5 Sonnet在代码生成等方面表现卓越，Artifacts功能的加入，让Claude从一个对话助手进化为全能的创作伙伴。用户可以通过指令生成复杂内容，并通过对话界面的专门窗口以Artifacts形式查看、编辑和迭代。这种即时反馈机制极大提高了工作效率。
独立开发者可以利用Artifacts功能，让自己的作品得到更多展示机会，并通过分享和重混激发创意和可能性。随着教程和功能的丰富，这些创意甚至可以进行售卖，实现技术平权，让每个人都能成为创作者和创新者。
来源：Anthropic
5. 达摩院发布一站式AI视频创作平台「寻光」，引领AIGC深水区创新
来源：寻光
6. 首个半导体设计开源大模型SemiKong问世，重塑芯片制造流程
7月9日，Aitomatic公司在Semicon West展会上发布了全球首个专为半导体设计定制的开源AI大型语言模型——SemiKong。这一创新模型的问世，预示着半导体行业将迎来重大变革。SemiKong的开发得到了FPT Software的合作支持，以及AI联盟成员半导体公司的行业知识贡献，使其在特定任务上的表现超越了通用模型如GPT和Llama3。
SemiKong在准确性、相关性以及对半导体工艺的深入理解上取得了显著进步。Aitomatic首席执行官Christopher Nguyen表示，即使是SemiKong的较小版本，也能在特定领域应用中超越更大的通用模型，这将加速半导体行业的创新并降低成本。Aitomatic致力于使用SemiKong创建领域特定的AI智能体，以解决复杂的制造问题。
随着SemiKong的推出，消费者可以期待在未来几年内以更低的价格获得功能更强大的智能设备。IBM的Anthony Annunziata强调了AI联盟开放式协作模式的重要性，认为SemiKong DRAFT v0.6展示了汇集专业知识推动行业进步的能力。
SemiKong自7月9日起在HuggingFace和GitHub上提供下载，为业内公司提供了开发专有模型的同时利用行业知识的机会。Aitomatic计划于年底推出更强大的版本，并在9月推出首个特定于流程的模型。公司致力于构建一个人工智能工具生态系统，推动半导体行业进入创新和高效的新时代。
来源：https://www.semikong.ai/
7. 牛津大学提出语义熵检测大型语言模型（LLM）幻觉，发表于Nature
来源：https://www.nature.com/articles/s41586-024-07421-0/figures/1
8. Perplexity推出Pro Search AI重大升级，提升数学和研究能力
Perplexity近日宣布对其Pro Search功能进行重大升级，显著提升了系统在数学计算和复杂研究方面的能力。此次升级集中在三个方面：多步推理能力、高级数学和编程功能、以及更全面的研究分析能力。升级后的Pro Search能够更好地处理复杂查询，执行高级数学和编程计算，并提供深入研究的答案。
高级数学和编程能力的提升是此次升级的重要亮点。通过集成Wolfram|Alpha引擎，Pro Search在解决复杂数学问题和代码执行能力方面表现出色，使其在数据分析、调试和内容生成方面更加快速和强大。值得注意的是，Perplexity采用了免费增值模式来推广Pro Search。普通用户每4小时可以免费使用5次Pro Search功能，付费订阅用户则可以获得几乎无限制的访问权限。订阅费用为每月20美元（约合人民币145元）。
Perplexity的用户群体稳步增长，截至2024年初，每月活跃用户已达约1000万。创始团队背景深厚，包括来自OpenAI、Meta等知名AI公司的研究人员。公司自2022年成立以来，已筹集1.65亿美元资金，估值超过10亿美元。
人工智能初创公司的新融资
2. Skild AI完成3亿美元A轮融资，估值达15亿美元，打造机器人基础设施AI模型
官方网站：https://www.skild.ai/
3. AI初创公司Hebbia在1300万美元利润收入基础上完成1.3亿美元B轮融资，估值7亿美元
官方网站：https://www.hebbia.ai/
4. Hayden AI 完成 9000 万美元融资，推动智能交通执法系统发展
官方网站：https://www.hayden.ai/
5. 前微软工程师创立的AI视频初创公司Captions获6000万美元投资
官方网站：https://www.captions.ai/
由前微软工程师高拉夫·米斯拉（Gaurav Misra）创立的AI视频初创公司Captions，近期完成了6000万美元的C轮融资，公司估值达到5亿美元。Captions成立于2021年，最初是一款让用户通过直接与相机互动来录制“会说话的视频”的相机应用。随后，公司转向AI领域，专注于使用户能够从头开始创建带有头像的视频，逐渐发展成为一个为视频创作者提供AI动力的创意套件。
该轮融资由Index Ventures领投，现有投资者Kleiner Perkins、Sequoia Capital和Andreessen Horowitz，以及新投资者Adobe Ventures、HubSpot Ventures和演员兼歌手杰瑞德·莱托参与。Captions计划利用这笔资金在纽约扩大其机器学习团队，并推出新的生成性创新，以确立其在AI视频领域的领导地位。
Captions的AI套件提供了一系列AI辅助工具，包括校正眼神接触、将演讲者的话语配音成另一种语言、执行类似人类的旁白以及从较长视频片段中制作短片等。今年早些时候，公司推出了AI驱动的AI Creator和AI Edit功能，允许用户添加自定义3D头像到视频内容中，并能通过简单的点击调整内容，包括自定义图形、B-roll、转场和缩放。
目前，Captions吸引了超过1000万用户，每月创造超过300万视频。米斯拉表示，这只是公司的开始。随着这轮融资，公司将扩大其机器学习团队，并投资更多于内部研究和技术基础设施，以推出更多AI功能。米斯拉还计划投资1亿美元在纽约市推进生成性视频研究，认为纽约正成为AI研究的中心，并期待在这里建立世界级团队。
Captions的增强功能使其对企业尤其有价值，特别是那些涉及社交媒体管理、广告、内容营销和增长营销的企业。HubSpot Ventures负责人布兰登·格里尔表示，短视频已成为最占主导地位的内容格式，Captions独特地定位于转变营销人员制作视频和与客户互动的方式。目前使用Captions平台的知名人士包括迪士尼旗下的体育网络ESPN、《创智赢家》中的“神奇先生”凯文·奥莱利、Twitch创始人贾斯汀·坎和影响者Unnecessary Inventions。
6. Volley：语音AI游戏公司完成5500万美元C轮融资
官方网站：https://www.volleygames.com/
Volley，一家在AI驱动游戏领域收入领先的公司，宣布完成了5500万美元的C轮融资。此轮融资由微软的M12 Ventures和Lightspeed Venture Partners联合领投，General Catalyst、Causeway Media Partners、亚马逊Alexa基金、BITKRAFT、Y Combinator、Boost VC、Alumni Ventures、Waverley、Gaingels和Riverside等也参与了此轮融资。
Volley被认为是收入最高的AI驱动游戏公司，也是亚马逊Alexa、Fire TV、Roku TV和移动设备上语音游戏的领先创造者。公司的游戏每月有超过500万人玩。Volley的语音AI游戏包括《谁想成为百万富翁》、《Jeopardy!》、《Wheel of Fortune》、《20 Questions》等。今年，Volley的游戏已在超过3000万家庭中被玩。
Volley的游戏可在智能扬声器如亚马逊Alexa和包括Roku和Fire TV的智能电视上使用。每款Volley游戏都通过与麦克风设备交谈来控制，例如智能电视语音遥控器、智能手机或智能扬声器。与传统的触摸屏或手持游戏控制器等输入机制不同，游戏采用AI语音接口，使其易于吸引广泛的休闲玩家。公司的游戏建立在一个专有的技术上，集成了四种不断发展的AI技术：语音识别、自然语言处理、由大型语言模型（LLM）驱动的内容生成和语音合成。
最近一轮融资将使公司能够进一步投资于创建先进的由LLM驱动的非玩家角色和一流的语音识别。Volley的首席执行官兼联合创始人Max Child表示，这轮融资将加速他们开发新的由语音控制的AI驱动游戏。大型语言模型和其他新兴的语音AI技术使他们能够创造以前不可能的全新游戏类别。他们很高兴在微软和Lightspeed的支持下扩展他们的游戏组合并吸引新客户。
本文由阿尔法公社综合自多个信息源，并在ChatGPT的辅助下写作，封面图片由Hidream.ai的Pixeling（千象）生成。
更多精彩内容
