AI 顶级公司也开始苦练内功了!

2024-07-26 00:00   美国  
上钟!
昨天晚上Meta 正式发布新一代大语言模型 Llama 3.1。模型包含三个不同参数规模:8B、70B 和 450B。财大气粗的Meta 450B 模型使用16,000 张 H100 GPU 进行训练,是目前最强的开源模型之一!但是目前来说不推荐,性价比太低!亮点如下:
  • 多语言支持:优化了多语言对话,支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

  • 大上下文窗口:上下文窗口从 8K 增加到 128K。

  • 庞大训练数据:在约15万亿tokens的公开数据上训练,包含超过2500万个合成数据示例。

  • 开源许可更新:允许开发者使用 Llama 模型的输出改进其他模型。

  • 多模态支持:整合了图像、视频和语音功能。


测试结果Llama 3.1 在多个基准测试中表现优异,其中 8B 模型在 MMLU 测试中得分从 65 提高到 73,70B 模型从 81 提高到 86。405B 模型在多个任务中表现与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 持平,甚至在某些基准上表现更好。
今天Meta 的创始人马克·扎克伯格突然在媒体火起来了!公开信和播客被疯狂转发,主要在公开信中强调了开源 AI 的重要性,认为开源模式将使更多人受益,并推动 AI 技术的发展。Meta 还计划与亚马逊、Databricks 和英伟达等公司合作,进一步扩展 Llama 的生态系统。(别的内容就不多讲了,感兴趣的去网上扒一下!)
总的来说,Llama 3.1 的这波发布又进一步缩小了开源模型与闭源模型之间的差距,并且为开发者提供了更多灵活性和选择。据扎克伯格表示 Meta 期望通过开源 AI 推动整个行业的发展,并使 AI 技术更广泛地惠及全球用户。(这里插播一句,这一波国内再难也要有自研纯血大模型底座,安卓虽好,但是华为还是要造鸿蒙,你懂的!)
近期读者朋友可能都发现大模型公司都开始没有什么爆炸性东西放出来了,我个人可能感觉时间久了,预期变高了,今年的WAIC也有同样的感觉,没有很惊艳的感觉了!(这些头部公司好像并不着急了,都纷纷开始苦修内功!)
......
相对来说10b级别的模型下半年更有看头,于是给大家整理了安德烈·卡帕西提出的观点,希望会有读者朋友会有启发~
模型变大再变小
现在的AI模型(像GPT-3和GPT-4)特别大,需要记住很多互联网内容,这样才能在回答问题时表现很好。但这也意味着训练这些模型需要很多计算资源和时间,非常浪费。
记忆和思考分开
目前的AI模型训练时,把记住知识和思考过程混在一起了。这就像让你在考试时不仅要背下书里的内容,还要用这些内容去解决问题。这很复杂,所以需要很大的模型。如果能把这两者分开,比如让模型可以在需要时查资料而不是记住所有东西,模型就可以变得更小、更高效。
迭代优化训练数据
提到一个方法是用现有的模型来帮助改进训练数据。比如,先用一个大模型,然后让它帮助生成更好的数据,再用这些数据来训练下一个模型。这样一代一代优化下去,最终可以得到非常优质的训练数据,用它来训练小一点的模型也能表现很好。
小模型的潜力
虽然现在的大模型表现很好,但小模型(像GPT-2)在某些任务上也能做得很好。如果我们能找到更好的训练方法和数据,小模型也可以在很多实际应用中表现出色,尤其是那些计算资源有限的情况下。
找更多的办法优化AI模型的训练过程,让模型既能保持高性能,又不需要那么多资源。这不仅能降低成本,还能让 AI 技术更容易在各种环境中使用,变得至关重要!
也就是说虽然现在的大模型很强大,但通过优化,也可以让小模型也变得非常聪明和高效。然而这必将对人工智能的发展和应用产生巨大影响。
......
1.面壁智能联合清华大学NLP实验室,推出了LLM驱动的智能体互联网(IoA)。IoA创建了一个自由注册、互相发现的Agent协作平台,对原有的Agent协作工作流进行了跨设备、更多异质Agent开放互联、协作组织方式高度灵活的扩容。
论文地址:https://arxiv.org/abs/2407.07061
项目地址:https://github.com/OpenBMB/IoA
2.OpenAI投资370万美元支持的爆火AI应用Dot,其背后的核心技术“超强个性记忆”被开源为Mem0,在AI社区引起了轰动。Mem0上线 GitHub 仅仅两天直接收获13K星标。能够更好地理解用户及其偏好,包括用户身份、活动、位置、编码、写作等,提供真正个性化的AI交互体验。
项目地址:https://github.com/mem0ai/mem0
3.另外快手可灵和字节的扣子都相继收费了,读者朋友们做好投资准备,不过有一说一目前拿可灵来说在全球是排得上号的,确实牛逼,近期刚上线一个强的功能,时间有限不逼逼叨了!
今天晚上先就到这吧!评论区见~

彩虹之眼
彩虹之眼(Rainbow Eye)-神秘而强大的 AI 情报组织。
 最新文章