首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

Google推出的Gemma 2 2B模型可以在手机、笔记本电脑和台式机等边缘设备上运行

文摘 2024-08-02 06:44 北京

Gemma2 2B是Google推出的Gemma2系列中一款重量级的轻量级A1模型，具有2亿参数。Gemma2 2B 利用了知识蒸馏技术，通过从更大、更复杂的模型中学习，将其知识传递到较小的模型中，取得了超出预期的性能表现。

Gemma2 2B 模型适用于多种文本生成任务，包括问答、摘要和推理。其相对较小的体积使其能够在笔记本电脑、台式机或私人云基础设施等资源有限的环境中部署。

主要能力

1.卓越性能

性能表现:Gemma2 2B在LMSYS Chatbot Arena排行榜上超过了所有GPT-3.5模型，可以处理多种文本生成任务，如问答、摘要和推理，展示了其出色的对话AI能力。它在同类模型中表现最佳，能够在实际应用中提供高质量的对话体验。

优化:该模型经过优化，能够在各种硬件上高效运行。这包括各种边缘设备、笔记本电脑和强大的云部署，如Google的Vertex Al和Kubernetes Engine。

2.灵活且具有成本效益的部署

硬件兼容性:Gemma2 2B可在从边缘设备到大型数据中心的广泛硬件上高效运行。它使用NVIDIA TensorRT-LLM库进行优化，支持NVIDIA RTX、GeForce RTX GPU和Jetson模块，适合名种AI应用场景。

经济高效:其设计允许在成本效益较高的硬件上运行，甚至可以在Google Colab的T4 GPU免费层上运行，使开发和实验更具经济效益。

3.模型集成与兼容性

Gemma2 2B 设计为与多种主流 AI开发平台无缝集成，方便开发人员在不同环境中使用:

Keras 和 JAX:支持流行的深度学习框架，便于模型训练和推理。

Hugging Face:兼容 Hugging Face 的模型和工具，简化模型管理和部署,

NVIDIA NeMo 和 Ollama:利用这些平台的优化功能，进一步提升模型性能。

MediaPipe(即将推出):支持实时处理任务，如视频和音频流理。

评估结果

GEMMA2 2B在多个基准测试中表现出色，尤其是在文本生成和问答任务中。以下是一些关键性能指标:

MMLU(5-shot, top-1):51.3

Hellaswag (10-shot):73.0

PIQA(0-shot):77.8

BoolQ (0-shot):72.5

ARC-e(0-shot):80.1

TriviaQA(5-shot):59.4

GSM8K (5-shot, maj@1): 23.9

下载地址：https://huggingface.co/google/gemma-2-2b

GPT-4o语音模式灰度测试，同时Long Output支持64K超长输出

市值260亿美元的Canva，收购Leonardo.ai，增强生成式AI的能力

AI的双刃剑：全球治理刻不容缓

大模型价格战，背后的逻辑

OpenAI 推出AI搜索 SearchGPT：挑战谷歌搜索霸主地位

City不City，拥有类人脑的新AI机器人震惊世界！

Meta开源：Llama3.1 405B模型发布

Mem0：增强LLM的记忆功能，实现跨应用的个性化AI体验

OpenAI 发布 GPT-4o Mini：成本优势明显，性能优于 GPT-3.5 Turbo

Agent获客新时代，你的企业上车了吗？

人机共生：大模型时代的工作与生活

传统AI与生成式AI的深度对比

OpenAI的Q计划：“Strawberry"新模型，可自主浏览互联网并自主推理

AI技术与企业数据的深度融合，开辟商业增长新蓝海

未来出行：无人驾驶能否取代网约车司机？

AI Agent：大模型演进的下一站

OpenAI CEO携手Thrive，创办AI健康公司

2024国产AI大模型应用报告

大模型与小模型：AI领域的双轨并行与未来趋势

2024上半年《人工智能现状报告》750名行业领导者、技术人员的意见

三星支持荷兰初创公司Axelera：开发全球最强大的边缘AI芯片

Runway推出GEN3 Alpha模型！

全球首款支持 GPT-4o 的智能眼镜 Solos AirGo Vision 发布

Resona V2A: AI智能解析视频，实现自动配音与配乐

AI文档搜索公司Hebbia融资超1.2亿美元，估值达8亿美元

字节跳动推出“豆包MarsCode”智能编程助手：国内开发者免费使用

每首歌索赔15万美元索尼、环球音乐、华纳起诉 Suno 和 Udio

OpenAI 收购远程协作平台 Multi，在企业解决方案领域发力！

腾讯元宝新版本发布：提升解析能力，支持1000万字超长文处理

RTranslator：全球首个开源实时翻译神器

OpenAI 前首席科学家 Ilya创办新 AI 公司，聚焦超级智能安全

AI Agent进入红海时代，开发者的红利时代来了

2024年美国科技行业裁员潮持续：从巨头到初创企业，60,000名员工面临失业

【AI+考试】30秒出题，1分钟开考，万物皆可考！

GPTZero：人工智能内容检测领域的黑马

PixVerse Magic Brush 上线：7 个示例教你玩转对象移动

LLM推理能力盲区：从《爱丽丝梦游仙境》测试看AI的局限与未来方向

快手发布视频大模型“可灵”：能生成2分钟1080p高质量视频

Qwen2模型家族来了

数名OpenAI、谷歌、DeepMind现任和前任员工，签署公开信警告人工智能风险

SD3 Medium 模型即将开源

AI 服务集体宕机：ChatGPT 领衔，Claude 和 Perplexity 紧随其后

NVIDIA 在 GDC 2024 推出全新数字人技术和 RTX SDK

AI在不同场景下如何提升效率，能否完全取代人类？

我是腾讯元宝，看透繁杂，听懂所需，说享精彩！

OpenAI官宣：已开始训练下一代“前沿AI模型”

马斯克融资60亿美元，计划推出xAI超级计算机

SignLLM：通过文字描述生成手语视频的多语言模型

美国「AI开源大模型」出口管制法案：43 比3通过第一轮

Truecaller：帮你接电话的AI助手来了

使用AI克隆拜登声音，被罚600万美元

大模型价格战升级！阿里、百度、字节跳动争相“降价”，大厂火拼，价格亲民

面壁智能MiniCPM-Llama3-V 2.5实力碾压GPT-4V、Gemini Pro，成为端侧多模态新霸主

FunClip:开源的AI视频自动化视频剪辑工具

国产大模型激战正酣：开源与低价的精彩对决

OpenAl发布GPT-4o全能模型，实时语音和视觉能力，再次刷新业界

探索未来网页设计：Wegic AI对话式建站助手！

月薪8千和月薪3万的区别：有没有熟练使用天工AI！

阿里云发布通义千问2.5：超越GPT-4 Turbo

全国首例“AI外挂”案：游戏世界的黑暗角落

微软为美国情报机构定制 GPT-4 生成式 AI 模型！

Logo Diffusion：打造个性化Logo的AI平台

支付宝智能助理：你生活琐事的“超级管家”

DrEureka：AI让机器狗玩瑜伽球，平衡能力简直绝了！

Copilot Workspace:告别孤独的编码之夜，迎接你的智能副驾

【AI+农业】AI育种大模型“丰登”问世为粮食安全提供科技支撑

第七代机器人‘凤凰’，接近人类学习速度，24小时内掌握新技能

▲ 滑动查看往期内容

http://mp.weixin.qq.com/s?__biz=MzkzNjIzNjk1Mg==&mid=2247489363&idx=1&sn=440845fe46fcc61772893dda90b8a2d7

一起探索AGI世界，解锁AI实用技能，伴您步入智能生活！

最新文章

阿里国际重磅推出Ovis：免费开源，多模态能力再升级

MiniMax视频模型超越期待，效果媲美可灵与即梦！

OpenAI重磅推出o1模型：从“秒答”到“深思熟虑”！

Pixtral 12B 发布！Mistral AI 进军多模态领域，120 亿参数震撼上线！

LivePortrait：一键制作动态肖像视频，趣味视频轻松搞定！

轻松上手！零一万物Yi-Coder开源，支持52种编程语言，程序员福音来了！

OpenAI重磅消息：GPT Next即将问世，人工智能迎来大变革！

文小言横空出世！超拟真人互动，百度这次真的“上道”了！

“黑科技反击战”：中科院女工程师张欣怡开源AI模型助力全球抗击Deepfake犯罪

微软发布AutoGen Studio：无需写代码也能搞定多代理系统！

AI独角兽Runway删库，这次是真的Run Away了！

韩国Deep Fake事件：当AI技术成为犯罪的工具

Zyphra推出Zamba2-mini：以高效性能重新定义设备端AI的小语言模型

英伟达推出NIM Agent Blueprints服务，加速企业AI应用开发

AI下棋机器人，家庭教育的神助攻还是新潮流？

用AI也能写小说？田渊栋用科幻解读未来

高仿真、情感互动，数字华夏的“夏澜”机器人有点牛！

麦当劳的AI美少女薯条秀：科技与快餐的奇妙邂逅

大圣归来：《黑神话：悟空》凭啥这么火？

马斯克的未来之梦：人类或将实现数字永生

SkyReels：开启 AI 短剧创作新时代

如何快速上手 Midjourney AI：保姆级操作指南

谷歌 Pixel 9 手机系列，AI功能超出预期

SB 1047：加州出台人工智能管理法案 —防范AI灾难还是引发硅谷危机？

销售人员 70% 的时间都花在非销售任务上，AI 可以提供帮助

微软与Palantir强强联合：推进美国国防和情报领域AI

欧洲高校利用AI预测和诊断“阿尔茨海默病”

AI时代，哲学至关重要

OpenAI支持结构化输出和macOS 桌面应用

AI芯片初创公司 Groq 获 6.4 亿美元融资，估值28亿，挑战 Nvidia

微软深度整合Azure AI与GitHub：大幅简化AI应用开发流程

Google推出的Gemma 2 2B模型可以在手机、笔记本电脑和台式机等边缘设备上运行

Grok 的新数据收集设置激怒了 X 用户，可能违反欧盟隐私法规

GPT-4o语音模式灰度测试，同时Long Output支持64K超长输出

NLP 核心技能：注意力机制和Transformer架构全面剖析

市值260亿美元的Canva，收购Leonardo.ai，增强生成式AI的能力

AI的双刃剑：全球治理刻不容缓

大模型价格战，背后的逻辑

OpenAI 推出AI搜索 SearchGPT：挑战谷歌搜索霸主地位

City不City，拥有类人脑的新AI机器人震惊世界！

Meta开源：Llama3.1 405B模型发布

Mem0：增强LLM的记忆功能，实现跨应用的个性化AI体验

OpenAI 发布 GPT-4o Mini：成本优势明显，性能优于 GPT-3.5 Turbo

Agent获客新时代，你的企业上车了吗？

人机共生：大模型时代的工作与生活

传统AI与生成式AI的深度对比

OpenAI的Q计划：“Strawberry"新模型，可自主浏览互联网并自主推理

AI技术与企业数据的深度融合，开辟商业增长新蓝海

未来出行：无人驾驶能否取代网约车司机？

AI Agent：大模型演进的下一站

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉