Pixel 的 Recorder 应用通过 Gemini Nano 将用户参与度显著提升了 24%

科技 2024-11-13 19:02 北京

作者 / 开发者关系工程师 Terence Zhang 和产品经理 Kristi Bradford

Google Pixel 的 Recorder 应用允许用户录制、转录、保存和共享音频。为了让用户更轻松地管理和回顾自己的录音，Recorder 的开发者将目光锁定在功能强大的设备端大语言模型 (LLM) Gemini Nano 上。这一集成引入了 AI 驱动的音频摘要功能，帮助用户更轻松地找到所需的录音并快速掌握内容要点。

Recorder
https://play.google.com/store/apps/details?id=com.google.android.apps.recorder

近期，随着引入新的多模态模型，Gemini Nano 实力大增。Recorder 应用已经在利用此升级来提炼更长的录音，并提升了对语法和细节的处理能力。

使用设备端 AI 满足用户需求

Recorder 的开发者最初尝试了基于云端的解决方案，在性能和质量方面取得了卓越的成果。然而，为了优先考虑用户的无障碍和隐私需求，他们转而寻求一种设备端解决方案。Gemini Nano 提供了一个绝佳机会，可以提供用户所需的简洁音频摘要，与此同时还能保持在设备端进行数据处理。

Gemini Nano 是 Google 为设备端任务打造的最高效的模型。Pixel essential 应用产品经理 Kristi Bradford 表示: "在设备端集成 LLM 对用户有很多好处，能为用户提供更高隐私性、更低延迟，而且由于不需要网络，用户在任何地方都能使用。"

为了取得更好的效果，Recorder 还使用与其用例相匹配的数据对模型进行了微调。开发者采用低秩适应 (LoRA) 技术进行微调，从而让 Gemini Nano 能够稳定地输出包含相关发言人姓名、内容要点和主题在内的三点描述。

AICore 是一种 Android 系统服务，可集中管理 LLM 的运行时、交付和关键安全组件，大幅简化了 Recorder 对 Gemini Nano 的使用。借助用于运行 GenAI 工作负载的开发者 SDK，开发团队仅依靠四名开发者，在短短四个月内便开发了转录摘要功能。而这样的效率，正是由于无需维护内部模型所实现的。

自 Recorder 发布以来，用户平均每天使用 2 到 5 次新的 AI 摘要功能，保存的录音总数增加了 24%。这一功能显著提高了应用的总体参与度和用户留存率。Recorder 团队还指出，用户对新功能给予了正面反馈，许多用户表示新的 AI 摘要功能为他们节省了大量时间。

下一项重大进展:

多模态 Gemini Nano

Recorder 的开发者还采用了最新的 Gemini Nano 模型，即多模态 Gemini Nano，以进一步改进该应用在 Pixel 9 设备上的摘要功能。新模型比 Pixel 8 设备上的旧模型大很多，而且功能更强大、结果更准确、扩展能力更出色。新模型还扩展了令牌 (token) 支持，让 Recorder 可以提炼比以前更长的转录文本。

多模态 Gemini Nano
https://store.google.com/intl/en/ideas/articles/gemini-nano-google-pixel/

将 Gemini Nano 与多模态集成需要再进行一轮微调。不过，Recorder 的开发者得以利用原始 Gemini Nano 模型的微调数据集作为基础，从而简化了开发过程。

为了充分发挥新模型的功能，Recorder 开发者扩大了数据集，支持更长的录音，实施了完善的评估方法，并建立了侧重于语法和细节的发布标准指标。将语法作为评估推理质量的新指标，完全得益于多模态 Gemini Nano 的增强功能。

使用设备上的 AI 实现更多功能

Kristi 表示："生成式 AI 是一项新的功能，整个团队都在学习使用它的过程中收获了乐趣。现在，我们有能力在满足用户新需求和把握新机遇的同时，突破极限。生成式 AI 确实为解决问题和开展实验带来了全新的创造力。我们已经演示了至少两项生成式 AI 功能，它们可以帮助人们在公司内部节省时间，以获得早期反馈。我们很期待看到未来的更多可能性。"

了解更多

详细了解如何使用 Gemini Nano 将设备端 AI 的优势集成到您的应用中。

Gemini Nano
https://developer.android.google.cn/ai/aicore

谷歌开发者特别招募活动进行中

诚邀热爱技术的你加入

通过多种形式 (文章/视频/coding 等) 创作与 Google 技术相关的讲解分享、实践案例或活动感受等内容，以及分享您应用 AI 技术的故事经历与成果。我们将为您提供平台和资源，助力您在分享中提升技能。更有惊喜权益等您领取，快来报名参与吧！

点击屏末 | 阅读原文 | 了解有关 Gemini Nano 的更多信息

http://mp.weixin.qq.com/s?__biz=MzAwODY4OTk2Mg==&mid=2652154937&idx=1&sn=cb00e0fcd43748bbc01ceba2bcbfa7fa

谷歌开发者

Google 中国官方账号。汇集 Android, Flutter, Chrome OS, Chrome/web, AI 等开发技术，以及 Google Play 平台出海相关信息。

最新文章

丰厚奖金等您来 | Gemma 开放模型微调挑战赛火热进行中

2024 Firebase 演示日活动 | 学习构建和运行 AI 驱动的应用

趋势洞察 | Google Play 2024 年度最佳榜单揭幕亚太地区领跑！

再获佳绩 | 恭喜 Google Play Best of 2024 年度最佳榜单大中华地区得奖者

立即报名 | Google DevFest 深圳站 - 线下技术交流活动

Google 助力初创团队把握机遇，制胜海外

报名倒计时！Gemma 黑客松线下赛已开启，我们深圳见

Pixel 的 Recorder 应用通过 Gemini Nano 将用户参与度显著提升了 24%

Google AI 挑战赛、特邀嘉宾访谈及更多精彩内容 | Google 开发者新闻

Ink API | 一个适用于触控笔应用的全新 Jetpack 库

参赛倒计时 | 加入 Google Chrome Built-in AI 挑战赛，探索 AI 在 Chrome 中的潜力！

Instagram 作为 Ultra HDR 的早期采用者，仅用 3 个月就大幅提升了用户体验

解锁行业专属智慧锦囊: 通过 Ray 高效微调 Gemma 模型

"与 Google Cloud 一起捍卫大模型安全" 之 "保护你的大模型训练"

如何轻松将 AI 模型引入 Android 设备

正式就绪 | Firefox、Chrome 和 Puppeteer 已支持 WebDriver BiDi

招募 | 加入 "AI 社会公益" 亚太区黑客松，赢取大奖！

Gemma 黑客松开发者竞赛深圳线下赛报名开启！

客户借力 Gemini 收获丰硕实效

【今晚开播】社区说 | 从定制模型到无服务器架构: GCP 与 Notebook 的应用探索

持续精进，喝彩成就｜纸质作业留痕批改机器，用科技为教育减压

【谷歌开发者月刊】十月精彩内容纷呈，展望更加智能的未来

点击领取来自 Google Cloud 的 AI 时代创业指南！

持续精进，喝彩成就｜语鹦助手——您随时随地的外教辅导

DevFest 2024 即将拉开序幕，与你不见不散！

社区说 | 从定制模型到无服务器架构: GCP 与 Notebook 的应用探索

Android 版 Gemini Nano 实验性访问权限现已开放

"十" 足机遇！gReach 岗位惊喜上线，多元职位等你加入

进阶之力彰显成就 |【GDE 分享】与 Google 并肩同行十五载的成长感悟

进阶之力彰显成就 |【GDE 分享】成为谷歌开发者专家的经历

1024 节日快乐｜点滴成就，创造未来无限可能

即刻报名 | Google Chrome Built-in AI 挑战赛

Gemma 开放模型微调挑战赛，准备好了吗？

技巧干货分享 | Android 15 默认采用无边框设计后，边衬区如何处理？

如何渡过生成式 AI 发展转折点？最新白皮书来了！

AI 赋能 Chrome | 三项新功能打造更便利的浏览和搜索体验

实例详解 | 借助 Langchain 和 Gemma 2 构建 RAG 应用

逐步解析 | 如何使用 LangChain、NestJS 和 Gemma 2 构建一个 Agentic RAG 应用

AI 赋能，出行升级！携程开启智慧出行新篇章！

Android Studio Koala Feature Drop 稳定版现已推出

"斜杠" 商店？除了下载应用，Google Play 原来还能解锁这些新场景

【谷歌开发者月刊】回顾九月技术资讯，获取新的灵感源泉

招募进行中｜为精彩续航，与热爱同行，期待您的创作分享

Google 9 月职位新鲜出炉！校招岗位惊喜上线

【今晚开播】社区说｜智能模型应用: 三大开源项目技术详解

DataGemma | 连接 LLM 与现实世界数据，应对 "幻觉" 挑战

社区说｜智能模型应用: 三大开源项目技术详解

Google Cloud 线上课堂 | 拿捏！LLM 在云侧的灵活训练与端侧的快速部署

招募活动投稿展示 | 用 Gemini 多模态能力打造文案生成应用，轻松应对出海场景

【GDE 分享】如何利用 Google 的资源提升自己的技术能力

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉