AI on Android Spotlight Week https://android-developers.googleblog.com/2024/09/welcome-to-ai-on-android-spotlight-week.html
Gemini Nano https://developer.android.google.cn/ai/aicore SDK https://developer.android.google.cn/ai/gemini-nano/experimental
设备端 AI 的核心资源
Google AI Edge 平台为在边缘设备上构建和部署 AI 模型提供了一个全面的生态系统。此平台支持各种框架和工具,能让开发者将 AI 功能无缝集成到应用中。Google AI Edge 平台包括:
MediaPipe Tasks - 跨平台低代码 API,用于处理常见的生成式 AI、视觉、文本和音频任务 LiteRT (前身为 TensorFlow Lite) - 用于在 Android 上部署自定义机器学习模型的轻量级运行时 MediaPipe Framework - 用于将多个机器学习模型与预处理和后处理逻辑高效链接在一起的流水线框架 Model Explorer - 转换、性能和调试可视化工具
Google AI Edge
https://ai.google.dev/edge
MediaPipe Tasks
https://ai.google.dev/edge/mediapipe/solutions/guide
LiteRT
https://ai.google.dev/edge/litert
MediaPipe Framework
https://ai.google.dev/edge/mediapipe/framework
Model Explorer
https://ai.google.dev/edge/model-explorer
如果您需要为用例创建或获取自定义模型,则需要一个设备端机器学习框架,例如 LiteRT (前身为 TensorFlow Lite)。LiteRT 专为移动和边缘设备设计,为部署机器学习模型提供了轻量级运行时。只需按照以下子步骤操作:
开发和训练模型: 使用您选择的框架开发 AI 模型。训练可以在功能强大的机器或云环境中执行,但模型应针对设备上的部署进行优化。量化和剪枝等技术可以帮助缩小模型尺寸并提高推理速度。Model Explorer 可以帮助您在使用模型的同时理解和探索该模型。 转换和优化模型: 当您的模型训练好后,就可以将其转换为适合设备端部署的格式。例如,LiteRT 需要将其转换为特定格式。优化工具可以帮助减少模型的占用空间并提升其性能。AI Edge Torch 允许您使用 Google AI Edge LiteRT 和 MediaPipe Tasks 库来转换 PyTorch 模型,使其能在 Android 和其他平台上本地运行。 加速模型: 您可以使用 GPU 和 NPU,为 Android 上的模型推理加速。借助 LiteRT 的 GPU 代理,您可以立即在 GPU 上运行您的模型。我们正在努力构建下一代 GPU 和 NPU 代理,使您的模型运行得更快,并支持更多模型在 GPU 和 NPU 上运行。我们诚邀您参与我们的抢先体验计划,以试用这一新的 GPU 和 NPU 基础设施。我们将会陆续邀请参与者抢先体验,即刻联系我们参与体验吧!
MediaPipe Tasks
https://ai.google.dev/edge/mediapipe/solutions/tasks
手势识别
https://ai.google.dev/edge/mediapipe/solutions/vision/gesture_recognizer
图像分割
https://ai.google.dev/edge/mediapipe/solutions/vision/interactive_segmenter/android
面部特征点检测
https://ai.google.dev/edge/mediapipe/solutions/vision/face_landmarker/android
LiteRT
https://ai.google.dev/edge/litert
Model Explorer
https://ai.google.dev/edge/model-explorer?hl=zh-cn
AI Edge Torch
https://developers.googleblog.com/en/ai-edge-torch-high-performance-inference-of-pytorch-models-on-mobile-devices/
GPU 代理
https://ai.google.dev/edge/litert/performance/gpu
诚邀您参与我们的抢先体验计划
https://forms.gle/8HRC2EsVNstPqVgm6
填写表格
https://forms.gle/udLiRgA6zFzpfxZy
Play Integrity API https://developer.android.google.cn/google/play/integrity/overview 在安装应用时进行完整性检查 https://support.google.com/googleplay/android-developer/answer/13857328#zippy=%2Cstore-listing-visibility
Android 平台密钥认证 https://developer.android.google.cn/privacy-and-security/security-key-attestation
填写表格联系我们 https://docs.google.com/forms/d/e/1FAIpQLSdXA167bUPw3Lc-g_fQ4bMfXXhXxOqskv-xXHtvV8mbqZy90A/viewform
"AI on Android Spotlight Week" 期间分享的其他更新内容 https://android-developers.googleblog.com/2024/09/welcome-to-ai-on-android-spotlight-week.html