在数字化时代，用户界面（UI）是我们与数字系统互动的桥梁。苹果公司最新推出的Ferret-UI 2，一个多模态大语言模型（MLLM），在跨平台UI理解方面取得了重大进展，支持iPhone、Android、iPad、Webpage和AppleTV等多个平台。
随着设备的多样化，如何让计算机系统理解和响应不同平台上的用户意图成为了一个挑战。Ferret-UI 2通过支持多平台、高分辨率感知和先进的任务训练数据生成，解决了这一难题。
Ferret-UI 2的创新之处
多平台支持：能够无缝地在各种设备上工作。
高分辨率感知：通过自适应网格方法，保持对UI截图原始分辨率（Resolution）的感知能力，提高视觉元素识别的准确性。
高质量训练数据：利用GPT-4o和视觉提示技术，生成更高质量的训练数据，提升模型性能和泛化能力。
实验结果显示，Ferret-UI 2在多个基准测试中显著优于前代模型，并展现了强大的跨平台迁移能力，为构建通用的多模态代理奠定了基础。
结语
Ferret-UI 2的研究不仅展示了苹果公司在AI领域的技术实力，也为未来的人机交互提供了新的可能性，预示着更智能、无缝的跨平台用户体验即将到来。
感谢阅读！欢迎留言、点赞、转发。
相关报道
更多AI热点资讯，请每日关注AI今说~
