AI探索指南
苹果发布了专门用于理解应用 UI 界面的 MLLLM Ferret-UI 。 专门针对移动UI屏幕进行了优化，具备了指向、定位和推理等多种能力。 看来 iOS 18 有可能会有类似通过Siri自动操作应用界面的能力？ ---------详细介绍--------- Ferret-UI模型的介绍与特点： Ferret-UI是一个新的MLLM，专门为提高对移动UI屏幕的理解而设计。它具备引用、定位和推理能力， 能够处理UI屏幕上的各种任务。Ferret-UI的一个关键特点是其“任何分辨率”（any …
模型能够生成与视觉组件相关的详细讨论，并提出以特定目标为导向的行动计划。

此外，Ferret-UI还能够通过功能推断来解释屏幕的整体目的，显示出在理解和生成自然语言指令方面的高级能力。

论文地址：https://arxiv.org/abs/2404.05719