Новая модель искусственного интеллекта от Apple сможет понять ваш домашний экран и усилить Siri
Встречайте Ferret-UI, мультимодальную модель большого языка, способную понимать элементы на вашем главном экране и потенциально помогающую Siri фактически выполнять задачи за вас.
Несмотря на то, что Apple не запускала никаких моделей ИИ с тех пор, как началось увлечение генеративным ИИ, Apple работает над некоторыми проектами ИИ. Буквально на прошлой неделе исследователи Apple поделились документом, раскрывающим новую языковую модель, над которой работает компания, а инсайдерские источники сообщили, что Apple разрабатывает двух роботов с искусственным интеллектом. Теперь выпуск еще одного исследовательского документа показывает, что Apple только начинает.
В понедельник исследователи Apple опубликовали исследовательскую работу, в которой представлена Ferret-UI, новая мультимодальная модель большого языка (MLLM), способная понимать экраны мобильного пользовательского интерфейса (UI).
MLLM отличаются от стандартных LLM тем, что они выходят за рамки текста, демонстрируя глубокое понимание мультимодальных элементов, таких как изображения и аудио. В этом случае Ferret-UI обучен распознавать различные элементы домашнего экрана пользователя, такие как значки приложений и небольшой текст.
В прошлом идентификация элементов экрана приложения была сложной задачей для MLLM из-за их небольшого размера. Чтобы решить эту проблему, исследователи добавили «любое разрешение» поверх Ferret, что позволяет увеличивать детали на экране.
Опираясь на это, MLLM от Apple также обладает «возможностями обращения, обоснования и рассуждения», которые позволяют Ferret-UI полностью понимать экраны пользовательского интерфейса и выполнять задачи по инструкциям на основе содержимого экрана, согласно документу, как показано в документе. фото ниже.
Чтобы измерить эффективность модели по сравнению с другими MLLM, исследователи Apple сравнили Ferret-UI с GPT-4V, MLLM OpenAI, в общедоступных тестах, элементарных и сложных задачах.
Ferret-UI превзошел GPT-4V практически по всем задачам в элементарной категории, включая распознавание значков, оптическое распознавание символов, классификацию виджетов, поиск значков и задачи поиска виджетов на iPhone и Android. Единственным исключением была задача «найти текст» на iPhone, где GPT-4V немного обогнал модели Ferret, как видно на диаграмме ниже.
Когда дело доходит до обсуждения результатов пользовательского интерфейса, GPT-4V имеет небольшое преимущество, превосходя Ferret с 93,4% до 91,7%. Тем не менее, исследователи отмечают, что производительность пользовательского интерфейса Ferret по-прежнему «заслуживает внимания», поскольку он генерирует необработанные координаты вместо набора заранее определенных полей, из которых выбирает GPT-4V. Вы можете найти пример ниже.
В документе не говорится о том, для чего Apple планирует использовать эту технологию, и будет ли она вообще использовать ее. Вместо этого исследователи в более широком смысле заявляют, что расширенные возможности Ferret-UI могут положительно повлиять на приложения, связанные с пользовательским интерфейсом.
«Появление этих расширенных возможностей обещает существенные улучшения для множества последующих приложений пользовательского интерфейса, тем самым усиливая потенциальные преимущества, предоставляемые Ferret-UI в этой области», — пишут исследователи.
Способы, с помощью которых Ferret-UI может улучшить Siri, очевидны. Благодаря глубокому пониманию модели экрана пользовательского приложения и знанию того, как выполнять определенные задачи, Ferret-UI можно использовать для ускорения выполнения Siri задач за вас.
Конечно, есть интерес к помощнику, который делает больше, чем просто отвечает на вопросы. Новые гаджеты искусственного интеллекта, такие как Rabbit R1, привлекают много внимания, поскольку могут выполнить за вас всю задачу, например, забронировать рейс или заказать еду, без необходимости инструктировать их шаг за шагом.