Как ИИ Google Lookout может описывать изображения для слабовидящих
С помощью Image Q+A пользователи могут задавать вопросы (голосом или текстом) о любом загруженном изображении. Вот как получить к нему доступ.
Еще до бума генеративного искусственного интеллекта приложение Google Lookout использовало искусственный интеллект, чтобы помочь слабовидящим и слепым людям исследовать свое окружение с помощью камер телефонов. Приложение, запущенное в марте 2019 года, недавно добавило удобную функцию на базе искусственного интеллекта — Image Q+A.
Функция Image Q+A позволяет пользователям задавать вопросы об изображении, загружая фотографию и используя свой голос или вводя текст. Затем пользователь получит подробное описание изображения, отвечающее его проблемам.
Например, вы можете задавать вопросы о том, какого цвета объект на изображении, о конкретных деталях объекта, таких как выражение его лица, и даже попросить приложение прочитать текст на изображении, например, что говорит знак.
Хотя эта функция была выпущена осенью, Google на этой неделе поделился более подробной информацией об этой функции в сообщении на X (ранее Twitter), также продемонстрировав, какую пользу пользователи получили от этой технологии.
Как ИИ может помочь слепым и слабовидящим людям лучше воспринимать мир? ✨
Мы объясняем, как наша технология поддерживает вопросы и ответы по изображениям: функция в приложении @Google Lookout, позволяющая сообществам задавать вопросы об изображениях.
Посмотрите версию с аудиоописанием. → https://t.co/KNqc6KbTWo pic.twitter .com/TLzNo7Ub0o
В основе технологии лежит модель искусственного интеллекта Google, которая, по данным Google, обучена понимать и давать конкретные описания видео.
Вы можете получить доступ к этой функции в приложении, которое можно загрузить бесплатно. Однако эта функция доступна только на английском языке в США, Великобритании и Канаде.
Приложение также включает в себя несколько других инновационных функций, в том числе текстовый режим, который позволяет пользователям бегло просматривать текст и прослушивать его чтение вслух; режим маркировки пищевых продуктов, который позволяет идентифицировать упакованные продукты по этикетке; режим валюты, позволяющий быстро идентифицировать доллары, евро и индийские рупии; и более.