Исследователи создали искусственный интеллект, который лучше умеет читать по губам, чем люди »
Исследователи разрабатывают программную систему искусственного интеллекта, которая лучше читает по губам
Ученые из Оксфордского университета заявили о разработке нового компьютерного программного обеспечения, которое может читать по губам лучше, чем люди, что может помочь слабослышащим. Система была обучена на тысячах часов новостных программ BBC, сообщил в пятницу телеканал.
Новая программная система искусственного интеллекта (ИИ) под названием «Watch, Visit and Spell (WAS)» была разработана Оксфордским университетом в сотрудничестве с компанией Google DeepMind.
Система искусственного интеллекта использует методы компьютерного зрения и машинного обучения, чтобы научиться читать по губам на основе набора данных, состоящего из более чем 5000 часов телевизионных кадров BBC. Видео включали в себя более 118 000 предложений и словарный запас из 17 500 слов, произнесенных более чем 1000 разных людей.
Исследователи проверили WAS вместе с экспертом по чтению по губам, поручив паре понять, что говорится в беззвучном видео, используя только движения рта человека. Исследователи обнаружили, что система искусственного интеллекта правильно читает по губам 50 процентов беззвучной речи, в то время как профессиональные читатели по губам делают это правильно только на 12 процентов. Ошибки машины были незначительными, в том числе такие вещи, как пропуск буквы «s» в конце слова или опечатки в одной букве.
Несмотря на то, что предстоит еще много работы, прежде чем технология будет внедрена в практику, исследователи сообщают BBC, что цель состоит в том, чтобы заставить ее работать в режиме реального времени, и такой подвиг возможен. Он будет учиться до тех пор, пока его будут тренировать на телевизионных кадрах.
Программное обеспечение может поддерживать ряд разработок, в том числе помогать людям с нарушениями слуха ориентироваться в окружающем мире. Говоря об основных ценностях технологии, Джесал Вишнурам, менеджер по исследованиям технологий Action on Hearing Loss, сказал: «Action on Hearing Loss приветствует разработку новой технологии, которая помогает глухим людям или людям с потерей слуха иметь лучший доступ к телевидению благодаря превосходному субтитрированию в режиме реального времени.
«Приятно видеть, что в этой области проводятся исследования, и организация Action on Hearing Loss приветствует новые прорывы, улучшая доступность для людей с потерей слуха. Технология чтения по губам с помощью искусственного интеллекта сможет повысить точность и скорость преобразования речи в текст, особенно в шумной обстановке, и мы призываем к дальнейшим исследованиям в этой области и с нетерпением ждем новых достижений. ”
WAS Джун Сон Чунг, ведущий автор исследования и аспирант инженерного факультета Оксфорда, комментируя потенциальные варианты использования, сказал: «Чтение по губам является впечатляющим и сложным навыком, поэтому WAS, надеюсь, сможет предложить поддержку в решении этой задачи - например, предложив гипотезы для профессиональных чтецов по губам, чтобы проверить их с использованием своего опыта. Существует также множество других приложений, таких как диктовка инструкций для телефона в шумной обстановке, дублирование архивных немых фильмов, разрешение одновременной речи многоговорящих и улучшение производительности автоматического распознавания речи в целом. ”
С исследовательской работой, описывающей систему, можно ознакомиться здесь.
Источник: BBC