Искусственный интеллект может читать по губам лучше человека
Машинный алгоритм чтения по губам под названием LipNet распознает текст по видеозаписи движения губ говорящего человека с точностью до 93%, — сообщают исследователи. Однако эксперты считают, что система требует тестирования на живых людях.
Чтение по губам — очень сложное дело, даже профессионалы обычно распознают не более 60% сказанного.
«Использование искусственного интеллекта для чтения по губам обладает огромным потенциалом. Это позволит создавать более совершенные слуховые аппараты, обеспечить такие возможности как диктовка в шумных местах, конфиденциальные беседы, биометрическая идентификация, распознавание речи в шумной обстановке, реставрация немого кино», — пишут исследователи.
В программу заложены целые предложения, поэтому она споcобна к самообучению, сопоставляя движения губ и произносимые буквы и слова.
Для обучения ИИ команда лаборатории искусственного интеллекта Оксфордского Университета использовала около 29 000 видеозаписей продолжительностью по три секунды, тексты в которых строились по определенной грамматической схеме. У людей, участвовавших в тестировании, количество ошибок распознавания при чтении по губам этих видео составило 47,7%, в то время как количество ошибок ИИ составило всего 6,6%.
Проект частично финансируется принадлежащей Google компанией DeepMind.