Дослідники з Колумбійського університету створили робота, який навчився синхронізувати рухи губ із мовленням і співом без програмування. Замість заздалегідь прописаних правил машина вчилася, дивлячись відео на YouTube.
Як робот навчався розмовляти
Про результати роботи команда повідомила 15 січня у науковому журналі Science Robotics. Робот здатен вимовляти слова кількома мовами та навіть співати, хоча не розуміє змісту почутого. Його головна особливість – природні рухи рота, яких роками не могли досягти в гуманоїдній робототехніці.
Спочатку робот вчився керувати власним обличчям, дивлячись на себе в дзеркало. Він експериментував із 26 мімічними рухами, поступово розуміючи, як вони формують різні вирази. Лише після цього система почала аналізувати години людської мови та співу з відеохостингу YouTube, зіставляючи звук із формою губ.
Проблема рухів обличчя в роботів давно створює моторошний ефект, коли майже людська зовнішність викликає дискомфорт. Навіть незначні помилки в міміці люди помічають миттєво, і саме рот найчастіше видає штучність.
За словами керівника дослідження Хода Ліпсона, традиційні підходи з фіксованими правилами роблять рухи механічними. Новий метод дозволяє роботу вчитися так само, як це роблять люди – через спостереження та практику. Хоча система поки що погано справляється з окремими звуками, дослідники очікують, що ці недоліки зникнуть із часом.