
Исследователи из Корнелльского университета и Стэнфордского университета разработали платформу, которая самостоятельно составляет пошаговые инструкции на основе видеороликов, опубликованных на YouTube. Подробнее о проекте RoboWatch можно прочитать на сайте университетаДля составления инструкций исследователи взяли сто наиболее популярных запросов в энциклопедии WikiHow, из которых выбрали те, которые относятся к взаимодействию с физическими объектами. В результате авторы отобрали семнадцать запросов, четырнадцать из которых относились к приготовлению пищи. После этого программа самостоятельно по данным запросам нашла на YouTube и скачала ролики и субтитры на английском языке, если они были.После загрузки роликов система их разбивает на кадры и искала в них общие предметы в кадре и ключевые слова в субтитрах, по которым определяла необходимые для процесса шаги. После этого алгоритм составляет пошаговую инструкцию на основании полученных шагов, а при помощи субтитров генерирует к каждому этапу текстовое описание. Получившиеся в результате обработки видеороликов инструкции можно передавать непосредственно для использования роботами, считают исследователи. Например, они составили при помощи RoboWatch инструкции по прочистке засорившегося слива, по завязыванию галстука, по приготовлению омлета и молочного коктейля.Ранее аналогичную программу разработали французские ученые из Высшей нормальной школы, их алгоритм продемонстрировал успешное составление двух инструкций: по сердечно-легочной реанимации и по замене автомобильного колеса. Разработка ученых из Корнелльского университета позволяет при достаточно количестве видео создать пошаговую инструкцию практически для любой задачи.Также разработками в этой области занимаются исследователи из проекта RoboHow Института искусственного интеллекта Бременского университета. Немецкие ученые научили робота PR2 самостоятельно учиться по текстовым инструкциям портала WikiHow. В частности, робот научился готовить блинчики и пиццу. Николай Воронцов
