
Ученые из Высшей нормальной школы, Франция создали программу для автоматического анализа видео-инструкций, например, «как поменять колесо на автомобиле». Алгоритм просматривает несколько роликов на одну и ту же тему, после чего поэтапный план выполнения задания, где каждый шаг сопровождается кадром-иллюстрацией из видео. Описание работы приводится в препринте на arXiv.org.Алгоритм по очереди анализирует видеоряд и текстовую транскрипцию ролика, в каждом случае используя методы кластеризации для поиска ключевых блоков. В случае текста программа выделяет только словосочетания, содержащие инструкцию: «ослабьте болт», «поднимите машину», «снимите колесо». Совершив эту операцию для нескольких вариантов инструкции, алгоритм выравнивает полученные цепочки и в итоге получает усредненную последовательность действий.Каждый кадр видео представляется в виде вектора признаков, эволюция которого также разбивается на ключевые блоки. Эта задача осложняется тем, что в каждом ролике одна и та же операция как правило выглядит немного по-другому (разные ведущие, освещение и так далее). Программа представляет готовую инструкцию в виде пары «видео-текст».Готовый алгоритм тестировали на двух подборках видео-инструкций: 30 роликах «как поменять колесо» и 27 — «сердечно-легочная реанимация». Полученные инструкции авторы сравнивали с «базовой» последовательностью действий, которую составляли вручную. В случае роликов про замену колеса алгоритму удалось верно установить 90 процентов шагов, а для инструкции по оказанию первой помощи — 67 процентов. В обоих случаях удалось корректно подобрать кадры-иллюстрации к каждому этапу.
