
Ученые из Ратгерского университета в Нью-Джерси, США, обучили нейронную сеть для распознавания картин по жанрам, стилям и художникам. Их программа с точностью 60% определяла автора картины, с такой же точностью — жанр. Точность определения стиля оказалась гораздо меньше — чуть больше 30%, но это авторы объясняют малым размером выборки, в которой для некоторых стилей нашлось лишь не более 20 примеров. Препринт новой работы выложен на сайте arxiv.org.В качестве базы данных авторы использовали подборку «Wikiart paintings», которая находится в открытом доступе. В нее включено около 80 тысяч картин более тысячи живописцев. Для каждой картины также доступна информация о ее стиле (импрессионизм, барокко, кубизм и так далее) и жанре (пейзаж, портрет, натюрморт и подобные).Для обучения нейронной сети ученые использовали несколько алгоритмов, для которых они сравнивали точность и производительность. Все алгоритмы включали несколько основных этапов: выделение вектора «визуальных особенностей» по каждой картине, приведение полученного вектора особенностей к меньшей размерности при помощи той или иной метрики, обучение нейронной сети на части выборки и тестирование на тех картинах, которые не использовались при обучении.Под «визуальными особенностями» в данном случае имеются ввиду  характерные параметры изображений, которые можно описать численно. Часть из них имеет понятный для человека смысл, например, цветовая гамма картины или характерные форма и направления мазка, однако большинство не «переводятся» на человеческий язык. Для их выделения в работе использовались различные вариации метода главных компонент, который всю доступную цифровую информацию по картине разбивает на кластеры. Из этого разбиения ученые выбирают наиболее информативные параметры, которых в рамках новой работы было от 400 и более. Все визуальные особенности каждой картины записывались в виде вектора, размерность которого совпадала с числом особенностей. Для того, чтобы использовать эти вектора в задаче классификации, ученые вводили так называемую метрику — способ вычисления «схожести» нескольких векторов между собой. На основании этих метрик программа принимала решение об вероятном авторстве картины, а также о ее принадлежности к тому или иному жанру или стилю.Не все художники дались программе одинаково легко. Так, например, не удалось эффективно различать картины Клода Моне и Камиля Писсарро. Оба художника были импрессионистами, современниками и даже близкими товарищами, которые оказали друг на друга большое влияние. Аналогичным образом программа часто путала между собой природные и городские пейзажи, так как и там и там обычно используются натуральные цветовые гаммы и часто встречаются природные объекты вроде реки.Из более очевидных «путаниц» ученые отмечают, например, что программа часто смешивала стили «Ренессанс» и «ранний Ренессанс», «импрессионизм» и «постимпрессионизм», «кубизм» и «синтетический кубизм». Понятно, что эти стили родственны между собой, поэтому зачастую различий между двумя картинами оказывалось недостаточно для их уверенной классификации.В заключении ученые отмечают, что несмотря на неидеальную точность классификации, их программам удалось побить рекорды предшественников, особенно с учетом того, что в новой работе впервые использована такая большая и разнообразная база. Ранее попытки классификации произведений изобразительного искусства с помощью машинного обучения уже проводились, например в этой работе. Однако тогда речь шла не о определении стилей, а о составлении дерева подобности. Что касается соревнования между машинным обучением и работой экспертов в истории живописи — тут авторы занимают следующую позицию: люди все еще лучше справляются с задачей классификации, но компьютеры уже «наступают им на пятки». В любом случае, эксперты уже могут подчерпнуть много интересных и неизвестных ранее фактов и связей из работы программ-классификаторов.
