Российские специалисты научили искусственный интеллект определять настроение толпы

Система работает даже с видео низкого качества.

Фото Pixabay.

Учёные Высшей школы экономики (ВШЭ) разработали алгоритм, позволяющий распознавать эмоции группы людей по видео низкого качества. Программа выдаёт итоговое решение всего за одну сотую долю секунды, то есть быстрее, чем любые другие существующие алгоритмы.

Разработка описана в научной статье, представленной в трудах Международной конференции по анализу изображений, социальных сетей и текстов 2018 года (International Conference on Analysis of Images, Social Networks and Texts 2018).

Анализ социального поведения людей по изображениям и видео – одна из наиболее популярных задач для разработчиков искусственного интеллекта. Учёные добились достаточно высокой точности в определении эмоций группы лиц. Однако большинство подобных систем требует, чтобы анализируемые изображения содержали крупные планы лиц в хорошем разрешении. При этом обычная камера, установленная на улице или в супермаркете, обладает низким разрешением и расположена достаточно высоко.

Исследователи ВШЭ Александр Тарасов и Андрей Савченко разработали алгоритм, который по точности распознавания сопоставим с существующими программами (75,5%). При этом он занимает в памяти видеосистемы лишь пять мегабайт, справляется с задачей всего за одну сотую секунды, и применим на видеоданных низкого качества.

Алгоритм работает в несколько этапов. Вначале фото обрабатывает нейронная сеть MTCNN, которая традиционно используется для работы с небольшими изображениями лиц. Далее подключается нейросеть-классификатор изображений, предварительно обученная распознавать эмоции на лицах в очень маленьком разрешении – не больше аватара в социальных сетях. Она извлекает из каждого портрета признаки негативного, позитивного или нейтрального эмоционального настроя. Итоговое решение об эмоциях анализируемой группы принимается на основе усреднённых признаков всех выделенных лиц.

Новая разработка имеет перспективы использования в самых разнообразных областях. С её помощью можно зафиксировать изменение настроения толпы на концерте, футбольном матче или митинге, что позволит вовремя предотвратить развитие конфликта. Интегрированная в системы видеонаблюдения супермаркета, она будет определять эмоциональную реакцию посетителей на различные промо-акции. А в связке с видеокамерой, снимающей публичное выступление, – измерять отклик зрителей.

Напомним, что ранее "Вести.Наука" (nauka.vesti.ru) писали о системах, различающих притворную и настоящую боль, а также о роботе, распознающем и копирующем человеческие эмоции.