Специалисты компании "Карфидов Лаб" разработали конструкцию шлема Nimble — первой российской системы захвата и переноса мимики человека на 3D-персонажа в реальном времени.
Проект ориентирован на производство анимационного и игрового кино, телепередач, компьютерных игр и VR/AR-приложений. Отмечается, что на создание системы Nimble ушло более трёх лет и десятки тысяч долларов США.
Перед инженерами стояла задача спроектировать шлем для съёмки мимики. При этом устройство должно было быть комфортным для длительной эксплуатации. Основные сложности изготовления связаны с тем, что сканирование происходит в условиях активных перемещений человека.
Готовое изделие позволяет производить "сканирование" мимики человека прямо на съёмочной площадке. Данные, полученные со шлема, в режиме реального времени обрабатываются программной частью. Последняя осуществляет визуализацию мимики трёхмерного персонажа непосредственно во время самой съёмки.
Отмечается, что в эргономичном шлеме комфортно работать в течение полного съёмочного дня, что существенно сокращает производственный цикл и ускоряет процесс съёмок.
"Конструкция, которая на первый взгляд выглядит просто и красиво, скрывает в себе новые технические решения российских инженеров в области микроэлектроники. Над ней работали лучшие инженеры города (Москвы — прим.ред.)", — рассказывает Алексей Карфидов, сооснователь "Карфидов Лаб".
Систему Nimble можно использовать в производстве художественного и документального игрового кино, а также в мультипликации и игровой индустрии. Разработка позволяет в режиме реального времени переносить мимику актёра на трёхмерного персонажа, улавливая тончайшие нюансы игры.
"Использование системы захвата и переноса мимики Nimble расширит возможности телеканалов и кинокомпаний, поможет создавать необычный контент и представлять известные программы и фильмы в новом свете", — прокомментировал Дмитрий Шуров, руководитель отдела исследований и разработок студии CGF.
Пилотное тестирование системы прошло в рамках кинопроекта "Напарник": благодаря использованию системы Nimble мимика народного артиста РФ Сергея Гармаша была перенесена на "компьютерного" ребенка.
С осени разработка продолжается при финансовой поддержке Фонда содействия инновациям. Сейчас Nimble задействован в нескольких кинопроектах, в частности в художественном фильме "Конёк-горбунок" и короткометражном анимационном фильме "Реликты".
К слову, ранее авторы проекта "Вести.Наука" (nauka.vesti.ru) рассказывали о роботе-мимике, который распознаёт и копирует человеческие эмоции.
