Новая разработка позволит каждому понимать язык жестов

Специалисты Поднебесной создали систему распознавания жестов на основе Kinect

(фото Microsoft).

Учёные из Microsoft Research Asia продемонстрировали программное обеспечение, которое позволяет Kinect "читать" язык жестов, следя за руками

(фото Microsoft).

Прототип системы способен переводить жесты в разговорный язык и наоборот на достаточной для свободного общения скорости

(фото Microsoft).

До сих для преодоления коммуникативного барьера между глухими и слышащими людьми всегда был необходим третий человек – тот, кто прошёл обучение языку жестов. Но новый переводчик, способный преобразовать жесты в устную и письменную речь (и наоборот), может помочь лишённым слуха людям приобрести новый круг общения, в том числе и среди тех, кто не обучен понимать язык жестов.

Команда исследователей из Китая разработала переводчик на базе персонального компьютера, камеры и устройства Kinect, способный распознавать жесты и затем производить устный и письменный перевод для слышащего человека – на английском или китайском языках. Система способна действовать и наоборот, распознавая произнесённые вслух слова. Аватар, отображающийся на экране, воспроизведёт сказанное с помощью жестов. "Разговор" может происходить в режиме реального времени, так как перевод осуществляется оперативно.

Изначально датчики Kinect, способные распознавать движения рук и тела и переводить их в различные команды, были разработаны для игровых целей. В июне 2011 года компания Microsoft выпустила Kinect для Windows Software Development Kit, что позволило сделать данную технологию доступной и для научного использования.

Учёные из Microsoft Research Asia продемонстрировали программное обеспечение, которое позволяет Kinect "читать" язык жестов, следя за руками (фото Microsoft).

Для того чтобы собрать данные из реального мира и точно откалибровать алгоритмы переводчика, разработчики проекта привлекли группу преподавателей и студентов из Пекинского объединённого университета (Beijing Union University). Среди участников была талантливая молодая студентка Даньдань Инь (Dandan Yin), которая сказала, что исследователи проекта воплотили её детскую мечту, создав машину для людей с нарушениями слуха.

Профессор Силинь Чэнь (Xilin Chen), заместитель директора Института вычислительных технологий при Китайской академии наук, провёл последние десятилетия, изучая язык жестов. "Мы знали, что информационные технологии, особенно технологии компьютерные, развиваются очень быстро, – сказал он. – Так что с моей точки зрения, наступило время, когда можно использовать некоторые технологии для помощи людям, страдающим нарушениями слуха. Технология машинного обучения и распознавания шаблонов способна анализировать не только сам жест, но и движения и позы, чтобы верно интерпретировать смысл жеста".

Прототип системы способен переводить жесты в разговорный язык и наоборот на достаточной для свободного общения скорости (фото Microsoft).

Представленное устройство на настоящий момент находится в фазе прототипа. Разработчикам ещё предстоит выполнить огромный объём работы для "ввода" жестов в программу. Для распознавания одного слова необходима работа пяти человек, а сейчас в запасе у переводчика есть только 300 из 4 тысяч запланированных китайских слов. Ко всему прочему, английский и китайский языки жестов сильно отличаются друг от друга, а разработчики в идеале хотели бы, чтобы понимание происходило вне зависимости от национальности.

Специалисты из Microsoft Research Connections, Microsoft Research Asia, Китайской академии наук (Chinese Academy of Sciences), Пекинского объединённого университета работают над этим проектом. Все они надеются, что новая технология поможет открыть целый новый мир возможностей примерно 360 миллионам глухих или слабослышащих людей. Планируется, что однажды система охватит не только английский и китайский, но и все употребляемые языки мира.

Предполагается, что новое устройство будет использовано в местах, где общение между слышащими и глухими неизбежно, например, в информационном киоске аэропортов или в кабинетах врачей. Такая новинка обеспечит лишённых слуха людей новыми возможностями для общения и, конечно же, новыми рабочими местами.

Также по теме:
На Украине созданы перчатки, переводящие с языка жестов
В МФТИ научили компьютер понимать жесты
"Яндекс" учит телевизоры понимать язык жестов
Ученый из Благовещенска научил компьютер "узнавать" людей
Службы на языке жестов станут регулярными
Японские очки заменят путешественникам переводчика