"Бесшумная" гарнитура позволит людям общаться с компьютерами без слов

Разработчик Арнав Капур демонстрирует систему AlterEgo.

Разработчик Арнав Капур демонстрирует систему AlterEgo.
Фото MIT.

Специалисты Массачусетского технологического института разрабатывают новую систему AlterEgo, позволяющую пользователям молча "разговаривать" с компьютерами, а также слушать их без помощи ушей.

Специалисты Массачусетского технологического института (MIT) разрабатывают новую систему AlterEgo, позволяющую пользователям молча "разговаривать" с компьютерами, а также слушать их без помощи ушей. Звучит интригующе?

На первый взгляд может показаться, что головная гарнитура AlterEgo выглядит достаточно странно. И действительно, вместо привычного дуэта наушников и микрофона, новое устройство представляет собой громоздкую белую пластиковую, да ещё и кривую штуковину, напоминающую челюсть какого-то удивительного зверя. При этом устройство свисает с уха пользователя и загибается так, чтобы коснуться его подбородка.

Впрочем, дизайн AlterEgo взят, конечно же, не с потолка: он основан на сложной технологии. Внутри AlterEgo находятся электроды, считывающие показатели с челюсти и лица (нейромышечные сигналы). Последние генерируются, когда человек обдумывает слова в своей голове. Такой процесс называется субвокализацией. Это, к примеру, мысленное проговаривание текста при чтении про себя.

Именно этот процесс позволяет новому устройству выступать в роли микрофона для компьютера, фактически "улавливая" звуки, которых по сути нет. А наушники с костной проводимостью передают звуки от компьютера к пользователю. Система отправляет информацию сразу во внутреннее ухо через кости черепа.

Примечательно, что специалисты уже более века знают о субвокализации. Но в вопросе создания компьютерных интерфейсов, использующих данное свойство, инженеры пока почти не продвинулись.

Чтобы понять, как лучше спроектировать гарнитуру AlterEgo, специалисты MIT использовали набор из 16 электродов, установленных на различных частях лиц людей. Таким образом разработчики искали места, где лучше всего фиксируются нейромышечные сигналы. В рамках эксперимента они попросили добровольцев произнести про себя четыре слова подряд.

Оказалось, что фактически необходимо лишь четыре электрода, а значит, в будущем устройство, скорее всего, будет чуть менее громоздким.

Пока использующиеся алгоритмы работают с довольно скудным словарным запасом: примерно 20 слов для каждой серии компьютерных задач. Например, к ним относятся задание на умножение: человек может ходить по магазину и мысленно произносить цену каждого выбранного товара, система сама подсчитает итоговую сумму. Это отлично показано на видео.

 

После того, как слова субвокализированы (произнесены в голове), нейронная сеть передаёт данные через ряд простых узлов обработки, которые ищут корреляцию между нейромышечными сигналами и конкретными словами.

Испытание системы с участием десяти человек, потративших 15 минут на настройку прототипа под себя и 90 минут на выполнение компьютерных упражнений, показало 92-процентную точность.

Несмотря на хорошие результаты, авторы работы уверены, что систему можно сделать ещё лучше при помощи большего количества учебных данных для AlterEgo.

"Мы находимся на середине сбора данных, и результаты уже довольно неплохи. Я считаю, что когда-нибудь у нас получится провести полноценный разговор", — говорит ведущий исследователь проекта Арнав Капур (Arnav Kapur).

Согласно данным MIT, система сделает общение с компьютером молчаливым и полностью приватным. Говоря о преимуществах новой системы, учёные отмечают возможность использования компьютера в качестве вспомогательного средства для победы над соперником в игре в шахматы. Человек будет молча сообщать устройству о возможных ходах, а взамен получать советы.

Если же говорить о других применениях AlterEgo, то специалисты вспоминают кабину самолёта для пилотов, где всегда слишком шумно для разговоров.

Капур видит для системы и существенно более важное применение. По его словам, мотивацией для проекта было создание УИ-устройства – системы для усиления интеллекта (ntelligence-augmentation device). Они хотели получить систему, которая "в некотором роде объединит человека и машину".

Такой интерфейс позволит пользователям перестать запоминать бесконечные коды доступа, покончить с набором текста на клавиатуре и постоянной "вознёй" с цифровыми устройствами. А ведь это отвлекает многих людей от самых важных задач и значительно замедляет их выполнение.

Исследователи представили свою разработку в марте на Конференции по интеллектуальному пользовательскому интерфейсу (Conference on Intelligent User Interface) в Японии.

Добавим, что ранее парализованные люди установили новый рекорд печатания текста при помощи силы мысли. А в США состоялось первое соревнование гоночных дронов, управляемых силой мысли.