×
Microsoft вводит интерфейс управления жестами

Почти каждый объект, с которым вы сталкиваетесь изо дня в день, предназначен для работы с человеческой рукой. Так что неудивительно, что так много исследований проводится в области отслеживания жестов рук. Инженеры хотят создать более интуитивно понятные компьютерные интерфейсы. На слуху уже есть такие проекты, как DeepHand из университета Пурдю или потребительский продукт Leap Motion. Но этого недостаточно, и сама Microsoft обозначила некоторые проекты, которые имеют дело с отслеживанием рук, тактильной обратной связью и вводом жестов.

 

«Как мы взаимодействуем с вещами в реальном мире? – спрашивает Джейми Шоттон (Jamie Shotton), исследователь Microsoft в лаборатории в Кембридже, Великобритания. – Мы их берем в руки, мы касаемся их нашими пальцами, мы манипулируем ими. Так что логично, что мы должны быть в состоянии делать то же самое с виртуальными объектами. Мы должны быть в состоянии протянуть руку и прикоснуться к ним».

 

Исследователи полагают, что отслеживание жестов – это следующий этап в том, как люди взаимодействуют с компьютерами и умными устройствами. Сочетание жестов с помощью голосовых команд и традиционных методов физического ввода, таких как сенсорные экраны и клавиатуры, позволит окружающей среде распознавать компьютерные системы, такие как Интернет вещей. Устройства смогут лучше предвидеть наши потребности.

 

Вот видео проекта Handpose:

 

 

Первое большое препятствие состоит в том, что человеческая рука чрезвычайно сложна и отслеживание всех возможных конфигураций – это чрезвычайно сложная задача, по-настоящему массовое предприятие. Выше на видео вы увидели проект Handpose. Он находится в центре внимания научно-исследовательской команды в Кембриджской лаборатории Microsoft, которая использует датчик Kinect. Такой вы можете найти в комплекте с консолью Xbox. Она отслеживает движения рук и тела в режиме реального времени и отображает виртуальные версии человека, имитируя то, что делает реальный человек. Этот инструмент достаточно точен, чтобы позволить пользователям управлять цифровыми переключателями и циферблатами с ловкостью, которой можно ожидать от физических рук. Так что спокойно может быть запущено потребительское устройство, чтобы, например, управлять планшетами.

 

«Мы получаем такую точность, что пользователь может начать чувствовать себя как аватар. Его рука – это их реальная рука», – говорит Шоттон.

 

Еще одним ключевым аспектом к ощущению, что цифровые руки на самом деле ваши собственные, приходит к вам через чувство осязания. В то время как пользователи виртуальных коммутаторов и циферблатов по-прежнему сообщают об ощущении, погружение с обратной тактильной связью – это уже совсем другой уровень. Им занимается команда Microsoft в Редмонде, штат Вашингтон. И там с проектом Handpose уже больше работают на практике, буквально касаясь каждого предмета или заставляя пользователя в это поверить.

 

Эта система, считывая движение руки, способна распознавать, что физическая кнопка, не подключенная ни к чему в реальном мире, была отодвинута. Использование системы перенацеливания позволяет нескольким контекстно зависимым командам буквально влиять на наш мозг. Мы должны верить, мы должны чувствовать. Мозг ведь можно легко обмануть. Этим инженеры и занимаются. Если в реальном мире сложно почувствовать прикосновение руки при взаимодействии с компьютером, то в виртуальном – без проблем. Мозг перестает видеть разницу и начинает дорисовывать несуществующие объекты ровно так, как привык с ними взаимодействовать.

 

Это означает, что даже ограниченного набора виртуальных объектов на небольшой панели в реальном мире достаточно, чтобы взаимодействовать со сложным набором виртуальных ручек и ползунков. Например, как в кабине самолета. Те же немые физические фактические кнопки и циферблаты помогают сделать виртуальные интерфейсы более чувствительными. Остается только отвлечь мозг, чтобы он начал верить в их реальность. И начинаются чудеса. Вот уже и кнопки становятся тугими, вот и рычаги отдают металлическим холодком. Пока мы не можем это подтвердить, но исследователи говорят именно так.

 

Третий проект, который выходит из лаборатории перспективных технологий Microsoft, находится в Израиле. Разработчики по проекту «Прага» (Project Prague) создают программное обеспечение, которое включает жесты рук для выполнения различных функций в своих приложениях и программах. Так, изображая поворот ключа, например, можно заблокировать компьютер, или, делая вид, что вешаете трубку телефона, можно завершить вызов Skype.

 

Исследователи построили эту систему путем подачи миллионов жестов рук алгоритму машинного обучения. Искусственный интеллект учится распознавать определенные жесты и использует сотни микроискусственных разведывательных подразделений, чтобы построить полную картину положений рук пользователя, а также их намерение. Он сканирует руки с помощью 3D-камеры потребительского уровня.

 

Команда считает, что в дополнение к играм и виртуальной реальности ее технология будет внедряться и в повседневную жизнь, используясь в том числе для просмотра веб-страниц и создания и проведения презентаций. Вскоре технологии внедрятся в нашу жизнь совсем на другом уровне.

 

В видео ниже вы можете посмотреть, как исследователи демонстрируют и проект «Прага» в действии:

 

 

Автор: Степан Мазур

 

Оригинал фото: gizmag