Возможность отслеживать жесты рук имеет решающее значение для развития устройств дополненной реальности (AR) и виртуальной реальности (VR), которые уже начинают пользоваться большим спросом в медицине, спорте и развлечениях. На сегодняшний день в этих устройствах используются громоздкие перчатки для передачи данных, которые, как правило, препятствуют естественному движению, или контроллеры с ограниченным диапазоном чувствительности.
Теперь исследовательская группа под руководством Хидеки Койке из Tokyo Tech разработала систему распознавания позы руки на запястье на основе камеры, которая в будущем может быть на одном уровне с умными часами. Их система может, что важно, позволять фиксировать движения рук в мобильных настройках.
«Эта работа – первая основанная на зрении система оценки позы руки в режиме реального времени, использующая визуальные особенности тыльной области руки», – говорят исследователи. Система состоит из камеры, поддерживаемой нейронной сетью DorsalNet, которая может точно оценивать трехмерные позы рук, обнаруживая изменения на тыльной стороне кисти.
Исследователи подтвердили, что их система превосходит предыдущую работу, обеспечивая в среднем на 20% более высокую точность распознавания динамических жестов и достигает 75% точности обнаружения одиннадцати различных типов захвата.
Эта работа может способствовать развитию контроллеров, поддерживающих взаимодействие «голыми руками».
В предварительных тестах исследователи продемонстрировали, что их систему можно будет использовать для управления интеллектуальными устройствами, например, для изменения времени на умных часах, просто изменив угол наклона пальца. Они также показали, что можно использовать систему как виртуальную мышь или клавиатуру, например, вращая запястье для управления положением указателя и используя простую 8-клавишную клавиатуру для ввода текста.
Они отмечают, что для реального использования потребуются дальнейшие улучшения системы, такие как использование камеры с более высокой частотой кадров для захвата быстрого движения запястья и возможность справляться с более разнообразными условиями освещения.