У Окулус Квест (как исходного, так и вторая модель ) есть интересная история добавления новых функций спустя долгое время после того, как оборудование появилось в эксплуатации. Самый известный из них — Окулус Ссылка, который фактически превращает Quest в Oculus Rift. Эта функция оказалась настолько успешной, что Oculus решила прекратить выпуск всех своих гарнитур, кроме Quest.
Отслеживание рук не произвело такого фурора, как Oculus Link, но это по-прежнему потрясающая функция с большим потенциалом. При отслеживании рук вам вообще не нужны контроллеры. Ваши собственные руки оцифрованы в мире VR!
Если у вас есть Quest или вы думаете о его покупке, стоит знать, как работает отслеживание рук и как оно может улучшить работу виртуальной реальности.
Как Quest отслеживает мир
В Oculus Quest используется инновационный подход к отслеживанию движения, который обычно называют отслеживанием «наизнанку», и который сильно отличается от того, как отслеживание движения работало в прошлом.
Когда в середине 2010-х годов были выпущены первые гарнитуры нового поколения, в них использовалась одна или несколько внешних камер слежения. Специальные индикаторы движения на гарнитуре сообщали камере, где именно находилась гарнитура по отношению к ней. С помощью умных математических вычислений эти данные можно затем преобразовать в очень точное отслеживание движения в трехмерном пространстве. Именно так гарнитуры виртуальной реальности премиум-класса предлагают «шесть степеней свободы», также известную как 6DoF.
Quest перемещает датчик камеры на саму гарнитуру, в данном случае размещая его в стратегически важных местах устройства. Другие гарнитуры могут использовать еще больше камер для повышения точности. Эти четыре камеры позволяют Quest смотреть на реальный мир вокруг вас и определять ваше положение в этом пространстве.
Именно это позволяет Quest быть автономным и портативным. Это также функция, которая позволяет в первую очередь отслеживать движение рук с помощью Oculus.
Стандартные сенсорные контроллеры Oculus
Чтобы понять, что делает отслеживание рук Oculus таким впечатляющим, нам нужно начать с довольно обыденных физических контроллеров, которые входят в комплект Oculus Quest. Каждый из них полностью отслеживается с помощью внутренних датчиков и специальных маркеров отслеживания движения, которые сообщают встроенным камерам Quest, где находятся контроллеры относительно гарнитуры..
Когда вы держите сенсорные контроллеры в виртуальной реальности, они отслеживаются с невероятной точностью. Используя кнопки захвата и триггера на контроллере, программное обеспечение VR может создать убедительный опыт захвата предметов и манипулирования ими. Это очень эффективно используется в таких играх, как Период полураспада Аликс и Подъем, где захват предметов в мире виртуальной реальности является центральной частью игрового процесса.
Сенсорные контроллеры также обеспечивают тактильную обратную связь благодаря устройствам, называемым «линейными актуаторами», которые могут создавать физические ощущения от столкновения с предметами, вибрацию и другие сенсорные ощущения. Стики и кнопки также предлагают привычный способ перемещения по виртуальному пространству, когда вы физически не можете передвигаться в реальном пространстве.
Основным недостатком этого метода по сравнению с отслеживанием рук является то, что у вас есть крючки для рук. Вы можете выполнять простые сжимающие движения виртуальными руками, но на этом все. Это не кажется серьезным ограничением, когда игры разрабатываются с использованием контроллеров, но отслеживание рук открывает целый ряд новых возможностей в виртуальной реальности.
Что делает отслеживание рук Oculus
Когда отслеживание рук включено, вы увидите точное представление ваших реальных рук в мире виртуальной реальности. Каждое движение ваших пальцев или запястья будет отражаться в их виртуальных двойниках.
Отслеживание рук больше не является бета-функцией Quest. Теперь он интегрирован в операционную систему и многие собственные приложения Quest. Первым важным преимуществом здесь является то, что если вы просто хотите быстро надеть Quest и посмотреть фильм в виртуальной реальности или просмотреть магазин приложений, вам не придется прилагать усилия по подключению сенсорных контроллеров. Используя только руки, вы можете получить доступ к системным меню и легко перемещаться по ним.
Теперь, когда отслеживание рук стало официальной функцией Quest, сторонние разработчики приложений могут добавлять ее в свои приложения. Уже существует ряд приложений, которые отлично используют функцию отслеживания рук Oculus, но мы уверены, что разработчики найдут еще много интересных способов, с помощью которых прямое отслеживание рук может изменить восприятие виртуальной реальности.
Как работает отслеживание рук Oculus
Результаты отслеживания рук просто потрясающие, но как оно на самом деле работает? Очевидно, что Oculus не собирается публиковать точные подробности своего фирменного решения, но мы знаем, какие технологии и принципы используются..
Во-первых, встроенные камеры необходимы для отслеживания рук. Они предоставляют не только информацию о стереоскопической глубине, но и визуальные данные для обработки с помощью машинного зрения. Что такое машинное зрение? Это ответвление искусственный интеллект, а именно области, известной как машинное обучение. Это та же технология, которая позволяет приложению камеры вашего телефона быстро распознавать лица на фотографии.
По сути, программное обеспечение должно узнать, что в данных изображения, предоставленных камерой, является рукой, а что нет. Вероятно, это было сделано путем показа программе тысяч и тысяч рук в разных средах, пока она не смогла надежно определить быстрый и эффективный способ отличить их от всего остального в вашей комнате.
Как только программное обеспечение сможет создавать точные виртуальные модели ваших рук в реальном времени, разработчики приложений смогут использовать их для чего угодно. Теперь вы можете точно манипулировать объектами в виртуальной реальности!
Отслеженные вручную варианты, которые стоит попробовать
Если у вас есть Oculus Quest, вы можете опробовать функцию отслеживания рук Oculus, не покупая какое-либо конкретное приложение. Как упоминалось выше, он работает в основной среде Quest, а также в нескольких сторонних приложениях. Что касается стороннего опыта, стоит выделить несколько.
Линия — это повествовательная игра стоимостью 4,99 доллара, которая также служит идеальной технической демонстрацией для отслеживания рук. В нем рассказывается история масштабной модели города, который работает на часовом механизме и рельсах.
Наш герой Педро влюблен в Розу, но не может избежать своей судьбы. Пока однажды не произойдет что-то новое. Вы взаимодействуете с миром их масштабных моделей, используя свою руку, чтобы поворачивать ручки, тянуть рычаги и возиться со всем, что можете. Это линейный и короткий опыт, но примерно за 15 минут можно очень увлекательно продемонстрировать отслеживание рук.
Вальс волшебника (9,99 доллара США) — еще одна отличная демонстрация этой технологии. Вы можете использовать свои руки, чтобы произносить заклинания и взаимодействовать практически со всем в окружающем вас мире виртуальной реальности. Если вы когда-нибудь хотели воплотить в жизнь фантазию о том, чтобы стать волшебником, который может стрелять молниями из рук, эта игра для вас!
Что вы думаете об отслеживании рук в Quest? Ты пробовал это? Какие игры вы бы порекомендовали? Поделитесь своими мыслями в комментариях..
.