Виртуальная и смешанная реальности сходятся в новом симуляторе вождения

Portobello, новый симулятор вождения, разработанный исследователями из Cornell Tech, сочетает в себе виртуальную и смешанную реальности, позволяя водителям и пассажирам видеть виртуальные объекты, наложенные на реальный мир.

Эта технология открывает перед исследователями новые возможности для проведения одних и тех же исследований пользователей как в лаборатории, так и в дороге — новая концепция, которую команда называет «переносимостью платформы».

Исследовательская группа под руководством Венди Джу, доцента Технионско-Корнеллского института Джейкобса при Корнельском технологическом институте, представила свою статью «Портобелло: расширенное моделирование вождения от лаборатории до дороги» на конференции ACM по человеческому фактору в вычислительных системах. (ЧИ) в мае. Статья получила почетное упоминание на конференции.

В число соавторов входили докторанты Фаньджун Бу, Стейси Ли, Дэвид Гедике и Марк Колли; и Гьянендра Шарма, промышленный консультант из Woven by Toyota.

Portobello — это система моделирования вождения по дороге, которая позволяет водителям и пассажирам использовать гарнитуры смешанной реальности (XR). Мотивацией команды к разработке Portobello послужила работа над XR-OOM, системой симулятора вождения XR. Инструмент мог объединить аспекты физического и цифрового миров, но у него были ограничения.

«Хотя мы могли размещать виртуальные объекты внутри и вокруг автомобиля, такие как виртуальные дисплеи и виртуальные приборные панели, у нас были проблемы с размещением виртуальных событий относительно объектов в реальном мире, таких как виртуальный пешеходный переход на реальном пешеходном переходе или виртуальная остановка автомобиля у реальных знаков остановки», — сказал Бу.

Это стало серьезным препятствием для проведения значимых исследований, особенно для экспериментов по автономному вождению, которые требуют точной постановки объектов и событий в фиксированных местах в окружающей среде.

Portobello был задуман, чтобы преодолеть эти ограничения и закрепить симуляцию вождения по дороге в физическом мире. На этапе проектирования исследователи используют систему Портобелло для создания точной карты исследуемой среды. На этой карте они могут стратегически размещать виртуальные объекты на основе элементов реального мира (например, размещать виртуальных пешеходов возле знаков остановки). Транспортное средство работает в одной и той же отображаемой среде, плавно сочетая симуляцию и реальность.

Благодаря успешной интеграции Portobello команда не только устранила ограничения XR-OOM, но и обеспечила переносимость платформы. Это нововведение позволяет исследователям проводить идентичные исследования как в контролируемых лабораторных условиях, так и в реальных условиях вождения, повышая точность и применимость своих выводов.

«Участники рассматривают лабораторные симуляторы как визуальное приближение к сценариям реального мира, почти как перформативный опыт», — сказал Бу. «Однако участники рассматривают дорожные симуляторы как функциональные аппроксимации. [They] чувствовали больший стресс в дорожных симуляторах и чувствовали, что их решения имеют больший вес».

Бу сказал, что Портобелло может способствовать «объединению исследований» — проведению одного и того же исследования в разных средах. Это, по его словам, не только делает выводы более реалистичными, но и помогает выяснить, как другие факторы могут повлиять на результаты.

Цзюй сказал: «Мы считаем, что если выйти за рамки проведения первоначальных исследований и позволить проявиться некоторым отклонениям от реального мира, результаты исследований будут более применимы к реальным условиям».

Хироши Ясуда, исследователь взаимодействия человека и машины из Исследовательского института Toyota (TRI), также внес свой вклад в исследование.