Что такое смешанная реальность (MR): принцип действия, области применения и многое другое

1. 1. Что такое смешанная реальность?
   2. Как работает смешанная реальность?
   3. Почему МР имеет важное значение?
   4. Области применения смешанной реальности
   5. Вопросы и ответы
   6. Создание более качественных решений в области смешанной реальности с помощью технологий оптических измерений

Что такое смешанная реальность?

Смешанная реальность (MR) — это технология, которая объединяет физический мир с цифровым контентом, позволяя реальным и виртуальным элементам сосуществовать и взаимодействовать в одном пространстве. Этот термин был введен в 1994 году исследователями Полом Милграмом и Фумио Кишино, которые описали смешанную реальность (MR) как часть спектра между полностью реальным миром и полностью виртуальной средой.

В отличие от простых цифровых наложений, технология смешанной реальности (MR) не ограничивается лишь наложением изображений или информации на то, что видят пользователи. Это позволяет виртуальным объектам реагировать на окружающую реальность и действия пользователя в режиме реального времени. Например, цифровой объект может появляться на реальном столе, оставаться неподвижным, когда пользователь перемещается, или управляться с помощью жестов рук, голосовых команд или движений глаз.

Проще говоря, смешанная реальность создает интерактивную среду, в которой физические и цифровые впечатления органично сочетаются друг с другом.

Особенности смешанной реальности

Смешанная реальность характеризуется рядом ключевых особенностей, которые отличают её от других иммерсивных технологий.

• Пространственное восприятие: Устройства на основе технологии виртуальной реальности (MR) используют камеры, датчики и технологии картографирования для анализа физического окружения. Они способны распознавать стены, полы, поверхности, предметы, освещение и границы. Это позволяет точно размещать цифровой контент в реальных пространствах, а не просто отображать его на экране.
• Взаимодействие в режиме реального времени: В среде смешанной реальности цифровые объекты могут мгновенно реагировать на действия пользователя и окружающую обстановку. Например, виртуальный персонаж может сидеть на реальном диване, а 3D-модель может оставаться привязанной к реальному столу, пока пользователь обходит его со всех сторон.
• Связь с реальным миром: MR не обеспечивает полного отделения пользователей от окружающей среды. С помощью прозрачных линз, камер или гибридных систем отображения пользователи могут по-прежнему видеть окружающий мир и оставаться в курсе происходящего в нем, взаимодействуя при этом с цифровым контентом.
• Естественные методы ввода: Системы виртуальной реальности (MR) зачастую поддерживают более интуитивные способы взаимодействия с контентом, такие как отслеживание движений рук, отслеживание взгляда, голосовое управление, распознавание движений и пространственный звук. Эти методы ввода позволяют пользователям управлять цифровыми элементами более естественным и иммерсивным образом.
• Высокопроизводительная обработка: Поскольку технология MR требует сбора данных, отслеживания, построения карт и визуализации в режиме реального времени, она зачастую зависит от мощных процессоров или облачных вычислений. Это позволяет устройствам виртуальной реальности обеспечивать более плавное изображение и более отзывчивое взаимодействие.

AR, VR и MR: в чём разница?

AR, VR и MR часто рассматриваются в одном контексте, поскольку все эти технологии меняют то, как пользователи воспринимают цифровой контент. В совокупности эти технологии являются частью Расширенная реальность (XR)— это общий термин, который включает в себя виртуальную реальность, дополненную реальность и смешанную реальность.

Полезным способом понимания технологий XR является рассмотрение континуум реальности и виртуальности, в котором описывается спектр от полностью физического мира до полностью виртуальной среды. На одном конце этого континуума находится реальный мир, в котором пользователи взаимодействуют исключительно с физическим окружением. На другом конце находится Виртуальная реальность (VR), в которой пользователи полностью погружаются в пространство, созданное с помощью компьютерных технологий.

Между этими двумя точками находятся дополненная реальность (AR) и смешанная реальность (MR). Оба подхода сочетают в себе элементы реального мира и цифровой среды, однако делают это по-разному. AR добавляет цифровую информацию к изображению реального мира, тогда как MR обеспечивает более глубокую интеграцию, при которой цифровой контент способен воспринимать физическое окружение, реагировать на него и взаимодействовать с ним.

Основное отличие заключается в том, степени интеграции цифрового контента с физическим окружением.

• Виртуальная реальность (VR) заменяет реальный обзор пользователя на смоделированную среду. Пользователи надевают гарнитуру, которая изолирует их от окружающей обстановки и погружает в полностью цифровой мир. Благодаря этому виртуальная реальность обеспечивает высокую степень погружения, однако при этом она отрывает пользователей от окружающей их физической среды.
• Дополненная реальность (AR) накладывает цифровую информацию на реальный мир. Например, с помощью AR можно отображать текст, изображения, навигационные подсказки или простую 3D-графику через смартфон, планшет или «умные» очки. Однако эти цифровые элементы, как правило, выступают в качестве наложений. Они отображаются в поле зрения пользователя, но не вступают в глубокое взаимодействие с объектами реального мира.
• Смешанная реальность (MR) обеспечивает более тесную взаимосвязь между цифровым контентом и реальным миром. Устройства виртуальной реальности способны анализировать окружающую пользователя среду, распознавать поверхности и объекты, а также размещать цифровой контент в реальных пространствах. Это означает, что виртуальный объект может оставаться привязанным к реальному столу, реагировать на движения пользователя или управляться с помощью естественных жестов.

Ознакомьтесь с нашим руководством, чтобы узнать больше об оптике дополненной реальности.

Как работает смешанная реальность?

Технология смешанной реальности основана на использовании сенсорных, изобразительных и вычислительных технологий для восприятия физического мира и размещения в нём цифрового контента. Вместо того чтобы отображать виртуальные элементы в виде простых наложений, системы смешанной реальности анализируют окружающую среду пользователя, отслеживают его движения и адаптируют цифровой контент в режиме реального времени.

Основой технологии МР является способность устройства собирать информацию из окружающей среды и превратить его в интерактивное 3D-пространство. Камеры, датчики и системы отслеживания определяют поверхности, объекты, глубину, освещение и положение пользователя. Это позволяет виртуальному контенту отображаться так, как будто он привязан к реальному объекту, например к столу, стене, оборудованию или полу.

МР также зависит от компьютерном зрении, что помогает системе интерпретировать то, что видит устройство. После анализа окружающей среды устройство может отображать цифровые объекты таким образом, чтобы они естественно вписывались в окружающую среду пользователя. Поскольку данный процесс требует значительных вычислительных ресурсов, некоторые системы MR также используют облачную обработку данных для обеспечения работы со сложной 3D-графикой, отображения в реальном времени и визуализации больших массивов данных.

Еще одним важным компонентом MR является ввод данных пользователем. Вместо того чтобы полагаться исключительно на клавиатуры, мыши или сенсорные экраны, системы смешанной реальности (MR) зачастую используют жесты рук, отслеживание движения глаз, голосовые команды, отслеживание движений и пространственный звук. Эти методы ввода позволяют пользователям управлять цифровым контентом более естественным образом, благодаря чему взаимодействие становится более непосредственным и захватывающим.

Хотя сенсоры и вычислительные мощности обеспечивают работу технологии смешанной реальности (MR), именно оптическая система определяет, каким образом отображается цифровой контент. Узнайте больше в нашем руководстве по Оптика AR здесь.

Распространенные устройства смешанной реальности

Технология смешанной реальности может реализовываться с помощью различных типов устройств в зависимости от уровня погружения и области применения.

• Наголовные дисплеи (HMD) являются одними из наиболее распространенных устройств МРТ. Эти устройства надеваются на голову и используют встроенные дисплеи, датчики, камеры и системы отслеживания для отображения цифрового контента в поле зрения пользователя. В некоторых устройствах виртуальной реальности (HMD) используется прозрачная оптика, что позволяет пользователям непосредственно видеть реальный мир, а цифровой контент отображается поверх него. Другие используют камеры и дисплеи для цифрового воссоздания окружающей среды пользователя с добавлением интерактивных виртуальных элементов.
• Проекционные дисплеи (HUD) отображать информацию непосредственно в поле зрения пользователя, чтобы ему не приходилось отвлекаться от выполняемой задачи. HUD часто используются в транспортных средствах, самолётах, шлемах и промышленных системах. Как правило, для представления информации в реальном времени в контексте они используют проектор, прозрачную поверхность для отображения изображения и компьютер.
• Системы CAVE (Cave Automatic Virtual Environment) создавать иммерсивные среды путем проецирования 3D-изображений на стены помещения. Пользователи могут просматривать виртуальные модели в натуральную величину и взаимодействовать с ними, что делает системы такого типа полезными для проведения инженерных экспертиз, моделирования, научных исследований и оценки прототипов.
• Мобильные устройства Такие устройства, как смартфоны и планшеты, также могут обеспечивать возможности, схожие с MR, благодаря встроенным камерам, датчикам движения и программным платформам. Эти устройства отображают цифровой контент поверх изображения с камеры в режиме реального времени, что делает их одним из наиболее доступных способов для потребителей погрузиться в смешанную цифровую и физическую среду.

Почему МР имеет важное значение?

Смешанная реальность играет важную роль, поскольку она меняет то, как люди получают доступ к цифровой информации, воспринимают её и взаимодействуют с ней. В отличие от традиционных форматов, при которых контент ограничивается плоскими экранами, технология смешанной реальности (MR) позволяет размещать данные, инструкции и 3D-визуальный контент непосредственно в физическом окружении пользователя. Благодаря этому цифровые интерфейсы становятся более практичными, интуитивно понятными и тесно связанными с реальными задачами.

Более естественное взаимодействие: Технология MR позволяет пользователям взаимодействовать с цифровым контентом с помощью жестов, голосовых команд, движений глаз и тела. Благодаря этому взаимодействие воспринимается как более естественное, чем при использовании только клавиатуры, мыши или сенсорного экрана.

Лучшее понимание сложной информации: Технология MR позволяет превратить плоскую информацию в интерактивные 3D-опыты. Пользователи могут просматривать цифровые модели под разными углами, изучать детали в масштабе и легче понимать пространственные взаимосвязи.

Повышение эффективности: MR помогает пользователям получать доступ к необходимой информации непосредственно в своей рабочей среде. Благодаря сокращению необходимости переключаться между экранами, документами и выполнением физических задач это позволяет сделать рабочие процессы более быстрыми, целенаправленными и удобными в управлении.

Более тесное сотрудничество: Технология виртуальной реальности (VR) делает совместную работу более наглядной и практичной, особенно когда команды, клиенты или эксперты находятся в разных местах. Пользователи могут совместно работать в одной смешанной среде, просматривать цифровые модели, добавлять визуальные инструкции и общаться с более полным контекстом, чем при стандартном видеозвонке.

Улучшенная удаленная поддержка: Технология MR позволяет пользователям, находящимся на месте, делиться своим видом реального мира с удаленными экспертами, которые могут предоставлять визуальные рекомендации, аннотации или пошаговые инструкции непосредственно в поле зрения пользователя. Это помогает компаниям быстрее решать проблемы, не прибегая при этом к постоянному физическому присутствию специалистов.

Более безопасное и гибкое обучение: Технология MR позволяет создавать интерактивные обучающие программы с пошаговыми инструкциями, не отрывая пользователей полностью от реального мира. Это позволяет учащимся выполнять задания, следовать инструкциям и укреплять уверенность в себе в контролируемой обстановке.

Более быстрое принятие решений: Благодаря сочетанию реального контекста и цифровой информации технология смешанной реальности (MR) помогает пользователям более четко оценивать ситуацию. Когда данные, визуальные материалы и инструкции появляются в нужном месте и в нужное время, решения принимаются с учетом более полного контекста и с меньшей степенью неопределенности.

Области применения смешанной реальности

Технологии смешанной реальности находят применение во всех отраслях, где людям необходимо осмысливать сложную информацию или принимать решения в реальных условиях. Его преимущество заключается в сочетании цифровых инструкций с реальным контекстом, что делает его особенно полезным в сферах, где важны точность, визуализация, удаленное сотрудничество и принятие решений в режиме реального времени. Давайте рассмотрим несколько реальных примеров применения технологии смешанной реальности:

Производство

В сфере производства технология MR помогает командам сопоставлять цифровые модели с реальной рабочей средой. Эти отрасли зачастую опираются на использование сложных деталей, соблюдение строгих стандартов качества и разработку подробных проектных планов. Технология MR упрощает сравнение того, что строится, с тем, что было спроектировано.

На производственном цехе работники могут использовать гарнитуры смешанной реальности (MR) для просмотра данных в режиме реального времени, поступающих из систем Интернета вещей (IoT), платформ искусственного интеллекта (ИИ) или цифровых двойников, в процессе проверки оборудования или сборки компонентов. Вместо того чтобы смотреть на отдельный экран или в печатное руководство, они могут видеть инструкции, показания приборов и предупреждения непосредственно в поле зрения.

МР также полезен для обеспечения качества. Команды могут накладывать 3D-модели конструкций на реальные изделия или строительные площадки для проверки точности выравнивания, размещения и сборки.

Здравоохранение

Здравоохранение является одной из областей, в которой магнитно-резонансная томография (МРТ) может привести к значительным изменениям, поскольку медицинским специалистам часто необходимо изучать сложные трехмерные структуры внутри человеческого тела. Традиционные медицинские изображения, такие как снимки и схемы, обычно просматриваются на плоских экранах. Технология МР позволяет врачам, хирургам и студентам изучать анатомию в более пространственном и интерактивном формате.

В ходе планирования хирургических вмешательств или проведения медицинских процедур с помощью МРТ можно накладывать трехмерные анатомические модели, такие как кости, кровеносные сосуды или органы, на изображение пациента или клиническое рабочее пространство. Это позволяет врачам лучше понимать внутренние структуры и способствует принятию более точных решений.

МР также играет важную роль в медицинском образовании. Это позволяет использовать высокореалистичные 3D-симуляции, благодаря которым студенты могут изучать анатомию без необходимости посещения реальной лаборатории. Слушатели могут изучать органы, системы организма и заболевания с различных точек зрения, что позволяет им глубже понять сложные структуры и функции.

Автомобилестроение

Автомобильная, авиационная и космическая отрасли в значительной степени зависят от точности проектирования, точности сборки и высокого уровня подготовки персонала. Технология MR удовлетворяет эти потребности, позволяя командам визуализировать сложные системы до их физического создания или в процессе сборки.

В сфере разработки автомобилей компании могут использовать технологию смешанной реальности (MR) для проверки конструкций транспортных средств в виртуальной среде, что позволяет сократить количество повторно изготавливаемых физических прототипов. Технология виртуальной реальности (MR) также может помочь техническим специалистам и персоналу освоить сложные процессы сборки, такие как сборка двигателя или тормозной системы, с помощью визуальных инструкций с пошаговыми указаниями.

Образование

MR преобразует образование, превращая абстрактные или сложные концепции в интерактивные занятия. Это особенно полезно при изучении предметов, требующих пространственного мышления, практических занятий или доступа к дорогостоящему оборудованию.

В классных комнатах учащиеся могут взаимодействовать с виртуальными объектами так, как будто те являются частью учебной среды. Например, они могут изучить молекулу в 3D, прогуляться по историческому зданию или провести виртуальный научный эксперимент.

Военные и полевые операции

Военные и полевые операции зачастую требуют принятия оперативных решений в сложных условиях. Система MR помогает в таких ситуациях, отображая информацию, критически важную для выполнения задачи, непосредственно в поле зрения пользователя.

Индивидуально настроенные гарнитуры для микроинтерфейса могут отображать тепловизионные изображения, 3D-карты в режиме реального времени, данные о местоположении и системную информацию в режиме реального времени, при этом пользователям не нужно отрывать взгляд от окружающей обстановки. Это позволяет персоналу одновременно отслеживать как физическую обстановку, так и цифровую информацию.

Развлечения и спорт

В сфере игр и развлечений технология смешанной реальности (MR) создает впечатления, которые реагируют на реальное окружение пользователя, делая опыт более захватывающим. В отличие от традиционных компьютерных игр, технология смешанной реальности (MR) позволяет размещать цифровых персонажей, объекты или эффекты в физическом помещении пользователя. Например, в игре с использованием технологии MR цифровой персонаж может сесть на настоящий диван, спрятаться за мебелью или передвигаться по жилому помещению игрока.

В спорте технология MR может способствовать как повышению вовлечённости болельщиков, так и улучшению подготовки спортсменов. Во время соревнований болельщики могут использовать приложения с технологией виртуальной реальности (MR) для просмотра оперативных данных об игроках, информации о соревнованиях или 3D-визуализации поля. Спортсмены также могут использовать тренировочные платформы на основе технологии MR для моделирования игровых ситуаций, анализа результатов и отработки навыков принятия решений в более иммерсивной среде.

Вопросы и ответы

Чем MR отличается от VR или AR?

В виртуальной реальности (VR) реальный мир полностью заменяется компьютерно-генерируемой средой, тогда как в дополненной реальности (AR) на изображение реального мира накладываются цифровые элементы. Технология MR идет ещё дальше, объединяя физические и цифровые элементы, что позволяет им взаимодействовать друг с другом. Цифровые объекты могут оставаться привязанными к реальным пространствам и естественным образом реагировать на движение, поверхности, жесты или голосовые команды.

В чём заключаются преимущества смешанной реальности?

К основным преимуществам смешанной реальности относятся более естественное взаимодействие, лучшее понимание сложной информации, повышение эффективности, более тесное сотрудничество, гибкие возможности обучения и ускорение процесса принятия решений. Благодаря размещению данных, инструкций и 3D-изображений непосредственно в физическом окружении технология смешанной реальности (MR) помогает пользователям работать с более полным контекстом, сократить количество переключений между экранами и сделать цифровой контент более практичным.

Какие устройства используются для МРТ?

С микровселенной можно взаимодействовать с помощью шлемов виртуальной реальности, проекционных дисплеев, систем CAVE, смартфонов и планшетов. Современные гарнитуры виртуальной реальности используют камеры, датчики, прозрачную оптику или системы отображения для построения карты окружающей среды и отображения цифрового контента. Мобильные устройства используют встроенные камеры и датчики движения для наложения виртуальных элементов на изображения реального мира в режиме реального времени.

Является ли смешанная реальность тем же, что и расширенная реальность?

Нет. «Смешанная реальность» и «расширенная реальность» — понятия, связанные между собой, но не тождественные. «Расширенная реальность» (XR) — это широкий общий термин, который охватывает виртуальную реальность, дополненную реальность и смешанную реальность. MR представляет собой один из компонентов XR, направленный на объединение физической и цифровой среды с возможностью взаимодействия в режиме реального времени.

Предлагает ли компания UPRtek решения для тестирования устройств МРТ?

Да. Многие устройства MR и AR, в том числе «умные» очки, используют волноводную оптику и микродисплеи для органичного объединения цифрового контента с реальным миром. UPRtek’s Решение для тестирования дисплеев, расположенных вблизи глаз (NED) оценивает как дисплей, так и оптическую систему, измеряя рабочие характеристики микродисплея, параметры волновода (такие как равномерность выходного зрачка, паразитный свет и цветовой сдвиг), а также визуальное восприятие человека. Это позволяет инженерам ещё до начала серийного производства быстро определить, связаны ли такие проблемы, как ореолы, цветовые ореолы или неравномерность яркости, с дисплеем или с оптической системой. Ознакомьтесь с нашим примером из практики здесь, чтобы узнать больше!

Создание более качественных решений в области смешанной реальности с помощью технологий оптических измерений

Обеспечение плавного взаимодействия в среде смешанной реальности зависит не только от передового программного обеспечения и технологий пространственных вычислений. На аппаратном уровне именно оптическая система (дисплей, линзы, волноводы и световой модуль) в конечном итоге определяет, насколько цифровой контент воспринимается пользователем как реалистичный, стабильный и комфортный.

В устройствах виртуальной реальности даже незначительные отклонения в яркости дисплея, точности цветопередачи или выравнивании изображения могут нарушить эффект погружения, вызвать зрительную усталость или привести к неудачному прохождению проверок качества на этапе производства. Это не абстрактные опасения. Эти показатели поддаются измерению, и их необходимо измерять — точно и неоднократно — на каждом этапе, начиная с научно-исследовательских и опытно-конструкторских работ и заканчивая серийным производством.

Решения UPRtek в области оптических измерений разработаны именно для таких условий:

• Для специалистов в области НИОКР и инженеров-оптиков: Проведите проверку яркости дисплея, точности цветопередачи (ΔE), MTF и равномерности освещенности в конфигурациях дисплеев, расположенных в непосредственной близости от глаз, включая условия ограниченного пространства для глаз (eyebox), характерные для гарнитур смешанной реальности (MR).
• Для отделов контроля качества и производства: Установите надёжные системы оптического контроля, которые позволяют своевременно выявлять отклонения, сокращают объём доработок и обеспечивают стабильность качества при любых объёмах производства.
• Для руководителей программ и менеджеров по продуктам: Компания UPRtek предлагает настраиваемые конфигурации измерений, которые адаптируются к архитектуре вашего устройства, независимо от того, проводите ли вы квалификационные испытания волноводного комбайнера, плоской линзовой системы или светового модуля микродисплея.

По мере того как технология МР развивается в направлении создания более тонких оптических систем, более широких полей зрения и повышения характеристик дисплеев, роль точной оптической метрологии становится всё более важной.

Готовы с уверенностью провести валидацию вашей оптической системы MR? Обратитесь к специалисту по оптическим измерениям компании UPRtek или ознакомьтесь с нашими решения для измерений в области AR/VR/MR!