複合現実（MR）とは：仕組み、活用例など

1. 1. 「複合現実（Mixed Reality）」とは何ですか？
   2. 複合現実（MR）はどのように機能するのでしょうか？
   3. MRはなぜ重要なのでしょうか？
   4. 複合現実（MR）の応用
   5. よくある質問
   6. 光学計測技術を活用した、より優れた複合現実（MR）体験の構築

「複合現実（Mixed Reality）」とは何ですか？

複合現実（MR） これは、現実世界とデジタルコンテンツを融合させる技術であり、現実と仮想の要素が同じ空間に存在し、相互に作用することを可能にするものです。 この用語は1994年に、研究者のポール・ミルグラムと岸野文雄によって提唱され、彼らはMRを「完全な現実世界」と「完全な仮想環境」の間のスペクトラムの一部として位置づけた。

基本的なデジタルオーバーレイとは異なり、MRは、ユーザーが見ている映像や情報の上に画像や情報を重ねるだけにとどまりません。 これにより、仮想オブジェクトが現実世界の環境やユーザーの操作にリアルタイムで反応できるようになります。 例えば、デジタルオブジェクトは現実のテーブル上に表示されたり、ユーザーが移動してもその場に固定されたり、手のジェスチャーや音声コマンド、あるいは眼球の動きによって操作されたりすることがあります。

簡単に言えば、ミックスド・リアリティとは、現実世界とデジタル世界の体験が自然に融合するインタラクティブな環境を作り出すものです。

複合現実（MR）の特徴

複合現実（Mixed Reality）は、他の没入型技術とは一線を画すいくつかの重要な特徴によって定義されます。

• 空間認識力： MRデバイスは、カメラ、センサー、およびマッピング技術を用いて、物理的な環境を把握します。 壁、床、表面、物体、照明、境界線を検知することができます。 これにより、デジタルコンテンツを単に画面上に浮かせるのではなく、現実空間に正確に配置することが可能になります。
• リアルタイムのやり取り： MR環境では、デジタルオブジェクトはユーザーや周囲の状況に即座に反応することができます。 例えば、バーチャルキャラクターが実際のソファに座ったり、ユーザーがその周りを歩き回っている間も、3Dモデルが実物の机に固定されたままだったりすることがあります。
• 現実世界とのつながり: MRは、ユーザーとその環境を完全に切り離すものではない。 透明なレンズやカメラ、あるいはハイブリッドディスプレイシステムを通じて、ユーザーはデジタルコンテンツとやり取りしながらも、現実の世界を見たり、その存在を認識し続けたりすることができます。
• 自然な入力方法： MRシステムは、ハンドトラッキング、アイトラッキング、音声制御、モーションセンシング、空間オーディオなど、コンテンツとより直感的にやり取りできる方法をサポートしていることがよくあります。 これらの入力方式により、ユーザーはデジタル要素をより自然かつ没入感のある方法で操作できるようになります。
• 高性能処理： MRでは、リアルタイムでの検知、追跡、マッピング、および視覚的レンダリングが必要となるため、多くの場合、高性能なプロセッサやクラウドベースのコンピューティングに依存することになります。 これにより、MRデバイスはより滑らかな映像と、より反応の良い操作を実現できます。

AR、VR、MR：その違いとは？

AR、VR、MRは、いずれもユーザーがデジタルコンテンツを体験する方法を変化させるため、しばしばまとめて議論される。 これらの技術は総じて、 拡張現実（XR）。これは、バーチャルリアリティ（VR）、拡張現実（AR）、複合現実（MR）を含む総称である。

XR技術を理解する上で役立つアプローチの一つは、 「現実と仮想の連続体」、これは完全に物理的な世界から完全に仮想的な環境に至るまでのスペクトルを説明している。 その連続体の一端には、ユーザーが物理的な環境とのみ相互作用する現実世界がある。 その反対側には バーチャルリアリティ（VR）。ユーザーがコンピュータで生成された空間に完全に没入できる技術です。

これら2つのポイントの間には 拡張現実（AR） および 複合現実（MR）. どちらも現実世界とデジタルの要素を組み合わせているが、その方法はそれぞれ異なる。 ARは現実世界の映像にデジタル情報を重ねて表示するのに対し、MRは、デジタルコンテンツが物理的な環境を理解し、それに反応し、相互作用できる、より深い融合を実現します。

主な違いは、 デジタルコンテンツが物理的な環境とどの程度深く結びついているかという点にあります。

• バーチャルリアリティ（VR） ユーザーの実世界の視界を、シミュレーションされた環境に置き換えます。 ユーザーは、周囲の音を遮断し、完全にデジタル化された世界へと没入させるヘッドセットを装着します。 これにより、VRは高い没入感をもたらす一方で、ユーザーを周囲の物理的な環境から切り離してしまう。
• 拡張現実（AR） 現実の世界の上にデジタル情報を重ね合わせます。 例えば、ARでは、スマートフォン、タブレット、またはスマートグラスを通じて、テキスト、画像、ナビゲーションの案内、あるいはシンプルな3Dグラフィックスを表示することができます。 ただし、こうしたデジタル要素は通常、オーバーレイとして機能します。 これらはユーザーの視野には映りますが、現実世界の物体とは深く関わり合うことはありません。
• 複合現実（MR） デジタルコンテンツと現実世界との間に、より高度なつながりを生み出します。 MRデバイスは、ユーザーの周囲の状況を把握し、表面や物体を認識し、現実空間にデジタルコンテンツを配置することができます。 つまり、仮想オブジェクトは実際のテーブルに固定されたままにしたり、ユーザーの動作に反応させたり、自然なジェスチャーで操作したりすることができるということです。

AR光学系について詳しく知りたい方は、ガイドをご覧ください。

複合現実（MR）はどのように機能するのでしょうか？

複合現実（Mixed Reality）は、センシング、イメージング、およびコンピューティング技術を活用して現実世界を認識し、その中にデジタルコンテンツを配置することで機能します。 MRシステムは、仮想要素を単なるオーバーレイとして表示するのではなく、ユーザーの周囲の環境を分析し、動きを追跡して、デジタルコンテンツをリアルタイムで調整します。

MRの中核となるのは、デバイスが 環境から情報を収集する能力 そして、それをインタラクティブな3D空間に変えます。 カメラ、センサー、および追跡システムが、表面、物体、奥行き、照明、およびユーザーの位置を検知します。 これにより、仮想コンテンツを、テーブル、壁、機械、床といった現実世界の場所に固定して表示させることができます。

MRはまた、 コンピュータビジョン, これにより、システムはデバイスが捉えた映像を解釈できるようになります。 環境を把握すれば、デバイスはデジタルオブジェクトをレンダリングし、ユーザーの周囲に自然に溶け込ませることができます。 この処理には強力な演算能力が必要であるため、一部のMRシステムでは、複雑な3Dグラフィックス、リアルタイムマッピング、および大規模なデータ可視化に対応するために、クラウドベースの処理も採用されています。

MRのもう一つの重要な要素は ユーザー入力です。 MRシステムは、キーボードやマウス、タッチスクリーンだけに頼るのではなく、手のジェスチャー、視線追跡、音声コマンド、モーショントラッキング、空間オーディオなどを活用することが多い。 これらの入力方法により、ユーザーはデジタルコンテンツをより自然な方法で操作できるようになり、より直接的で没入感のある体験が得られます。

センサーと演算能力がMRを実現する一方で、光学システムはデジタルコンテンツの表示方法を決定づける。 詳細については、当社のガイドをご覧ください。 AR光学系はこちら。

一般的な複合現実（MR）デバイス

ミックスド・リアリティは、没入感の度合いや用途に応じて、さまざまな種類のデバイスを通じて体験することができます。

• ヘッドマウントディスプレイ（HMD） 最も一般的なMR装置の一つです。 これらは頭部に装着し、内蔵されたディスプレイ、センサー、カメラ、追跡システムを利用して、ユーザーの視野内にデジタルコンテンツを表示します。 一部のHMDでは透明な光学系が採用されており、ユーザーは現実世界を直接見ながら、その上にデジタルコンテンツが表示されるようになっています。 また、カメラやディスプレイを用いてユーザーの周囲の環境をデジタルで再現し、そこにインタラクティブな仮想要素を追加するケースもあります。
• ヘッドアップディスプレイ（HUD） 情報をユーザーの視線の範囲内に直接表示するため、ユーザーは作業から目を離す必要がありません。 HUDは、自動車、航空機、ヘルメット、および産業用システムなどでよく使用されています。 通常、プロジェクター、透過型ディスプレイ、およびコンピューターを用いて、状況に応じたリアルタイムの情報を提示します。
• CAVE（Cave Automatic Virtual Environment）システム 部屋の壁に3D映像を投影することで、没入感のある空間を作り出します。 ユーザーは実物大の仮想モデルを閲覧・操作できるため、この種のシステムは、技術レビュー、シミュレーション、研究、および試作機の評価に有用です。
• モバイル端末 スマートフォンやタブレットなどのデバイスも、内蔵カメラやモーションセンサー、ソフトウェアプラットフォームを通じて、MRのような体験を実現することができます。 これらのデバイスは、ライブカメラ映像の上にデジタルコンテンツを表示するため、消費者がデジタルと物理的な環境が融合した世界を体験するための、最も手軽な手段の一つとなっています。

MRはなぜ重要なのでしょうか？

複合現実（MR）が重要なのは、人々がデジタル情報にアクセスし、理解し、それとの関わり方を変えるからです。 MRは、コンテンツを平面の画面に限定するのではなく、データや指示、3D映像コンテンツをユーザーの物理的な環境の中に直接配置します。 これにより、デジタル体験はより実用的で直感的になり、現実世界のタスクと密接に結びつくようになります。

より自然なやり取り： MRでは、ユーザーはジェスチャー、音声コマンド、眼球の動き、体の動きを通じてデジタルコンテンツとやり取りすることができます。 これにより、キーボードやマウス、タッチスクリーンだけを使う場合よりも、より自然な操作感を得ることができます。

複雑な情報の理解を深める： MRは、平面上の情報をインタラクティブな3D体験へと変えることができます。 ユーザーは、デジタルモデルをさまざまな角度から確認したり、縮尺に合わせて詳細を観察したり、空間的な関係性をより容易に把握したりすることができます。

効率の向上： MRは、ユーザーが作業環境内で直接、関連情報にアクセスできるようにします。 画面や文書、実際の作業を切り替える必要性を減らすことで、ワークフローをより迅速にし、集中力を高め、管理しやすくすることができます。

連携の強化： MRは、特にチームやクライアント、専門家が同じ場所にいない場合、コラボレーションをより視覚的かつ実用的なものにします。 ユーザーは同じハイブリッド環境を共有し、デジタルモデルを一緒に確認したり、視覚的な指示を追加したり、通常のビデオ通話よりも文脈を豊かにしてコミュニケーションをとることができます。

より充実したリモートサポート： MRを活用することで、現場のユーザーは実世界の視界を遠隔地の専門家と共有でき、専門家はユーザーの視野内に直接、視覚的なガイダンスや注釈、あるいは手順ごとの指示を提供することができます。 これにより、企業は専門家が常に現場に常駐する必要なく、問題をより迅速に解決できるようになります。

より安全で柔軟性の高いトレーニング： MRを活用すれば、ユーザーを現実世界から完全に切り離すことなく、ガイド付きのインタラクティブなトレーニング体験を創出することができます。 これにより、学習者は管理された環境の中で課題に取り組み、指示に従い、自信をつけることができます。

意思決定の迅速化： MRは、現実世界の状況とデジタル情報を組み合わせることで、ユーザーが状況をより明確に把握できるよう支援します。 データ、視覚情報、指示が適切なタイミングで適切な場所に提示されれば、より適切な文脈に基づいて、不確実性を低減しながら意思決定を行うことができます。

複合現実（MR）の応用

複合現実（MR）は、現実の環境において複雑な情報を理解したり、意思決定を行ったりする必要がある業界で、幅広く導入が進んでいます。 その強みは、デジタルによるガイダンスと物理的な状況を組み合わせている点にあり、精度、可視化、遠隔での共同作業、およびリアルタイムの意思決定が求められる分野において特に有用です。 MR技術の実際の活用事例をいくつか見てみましょう：

製造業

製造現場において、MRはチームがデジタルモデルと実際の作業環境を結びつけるのに役立ちます。 これらの業界では、多くの場合、複雑な部品、厳格な品質基準、そして詳細な設計図が不可欠となっています。 MRを活用することで、実際に建設されているものと設計図とを比較しやすくなります。

工場現場では、作業員はMRヘッドセットを使用して、設備の点検や部品の組み立てを行う際に、IoTシステム、AIプラットフォーム、あるいはデジタルツインからのリアルタイムデータを表示することができます。 別の画面や印刷されたマニュアルを確認する代わりに、作業範囲内に直接、操作手順、測定値、警告が表示される。

MRは品質保証の面でも有用です。 各チームは、3D設計モデルを実物の製品や建設現場に重ね合わせることで、位置合わせ、配置、および組み立ての精度を確認することができます。

医療

医療分野は、MRが大きな変革をもたらす可能性のある分野の一つです。というのも、医療従事者は、人体内部の複雑な3D構造を理解する必要がある場合が多いためです。 スキャン画像や図表などの従来の医療画像は、通常、フラットスクリーン上で閲覧されます。 MRを活用することで、医師、外科医、学生は、より空間的かつインタラクティブな方法で解剖学を学ぶことができます。

手術計画や医療処置の際、MRは、骨、血管、臓器などの3D解剖学的モデルを、患者や臨床作業スペースに重ねて表示することができます。 これにより、医師は内部構造をより明確に把握できるようになり、より的確な意思決定を行うことが可能になります。

MRは医学教育においても重要な役割を果たしています。 これにより、非常にリアルな3Dシミュレーションを活用できるようになり、学生は実際の実験室に行かなくても解剖学を学ぶことができます。 学習者は、臓器や身体のシステム、疾患について多角的な視点から探求し、複雑な構造や機能についてより深い理解を得ることができます。

自動車

自動車、航空、宇宙産業は、設計の正確さ、組み立ての精度、そして高度な訓練に大きく依存している。 MRは、チームが複雑なシステムを実際に構築する前、あるいは組み立ての最中に、そのシステムを可視化できるようにすることで、こうしたニーズに対応しています。

自動車開発において、企業はMRを活用して仮想環境内で車両設計を確認することができ、実物の試作車を繰り返し作成する必要性を減らすことができます。 また、MRを活用することで、技術者やスタッフが、エンジンやブレーキシステムなどの複雑な組み立て工程を、ガイド付きの視覚的な指示を通じて習得できるようになります。

教育

MRは、抽象的あるいは難解な概念をインタラクティブな体験に変えることで、教育を変革します。 これは、空間的な理解力や実践的な演習、あるいは高価な機器の使用が必要な科目において特に役立ちます。

教室では、生徒たちはまるで仮想オブジェクトが学習環境の一部であるかのように、それらとやり取りすることができます。 例えば、3Dの分子を観察したり、歴史的建造物の周囲を歩き回ったり、バーチャルな科学実験を行ったりすることができます。

軍事および実地作戦

軍事作戦や実地作戦では、複雑な環境下で迅速な意思決定が求められることがよくあります。 MRは、業務上不可欠な情報をユーザーの視野に直接表示することで、こうした状況に対応します。

カスタムMRヘッドセットは、ユーザーが周囲から目を離すことなく、熱画像、ライブ3Dマップ、位置情報、およびリアルタイムのシステム情報を表示することができます。 これにより、要員は物理的な環境とデジタル情報の両方を同時に把握し続けることができます。

エンターテインメントとスポーツ

ゲームやエンターテインメントの分野において、MRはユーザーの実際の周囲の環境に応じて体験を変化させ、より没入感のある体験を生み出します。 従来の画面ベースのゲームとは異なり、MRでは、ユーザーの実際の部屋の中にデジタルキャラクターやオブジェクト、エフェクトを配置することができます。 例えば、MRゲームでは、デジタルキャラクターを現実のソファに座らせたり、家具の陰に隠れたり、プレイヤーのリビングの中を動き回らせたりすることができます。

スポーツの分野において、MRはファンの関与を深めると同時に、選手のトレーニング効果を高めることができます。 ファンは、MRアプリを利用して、大会中に選手のリアルタイムデータやイベント情報、3Dコースの視覚化などを確認することができます。 また、アスリートはMRを活用したトレーニングプラットフォームを活用することで、試合の状況をシミュレートしたり、パフォーマンスを分析したり、より没入感のある環境で意思決定の練習を行ったりすることもできます。

よくある質問

MRはVRやARとどう違うのですか？

VRは現実世界をコンピュータで生成された環境に完全に置き換えるのに対し、ARは現実世界の映像にデジタル情報を重ね合わせます。 MRはさらに一歩進んで、物理的な要素とデジタルな要素を融合させ、両者が相互作用できるようにしています。 デジタルオブジェクトは、現実空間に固定されたまま、動きや表面、ジェスチャー、音声コマンドに自然に反応することができます。

複合現実（MR）にはどのようなメリットがありますか？

複合現実（MR）の主なメリットとしては、より自然なインタラクション、複雑な情報の理解促進、効率の向上、連携の強化、柔軟な研修、そして迅速な意思決定などが挙げられます。 MRは、データ、指示、3Dビジュアルを物理的な環境に直接配置することで、ユーザーがより適切な文脈の中で作業できるようにし、画面の切り替えを減らし、デジタルコンテンツの実用性を高めます。

MRにはどのような装置が使われていますか？

MRは、ヘッドマウントディスプレイ、ヘッドアップディスプレイ、CAVEシステム、スマートフォン、タブレットなどを通じて体験することができます。 高度なMRヘッドセットは、カメラ、センサー、透明光学系、またはディスプレイシステムを用いて周囲の環境をマッピングし、デジタルコンテンツを表示します。 モバイル端末は、内蔵カメラやモーションセンサーを利用して、現実世界のライブ映像の上に仮想の要素を重ね合わせます。

「ミックスド・リアリティ」は「エクステンデッド・リアリティ」と同じものですか？

いいえ。 「複合現実（Mixed Reality）」と「拡張現実（Extended Reality）」は関連していますが、同じものではありません。 拡張現実（XR）とは、仮想現実（VR）、拡張現実（AR）、混合現実（MR）を含む広範な総称です。 MRはXRの一分野であり、物理的な環境とデジタル環境を融合させ、リアルタイムでの相互作用を実現することに重点を置いています。

UPRtek社は、MR機器向けの試験ソリューションを提供していますか？

はい。 スマートグラスをはじめとする多くのMRおよびARデバイスは、デジタルコンテンツと現実世界をシームレスに融合させるために、導波路光学系やマイクロディスプレイを活用しています。 UPRtekの ニアアイ・ディスプレイ（NED）のテストソリューション ディスプレイと光学システムの双方を評価し、マイクロディスプレイの性能、導波路の特性（出射瞳の均一性、迷光、色ずれなど）、および人間の視覚的知覚を測定する。 これにより、エンジニアは量産開始前に、ゴースト現象、色にじみ、輝度ムラといった問題がディスプレイに起因するものか、それとも光学系に起因するものかを迅速に特定することができます。 詳細については、こちらの事例紹介をご覧ください！

光学計測技術を活用した、より優れた複合現実（MR）体験の構築

シームレスな複合現実（MR）体験を実現するには、高度なソフトウェアや空間コンピューティングだけでは不十分です。 ハードウェアのレベルでは、デジタルコンテンツがユーザーにとってリアルで、安定しており、快適であると感じられるかどうかは、最終的には光学システム（ディスプレイ、レンズ、導波路、およびライトエンジン）によって決まります。

MRデバイスでは、ディスプレイの輝度、色精度、あるいは画像の位置合わせにわずかなずれがあるだけでも、没入感が損なわれたり、目の疲れを引き起こしたり、あるいは製造工程での品質検査に不合格となったりする可能性があります。 これらは決して抽象的な懸念ではありません。 これらは測定可能であり、研究開発から量産に至るまでのあらゆる段階で、正確かつ繰り返し測定される必要がある。

UPRtekの光学測定ソリューションは、まさにこのような環境向けに設計されています：

• 研究開発および光学エンジニアの皆様へ： MRヘッドセットに典型的な制約のあるアイボックス条件を含む、近眼ディスプレイ構成において、ディスプレイの輝度、色精度（ΔE）、MTF、および均一性を検証します。
• 品質および製造チームの皆様へ： 逸脱を早期に検知し、手直しを削減し、生産量全体を通じて一貫性を確保できる、信頼性の高い光学検査ポイントを確立してください。
• プログラムおよびプロダクトマネージャーの皆様へ： UPRtekでは、導波管コンバイナー、パンケーキレンズアセンブリ、マイクロディスプレイ用ライトエンジンのいずれの評価を行う場合でも、お客様のデバイスアーキテクチャに合わせてカスタマイズ可能な測定構成を提供しています。

MR技術が、より薄型の光学系、より広い視野角、そしてより高い表示性能へと進化するにつれ、精密な光学計測の役割はますます重要になってきています。

自信を持ってMR光学システムの検証を行う準備はできていますか？ UPRtekの光学測定スペシャリストにご相談ください 、または当社の AR/VR/MR測定ソリューション！