世界初、第4世代型のAzure Kinect DKと 次世代通信規格5G回線を使ったHoloPortation伝送・投影に成功

DataMesh株式会社(本社：東京都中央区、代表取締役：王 暁麒、以下、DataMesh)とMXモバイリング株式会社(本社：東京都江東区、代表取締役社長：長尾 頼明、以下、MXモバイリング)は、株式会社NTTドコモ(本社：東京都千代田区、代表取締役社長：吉澤 和弘、以下、ドコモ)が提供するドコモ5Gオープンパートナープログラムを通じ、次世代通信規格5Gの検証環境における「HoloPortation」の実用化に向けた実証試験を実施したことをお知らせいたします。「HoloPortation」とは物理的な距離の制約なく、撮影した物体を現実空間に3Dホログラムとして投影する技術のことです。

実証試験の結果、第4世代型のAzure Kinect DK並びに次世代通信規格5Gを活用し、HoloPortation伝送に成功しました。Azure Kinect DKは、3次元認識能力があるカメラを有しております。5Gネットワークを通し、第4世代型のAzure Kinect DKで撮影した3Dホログラムを現実空間に投影したのは世界初です。

実証試験の様子

第4世代型のAzure Kinect DKで人物像を撮影し、5Gネットワークを通じて伝送している様子。

人物像を5Gネットワークで伝送し、Microsoft HoloLensで現実空間にホログラムとして投影して見たもの。HoloLensはMicrosoft社が開発したゴーグル型のヘッドマウントディスプレイで、現実世界の上に仮想の映像を重ねて映すデバイスです。

https://youtu.be/eCMOdGvUonE

HoloPortationの実用化を図る上では高い精度で被写体を立体的に捉える技術と高速なネットワーク環境が必要です。具体的に必要な要素は以下の3つです。

1. 映像だけではなく、奥行きまで含めた3次元の情報を正確に捉える技術
2. 動作を正確に捉えるモーションキャプチャの技術
3. 3次元のデータをリアルタイムに伝送する技術

従来、遠隔のコミュニケーションにおいては電話やチャットをスマートフォンやPCで実現していますが、本技術を応用した先には360度全視界がユーザーインターフェースとなる他、物理的な距離の制約を介さず、遠隔地にいる人があたかも隣にいるような臨場感を味わいながらコミュニケーションをすることが可能になります。まさに、従来のコミュニケーションの在り方そのものを再定義することに繋がります。

2019年2月末、スペイン・バルセロナで開催されたMWC2019にて、Microsoft社より全世界に向けて次世代型最新モデルのAzure Kinect DKが発表されました。この最新技術の活用例を創出する上で、Microsoft社パートナーから先行して技術提供認可を得た3社のうちの1社がDataMeshです。先行してAzure Kinectに関する技術研究を行っているDataMeshと、モバイルソリューション開発と販売に強みを持つMXモバイリング、次世代通信規格5Gのネットワーク技術検証環境を提供するドコモは、世界初の取り組みとして第4世代型Azure Kinect並びに次世代通信規格5Gを用いたHoloPortationの実用化に向けた実証試験に至りました。

＜MWC2019にて、Microsoft社バイスプレジデントAzureのジュリア・ホワイト氏よりDataMesh紹介の様子＞
https://youtu.be/k5SMABo4jwM?t=1015

・HoloLens、HoloLens 2、Azure Kinect DKは米国Microsoft Corporation及びその他の国における登録商標または商標です。その他、このプレスリリースに記載されている会社名および製品・サービス名は、各社の登録商標または商標です。

目的は以下の2つです。
1.フレームデータサイズ、転送速度、FPSなどの統計データの収集
2.HoloLensを通して、転送された3次元データの目視による確認
結論としては、5Gネットワーク環境の優位性は4Gネットワークよりも優れていることが認められ、且つHoloLensで3次元のデータをリアルタイムで表示した体験は、予想以上に驚くほど優れていました。

システム構成

「ドコモ5Gオープンラボ(R)Yotsuya」には、アップストリーム(クライアントからサーバへ)とダウンストリーム(サーバからクライアントへ)の速度を調整するためのプリセットとして、ダウンストリーム速度の制限は次のとおりです。

1. 4000 Mbps、実験利用可能な速度の最大値です
2. 約2200 Mbps
3. 170 Mbps、4Gネットワークに近い速度です

＜HoloLens 2、複数台のAzure Kinectを同期させ、より洗練されたHoloPortationを実現＞
今回の実証実験において活用したAzure Kinect DKは1台のみであったため、被写体の正面という限られた範囲での検証となりましたが、今後は複数台Azure Kinect DKを同期させ、且つHoloLens 2を活用することで、より立体感のある洗練された形で実証実験も行う予定です。HoloPortationの実用化に向け、スピード感をもって本取り組みを進めて参ります。

MXモバイリングは、NTTドコモ等の携帯電話事業者の一次代理店としてのモバイル領域の経験と実績で、ICTの先進的なテクノロジをいち早く取り入れ、新たな価値を創造するソリューションをお客さまにご提案することで、心豊かな未来の実現を目指します。

DataMeshは、世界最先端のMR(複合現実)技術とデータサイエンス技術を組み合わせ、お客様に効率的な教育・トレーニング、デジタル業務支援、製品PR・展示のソリューションを提供しています。

＊「ドコモ5Gオープンラボ」は、株式会社NTTドコモの登録商標です。