スマホで全身をモーションキャプチャし3Dキャラクターに反映！カメラ1つで骨格座標を3D解析するデモ映像を公開／6月販売予定

～Unityをサポートし、Vtuber配信・ゲームなどアプリ組込での利用が可能～

2019-03-26 16:00

株式会社ネクストシステム(本社：福岡県福岡市、代表取締役：藤田義生)は、開発中の「VisionPose Single3D(以下 Single3D)」の利用例として、スマートフォンにて全身をリアルタイムでモーションキャプチャし、動きを3Dキャラクターに反映するデモ映像を公開しました。

Single3Dは当社が提供するVisionPoseシリーズの1つであり、WEBカメラとAI(ディープラーニング）を利用して人間の骨格座標を検出するシステムです。同シリーズのVisionPoseと比べると、カメラ1つで3D座標の検出が可能なため、より手軽な利用が可能です。
なお、本デモ映像で利用したSingle3D(iOS版)は2019年6月販売予定です。

動画は下記からご確認ください。
https://youtu.be/f7_3-HK2-Ss

カメラ1台で3D推論！より手軽なSingle3Dとは？

Single3Dとは、深度センサに依存せずAIの技術要素であるディープラーニング(深層学習)を使うことで、骨格の3D座標の検出をWEBカメラ1台のみで可能にしたVisionPoseシリーズの1つです。

提供方法：PC版とiOS版をそれぞれSDKとして提供します。
PC版　　：C#/C++向けのライブラリ
iOS版　：Swift向けのライブラリ
※Unityサンプルコードあり

通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にデバイスを装着する必要がありますが、Single3Dは特別なデバイスを体には一切装着せず、カメラ1台で3D座標を取得できます。デモ映像ではスマートフォンのカメラを通して被写体の骨格をリアルタイムに検出し、アバターに動きを反映させました。

カメラが1台しか用意できないケースや、スマートフォンへの搭載時などにオススメです。

▼VisionPose Single3Dを利用したアプリで3Dキャラクターを実際動かした例

▼VisionPose Single3Dの検出ポイント図

想定される応用分野と社会性について

骨格推定を用いたディープラーニングによる画像認識について、昨今はさまざまな分野における活用が期待されていますが、例えば下記のような利用用途を想定しています。

・フォームチェックや採点補助などスポーツの動作解析
・監視カメラを用いた不審者の検知や急病人の検知
・消費者の行動解析によるインサイト調査(無人レジなど)
・バーチャルYouTuber(Vtuber)配信やアーケードゲームなどエンタメ分野への応用

どれも近頃耳にすることが多くなった項目ですが、これらは骨格検出技術の発展により、急速に開発が進められている分野の一例です。このように骨格検出技術の発展は、幅広い分野で社会発展の一端を担っていると言っても過言ではありません。
VisionPoseはこれらの基幹技術の1つとして、社会に貢献していきたいと考えています。

VisionPose Single3D製品概要

価格　　　　：未定
販売時期　　： 2019年6月を予定
WEBサイト　： https://www.next-system.com/visionpose
参考動画　　：・VisionPoseプロモーションビデオ
　　　　　　　　 ( https://youtu.be/c5mVNV7JJlE )
　　　　　　　・VisionPose Single3Dを利用したアプリケーションデモ
　　　　　　　　 ( https://youtu.be/f7_3-HK2-Ss )

デモアプリに登場するキャラクター『未確認仮想広報担当ミチコ』とは？

未来からネクストシステムの歴史を学ぶ研修生として、2019年3月末ネクストシステムの広報担当に着任した。その体が3DCGであることを生かした広報活動を行う。

▼未確認仮想広報担当ミチコについてのリリースはこちらから
https://www.next-system.com/topics/info/post=3398

会社概要

商号　　：株式会社ネクストシステム
代表者　：代表取締役　藤田義生
所在地　：〒811-1302　福岡市南区井尻3-12-33 アンビエント井尻2F
設立　　： 2002年8月
事業内容：情報通信業、情報サービス業、ソフトウェア業
資本金　： 8,075万円
WEBサイト： https://www.next-system.com/
Facebook ： https://www.facebook.com/nextsystemcom/
Twitter　： @next_kinesys