広域空間での動きセンシングによるハンドボールＶＲ体験の実証実験について

熊本県で開催される女子ハンドボールイベント（2019年5月中旬～2019年12月）において、試合中の全選手の動きをセンシング（取得）し空間を再構成することで、あたかも選手になりきったようにプレーの様子を間近で体験できる新たな映像技術の実証実験を実施します。

日本電信電話株式会社（代表取締役社長：澤田　純、以下、ＮＴＴ）および西日本電信電話株式会社（代表取締役社長：小林　充佳、以下、ＮＴＴ西日本）、熊本県（熊本県知事：蒲島　郁夫　以下、熊本県）、は、２０１９女子ハンドボール世界選手権大会の機運醸成及び新たな観戦体験の提供を目的に、熊本県で開催される女子ハンドボールイベントにおいて、試合中の全選手の動きをセンシング（取得）し空間を再構成することで、あたかも選手になりきったようにプレーの様子を間近で体験できる新たな映像技術の実証実験を実施します。

本取組みは、 “魅力溢れ、暮らしやすさと幸せが実感できる熊本”の実現および国際スポーツの推進に向けて、熊本県、熊本市、ＮＴＴ西日本が進める「スマート光タウン熊本※1」プロジェクトの一環として実施するものです。

※1：スマート光タウン熊本の取り組みについては、下記ホームページを参照願います。
http://www.hikarikumamoto.jp/

１．実証実験の背景と目的
近年、インターネットの普及やスマートフォン、タブレット、ＶＲ等の様々なデバイスの登場により、時間や場所を選ぶことなくライブやオンデマンドでスポーツ観戦を楽しめるようになってきており、観戦スタイルの多様化が進んでいます。今後は、選手のプレーの様子を間近で観戦できるような、更にリアルとバーチャルを組み合わせた新しいスポーツ観戦が期待されます。
熊本県内においては、２０１９年に開催予定の国際スポーツ大会（ラグビーワールドカップ２０１９、２０１９女子ハンドボール世界選手権大会）を控え、大会情報の発信や機運醸成、大会を通じたスポーツ振興のほか、大会を契機とした国内外への熊本の魅力発信、観光客などの交流人口の増加など、地域振興への期待が高まっています。そのような中、ＶＲやＡＲによる新たなスポーツ観戦やトレーニング等での利用を狙い、実空間中でダイナミックに変化する物体の情報を取得し、仮想空間として再構成する技術の研究開発を進めているＮＴＴ、地域活性化に取り組んできた実績をもつＮＴＴ西日本と熊本県との間で、各社の強みを活かして実証実験を実施することとなりました。

２．実施概要
本実証実験は、熊本県内のオムロンハンドボール部「ピンディーズ」（以下、オムロン）の協力を得て、ＮＴＴ（メディアインテリジェンス研究所）が研究開発している「ダイナミックフィールド３次元動きセンシング技術」により、ハンドボールコートに対して設置した８台のカメラから試合中の全選手の動き情報を解析し、３次元仮想空間を再構成することで、コート内選手になりきった位置で、躍動感ある他の選手の動きを３次元３６０度映像で体験できます。

「ダイナミックフィールド３次元動きセンシング技術」の概要
広い実空間を複数台のカメラで撮影し、空間中にある複数人物のダイナミックな３次元的な動き情報を、より高精度に取得します。ＮＴＴ独自の深層学習を活用した骨格推定と３次元動き解析により、広い空間内で被写体の交差がある等の複雑なシーンであっても、複数人の３次元的な動作を、より精度高く解析できます。
従来の映画の製作等で利用されるモーションキャプチャーでは対象が特定の環境と人物に限定されていましたが、本技術により、広い空間の中で複数人が動き回る場面でも、各人物の３次元的な動き情報を取得することが可能となります。

＜ポイント①＞　骨格推定
人物のシルエットも同時に推論する独自の深層学習により、遮蔽により人体の一部が撮影されていない場合であっても映像から人物の骨格（関節位置）を、より精度高く推定することを実現します。

＜ポイント②＞　３次元動き解析
各カメラ映像から得られる２次元の関節の動き情報から、各カメラのレンズ歪を補正しつつ統合して、３次元的に、より正確な動き情報を解析します。

＜実施期間＞
２０１９年５月中旬～２０１９年１２月（予定）
※熊本県内における女子ハンドボールイベント実施日のみ

＜実施対象＞
イオンモール熊本（１Ｆイベントスクエア）、熊本県内の体育施設等

３．実証実験の協力体制
（１）ＮＴＴ
・実証実験に必要な機材等の手配および実験用データ取得
・取得データからの３次元動きの取得と高精細な３次元映像の生成および評価等

（２）ＮＴＴ西日本
・実証実験に必要な環境整備および本視聴スタイルのサービス性評価

（３）熊本県
・実証実験用データ取得支援および評価会場の手配

＜実証実験協力＞オムロン・実証実験用の映像モデル協力

４．今後の展開について
本実験の検証で得られる知見を活かし、動きの取得の精度向上や自動化を進め、ＩＣＴを用いた次世代のスポーツ観戦やエンターテインメント鑑賞に関する取り組みをより一層加速するとともに、２０１９年に熊本県で開催予定の国際スポーツ大会での新たな取り組みや観光振興など、おもてなしの取り組みを強化してまいります。

【参考】
熊本県およびＮＴＴ西日本では、２０１９年の国際スポーツ大会の機運醸成に向けて、ＩＣＴを活用したスポーツ観戦イベントの盛り上げ施策として、「なりきりＡＲ！（くまモンバージョン）」や「ＡＲフォトスポット」もあわせて実施いたします。

１．「なりきりＡＲ！（くまモンバージョン）」の概要
ＡＲデバイスならびにＡＩを活用して、より低コストかつより高速に人間の動きを３Ｄデータ化し、あらゆる視点からの３Ｄアバターをリアルタイムに生成する技術を用いて、２台のカメラの前で体験者が動くと、ディスプレイ上のくまモンが同じ動きをする「なりきりＡＲ！（くまモンバージョン）」を実施します。
体験者の動きから３次元の姿勢推定を行い、その結果を３Ｄのくまモンに反映することで体験者と同じ動きをリアルタイムに映像化いたします。

２．「ＡＲフォトスポット（フォトサークル）」の概要
ＡＲ技術を用いて、国際スポーツを応援するくまモン（バーチャル）と一緒に並んで写真撮影ができ、スマートフォン等にダウンロード※２できる「ＡＲフォトスポット（フォトサークル）」を実施します。