FacebookのAI研究チームは、現実のスポーツを撮影したビデオから人物の動きを取り出し、ビデオゲームのようにジョイスティックで操作可能とするAI研究「Vid2Play」を発表しました。90年代の『ナイトトラップ』など実写取り込みゲームを10倍以上もハイテク化したような研究成果が披露されています。
発表資料によれば、研究チームはPose2PoseとPose2Frameという2つのニューラルネットワークを使用したとのこと。前者はダンスやテニス、フェンシングなど特定の種類のアクションごとに訓練されたもので、背景からキャラクター（人物）の動きを分離した上で操作できる姿勢（Pose）データを生成していきます。

次にこれらのポーズデータをPose2Frameに処理させ、キャラクター本体および影や反射といった要素を背景に挿入し、キーボードやジョイスティックで実在の選手を操作しているような映像を出力するわけです。

Vid2Game: Controllable Characters Extracted from Real-World Videos - YouTube
https://www.youtube.com/watch?v=sNp6HskavBE

ニューラルネットワークの訓練というと莫大なデータ量が想像されますが、今回用いられた素材は屋外で試合するテニス選手やフェンシングの屋内試合、そして歩く人のビデオ3本で、各5〜8分という短さ。たったそれだけのサンプルから、従来であれば高価なモーションキャプチャ機材や施設を用いてそれなりに時間が掛かった実写取り込みキャラのゲーム（らしきもの）が実現できています。

研究チームの狙いもまさにゲーム開発の支援にあり「各ネットワークは、これまで完全には対応していなかった計算上問題に対処し、リアルなグラフィックを備えたビデオゲーム生成への道を切り開いた」と述べています。

さらに「YouTubeのようなビデオから操作可能なキャラクターを抽出できることは、VR/ARにも使い道があるでしょう」とのことで、Facebook傘下にあるOculus Rift用ゲーム開発も視野に入れられているようです。

現時点ではキャラクターの動きは滑らかであっても少し現実離れしており、特に足下が地面を滑るような動き（3Dアニメではfoot sliedeと呼ばれる問題）に違和感が残っています。それに加えて手足の可動域も限られていて小さくまとまっていますが、ともあれ現実の背景から浮かび上がらずに溶け込んでいるとは言えそうです。

数十億円もの資金が投じられた大作ゲームよりも、少人数かつ低予算でのインディーゲーム開発に向いていると思える本研究。FacebookがこのAI使用を個人向けにも開放して、自主制作版の『ナイトトラップ』や友達を格闘キャラにした『モータルコンバット』的な同人ゲームが広く作られると面白いかもしれません。

4月22日13時00分
Engadget 日本版
https://japanese.engadget.com/2019/04/22/facebook-ai-vid2play/