2019年11月19日
https://jp.techcrunch.com/2019/11/19/2019-11-18-this-room-sized-led-egg-captures-amazing-3d-models-of-the-people-inside-it/

人の動きを高品質な3Dで捉えることは難題であり、特に難しいのがライティングだ。ここで紹介するGoogleの研究者によるプロジェクトは、プリズム状に配置したLED製の卵の中に運動主体を置き、見事な結果を得ている。このやり方の特に重要なのは、あとからライティングを変えられることだ。

従来の立体捕捉（Volumetric Capture）と呼ばれる方法は、運動主体の360度の周囲に複数のカメラを置き、写真のようにリアルな絵画風の表現を捉える。服のしわも髪の髪の毛1本も完璧に捉える。しかし深刻な欠点が2つある。ひとつは、モデルのデータというよりは3Dムービーみたいで、人の姿勢や特徴、衣服などを自由に変えられない。もうひとつはそのために、ライティングもいろいろ変えられない。捕捉したときのライティングがすべてだ。

この問題を克服するために今回Google AIのチームが試みたThe Relightables（ライトを変えられる）という方法は、上記の第2の問題に挑戦する（第1の問題は多くのものがすでに決まりすぎている）。彼らのシステムは動いている人の詳細な3Dモデルを作るだけでなく、仮想の光源により一見リアルな光を当てるので、ゲームやムービーなどライティングが変わる状況に人を置くことができるのだ。
https://techcrunch.com/wp-content/uploads/2019/11/relightableprocess.jpg

それを可能にしたのがプリズム状の卵だ（もちろんそのためのコードも）。その卵は331個のLEDライトで描かれ、それらは色を変えられるだけでなく、人を捕捉している間にある特別な構造パターンで変わることにより、ライティングを特定しないモデルが作られる。
https://techcrunch.com/wp-content/uploads/2019/11/relightables.gif

そうやって得られるモデルは、どんな仮想環境に置いても、捕捉したときのライティングではなくその小さな世界のライティングを反映する。動画を見ればハリウッド映画ほどすごくはないものの、このプロジェクトの成果はわかるだろう。

立体捕捉はその制約のために映画では使いづらかった。しかし、さまざまなライティングに変えられれば、動きが通常の3Dモデルにとても近くなる。もちろん演技そのものは、すべて巨大な卵の中で演じなければならない。

The RelightablesはSIGGRAPH Asiaでチームがプレゼンする。
https://www.youtube.com/watch?v=anBRroZWfzI