【アニメ業界】動画の自動化なるか？ドワンゴがディープラーニングを用いた中割り実験の論文公開（動画あり） [無断転載禁止]©2ch.net

**ニライカナイφ ★** · 2017/06/15(木) 16:19:55.25

ドワンゴがディープラーニングを用いたアニメの中割り実験の結果を公開しました。
原画を直接中割りするまでには至らなかったものの、動画の枚数を増やすことには部分的に成功。
スローモーション演出などへの利用に可能性があるとしています。

動画：

同手法は、早稲田大学の研究チームが2016年に提案したラフスケッチの自動線画化手法（関連記事）を出発点とし、中割りができるよう変更を加えたもの。
アニメ「アイドル事変」の製作委員会やMAGES.協力の下、実際の動画とセルのデータを使用し、実験により自動生成された映像はYouTubeに投稿、実験結果をまとめた論文はコーネル大学図書館が運営する「arXiv（アーカイヴ）」上で公開されています。

画像：実験に用いられたカット
http://image.itmedia.co.jp/nl/articles/1706/14/f170614_dwango_1.jpg

アニメ「アイドル事変」公式 @idol_jihen
＼総理！私達、ニッポンのアニメ業界を笑顔にしたいんです！／
ドワンゴが行っている＜deep learningを使った中割の実験＞に、
『アイドル事変』が協力させていただきました♪
AI技術で2Dアニメーションを滑らかにする研究です
https://twitter.com/idol_jihen/status/874886607765213184
※「アイドル事変」全面協力

「中割り」とは原画と原画の間を補完する動きを描いた絵のこと。
「動画」は「中割り＋原画をトレースした絵」のことを言います。

実験では動画枚数が約4倍になるよう設定されており、比較映像では元の映像よりも「ぬるぬる」動いていることが確認できます。
ただし精度にはむらがあるようで、動きの途中でキャラクターの手が消滅したり、身体のパーツが曲がってしまうなど、改善の余地はまだまだありそうです。

Yuichi Yagi? @yuichiyagi
ドワンゴでdeep learningを使った中割の実験を行いました。
原画の中割は出来ませんが動画の枚数を増やす事は部分的には出来ました。
アイドル事変のデータを使用させて頂きました。
https://twitter.com/yuichiyagi/status/874876677201031169
※論文を執筆したドワンゴのヤギユウイチさんがツイートで告知

画像：論文はarXiv上で公開されています
http://image.itmedia.co.jp/nl/articles/1706/14/f170614_dwango_2.jpg

同手法では低解像度ネットワークと高解像度ネットワークで構成されおり、2枚の線画を入力することで中間的な線画を1枚出力するという仕組み。
今回は機械学習をカットごとに行ったため、今後は大量のカットを学習させ、未知のカットに対して処理をすることが課題になるとのこと。

論文では同実験の結果について、「原画を直接中割りすることは無理だと思われるため動画工程の省力化には寄与しそうにない」としつつも、
「秒24枚以上のアニメーションを制作する場合やスローモーションを作る場合には役立つ可能性はある」と結論付けています。
いわゆる「ぬるぬる」した動きやスロー演出を行うには大量の中割りが必要となりますが、そうしたスペシャルなカットが比較的容易に作れるようになる日が来るのかもしれません。

MitsuoIso @IsoMitsuo
アニメ業界がAIにやってほしいことは色々あるのだがどこに言えばいいのかわからん
https://twitter.com/IsoMitsuo/status/874925188168679424
※「電脳コイル」監督の磯光雄さんも反応しています

http://nlab.itmedia.co.jp/nl/articles/1706/14/news138.html

**なまえないよぉ～** · 2017/06/15(木) 16:23:18.46

ニコニコは飽きたんだな

**なまえないよぉ～** · 2017/06/15(木) 16:24:29.69

4、5年見てないわパスも忘れた

**なまえないよぉ～** · 2017/06/15(木) 16:26:39.46

＞原画を直接中割りすることは無理だと思われるため動画工程の省力化には寄与しそうにない

1年後にGoogleがあっさり実現というオチじゃないか

**なまえないよぉ～** · 2017/06/15(木) 16:28:37.14

このアニメ何とかしてくれるのかな
http://youtu.be/rFXsfRxOjUM

**なまえないよぉ～** · 2017/06/15(木) 16:30:32.15

手が消えるところは、モーションブラーがかかってるみたいで面白い

**KUM(ﾟ_ﾟ)N** ◆o4DQN..yEA · 2017/06/15(木) 16:38:11.52

(ﾟ_ﾟ)宮崎駿には屈しない！？

**なまえないよぉ～** · 2017/06/15(木) 16:44:32.56

AIの応用範囲の広さはすごいな、何使うかやったもん勝ちじゃねーか

**なまえないよぉ～** · 2017/06/15(木) 17:10:29.51

3Dより2Dのほうが難しいのだな

**なまえないよぉ～** · 2017/06/15(木) 17:58:46.56

ディズニーアニメで中割ツール使ってるよね

**なまえないよぉ～** · 2017/06/15(木) 17:59:20.60

技術はあるのに営業がてんで駄目なドワンゴ
宮崎監督へのプレゼンはみんな唖然
雪とか滝とかでいいじゃん、なにが悲しくてゾンビでプレゼンなんだと

**なまえないよぉ～** · 2017/06/15(木) 18:00:19.05

>>9
単に間を補完するだけでは絵にならんからねえ

>>7
昔の段階だったらまだ罵倒されるレベル,
題材によっては風刺的な効果が出るのかも、ということで

餓鬼　La Faim (Hunger) - Peter Foldes(1974)
https://www.youtube.com/watch?v=vwU3UARE6yc

**なまえないよぉ～** · 2017/06/15(木) 18:02:23.12

つまりどういう事？
描く枚数を減らせる＝労働力の削減に繋がるっちゅうことか？

**なまえないよぉ～** · 2017/06/15(木) 18:08:19.87

>>12
そう、人間は絵や写真の元が立体だと認識するから2Dの中割りが出来るんだよね、
このプログラムは単に中割りの線引きを学習させて向上させるものだから
むしろ立体認識能力を向上させる方に力を入れた方が結果的に早く正確になる
と思う。

**なまえないよぉ～** · 2017/06/15(木) 18:12:23.98

>>4
既に一枚の写真から立体を生成する技術が進んでるからGoogleやデイズニーのほうが
早いかもね

**なまえないよぉ～** · 2017/06/15(木) 18:19:08.84

>>13
リミテッドアニメ(8枚)をフルアニメーション(24枚)にするような感じじゃないか?
原画を描いたら自動的に中割をするようなことにはならないと思う。
そこまで行くには、演算能力の向上と膨大なディープラーニングが求められるだろうな。

**なまえないよぉ～** · 2017/06/15(木) 18:41:04.27

なんか動きが飛び飛びで駄目だな
バリが取れてない感じ

**なまえないよぉ～** · 2017/06/15(木) 18:49:14.22

確かに場面によっては役に立つな、某国への外注動画の修正の手間考えたら
ただアイドル事変くらいなら全部3Dでいいんじゃないか？

**なまえないよぉ～** · 2017/06/15(木) 18:50:56.92

>>13
セルからCGに移行する時も省力化うんぬん言われたけど、現実はご覧の有様
重要なのは技術じゃなく、それを運用する業界人の姿勢次第という当たり前の結論

**なまえないよぉ～** · 2017/06/15(木) 18:52:23.13

タメ・ツメの指示通りに中割るんなら　もしや・・・

手付けで中補完を制御するのはあったかな

**なまえないよぉ～** · 2017/06/15(木) 18:57:59.83

>>16
これ以上はコンピューターがになにを自分が描いてるか
構造を立体でなおかつだいたいの重さや仕組みまで把握してないと無理だと思う

**なまえないよぉ～** · 2017/06/15(木) 19:01:31.02

>>21
そこで自己認識AIですよw

**なまえないよぉ～** · 2017/06/15(木) 19:04:09.37

機械学習の発展系のDRも万能かどうか未知の部分があるからなぁ・・・
AIの流行廃りは　上げ下げ激しい　（ボルツマンマシーンとか　エキスパートシステムとか・・・）

**なまえないよぉ～** · 2017/06/15(木) 19:18:03.59

そんなにメンドーなら中割り無しで作ればいいじゃん
http://www.tamasichi.net/tama-pawns/

**なまえないよぉ～** · 2017/06/15(木) 19:18:29.85

ソニックの８の字走りとかやらせて、AIを困らせてみたい

**なまえないよぉ～** · 2017/06/15(木) 19:22:07.80

紙芝居でも面白ければいいよ
「闇芝居」ってアニメもあるのにｗ

**なまえないよぉ～** · 2017/06/15(木) 19:29:39.73

コンピューターはどうやって平面に描かれた立体の形を認識するの？

**なまえないよぉ～** · 2017/06/15(木) 19:47:34.77

ネットから近似画像を収集して立体としての最適解を生成、仮想3D上に表示

**なまえないよぉ～** · 2017/06/15(木) 19:52:16.01

>>27
３ＤＣＧなら最初から立体なんだけどな
正確な画像（パース）は出るが、人間の主観を反映した「絵」は出てこない

**なまえないよぉ～** · 2017/06/15(木) 21:30:58.56

>>14
そういうことだよな　２D絵→３Dとして認識→２Dで描画　という過程が必要になる

**なまえないよぉ～** · 2017/06/15(木) 22:25:15.88

Googleならいけるだろうな。
4階建て研究施設ぶんのスパコン「京」を圧倒的に凌げる一部屋に収まる60数個のTPU（※CPUではない）をもってるからね。ちなみに「京」のCPU「SPARK」は約88000個だ。
よって、
Google TPU 60こ >>>>>>Fujitu CPU 88000こ

**なまえないよぉ～** · 2017/06/15(木) 22:32:04.87

まあディープラーニングならなんでも可能になりそうな気はしてしまう

**なまえないよぉ～** · 2017/06/15(木) 22:35:30.68

fujitsuだったｗ

>>32
そのディープラーニングするために莫大な計算資源が必要だけどな。
皆が想像するAIにするにはもう一段階効率の良い手法をださないといけない。ちなみにディープラーニング自体は前世紀からある考え方でようやくモノになったってなだけだぜ？

**なまえないよぉ～** · 2017/06/16(金) 00:00:52.14

ディープラーニングか
またGoogleが力技でなんとかしそう

**なまえないよぉ～** · 2017/06/16(金) 00:36:39.05

「Dプラニング」とか言う会社どっかにありそうだな

**なまえないよぉ～** · 2017/06/16(金) 01:16:13.57

CMアニメやPV向きではあるな
普通のアニメに使う代物ではなさそう

**なまえないよぉ～** · 2017/06/16(金) 01:31:08.66

ディズニーが10年位前に中割ソフト使ってた
日本でも確かパイオニア系で使うと合った
でも未だに人海戦術なわけで、ソフト任せだとタメが作れない

**なまえないよぉ～** · 2017/06/16(金) 02:02:25.94

６０ｆｐｓでも不自然なものは不自然
AIがそこまで判断できるようになるまではまだ遠い

だが到達したらもう動画屋は詰むかも

**なまえないよぉ～** · 2017/06/16(金) 12:25:15.57

でも、動画を自動化しちゃったら
原画マンの卵いなくなるんじゃね？

**なまえないよぉ～** · 2017/06/16(金) 12:49:07.94

>>39
２D動画の自動化という方向にいくよりも、３DCGのモーション付け自動化の方が簡単だと思う
なので３DCG化に流れる方が強いんじゃなかろうか

**なまえないよぉ～** · 2017/06/16(金) 12:59:03.82

>>39
動画の自動化まではそう簡単には行かないと思うな。
今は2枚の動画の差分を検出して、補完するように線を引くってところだろう。
右足前左足前の2枚原画をスキャンして、歩きを3枚で割れ命令したところで補完できず、
そもそも人によって歩き方は違うから、相当なサンプルがないと思い通りの芝居にはならないはず。

**なまえないよぉ～** · 2017/06/16(金) 13:18:10.30

シュラト、テッカマンブレード完全版期待

**なまえないよぉ～** · 2017/06/16(金) 13:41:51.61

動画が自動化されたら若手は何で修行するの？
それを日本人の若手がやらなくなって中国人や韓国人がやるようになった

**なまえないよぉ～** · 2017/06/16(金) 16:07:48.35

AIで24fpsを96fpsにしてるのを何かの記事で見たけど、それが超絶進展すれば2fpsから24fpsなんてこともできるようになるんでしょ？

**なまえないよぉ～** · 2017/06/16(金) 18:48:58.41

こういうことをやるくらいなら素直に3DCGに適した演出法を開発すべき。

**なまえないよぉ～** · 2017/06/16(金) 18:52:10.71

MMDの2D版みたいな感じ？
MMD初めて見たとき触った時はあんな3Dの中割りみたいな事が無料で個人の低スペパソコンで出来るとかスゲー時代になったと思った。

**なまえないよぉ～** · 2017/06/16(金) 19:51:13.93

スローみたいな動きにはもってこいだろうね

**なまえないよぉ～** · 2017/06/16(金) 21:32:56.91

20年近く前にNHKがCGで中割の自動作成技術のデモとかやってたような

**なまえないよぉ～** · 2017/06/16(金) 21:42:21.61

オバケや群衆もできるのならたいしたもんだと思う

**なまえないよぉ～** · 2017/06/17(土) 00:16:09.96

>>48
今となってはただのモーフィングソフトだったね

**なまえないよぉ～** · 2017/06/17(土) 17:26:50.61

どっかのグラボとか、フリーソフトでやってるのと同じ事？