【アニメ業界】動画の自動化なるか？ドワンゴがディープラーニングを用いた中割り実験の論文公開（動画あり） [無断転載禁止]©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
ドワンゴがディープラーニングを用いたアニメの中割り実験の結果を公開しました。
原画を直接中割りするまでには至らなかったものの、動画の枚数を増やすことには部分的に成功。
スローモーション演出などへの利用に可能性があるとしています。
動画：
同手法は、早稲田大学の研究チームが2016年に提案したラフスケッチの自動線画化手法（関連記事）を出発点とし、中割りができるよう変更を加えたもの。
アニメ「アイドル事変」の製作委員会やMAGES.協力の下、実際の動画とセルのデータを使用し、実験により自動生成された映像はYouTubeに投稿、実験結果をまとめた論文はコーネル大学図書館が運営する「arXiv（アーカイヴ）」上で公開されています。
画像：実験に用いられたカット
http://image.itmedia.co.jp/nl/articles/1706/14/f170614_dwango_1.jpg
アニメ「アイドル事変」公式 @idol_jihen
＼総理！私達、ニッポンのアニメ業界を笑顔にしたいんです！／
ドワンゴが行っている＜deep learningを使った中割の実験＞に、
『アイドル事変』が協力させていただきました♪
AI技術で2Dアニメーションを滑らかにする研究です
https://twitter.com/idol_jihen/status/874886607765213184
※「アイドル事変」全面協力
「中割り」とは原画と原画の間を補完する動きを描いた絵のこと。
「動画」は「中割り＋原画をトレースした絵」のことを言います。
実験では動画枚数が約4倍になるよう設定されており、比較映像では元の映像よりも「ぬるぬる」動いていることが確認できます。
ただし精度にはむらがあるようで、動きの途中でキャラクターの手が消滅したり、身体のパーツが曲がってしまうなど、改善の余地はまだまだありそうです。
Yuichi Yagi? @yuichiyagi
ドワンゴでdeep learningを使った中割の実験を行いました。
原画の中割は出来ませんが動画の枚数を増やす事は部分的には出来ました。
アイドル事変のデータを使用させて頂きました。
https://twitter.com/yuichiyagi/status/874876677201031169
※論文を執筆したドワンゴのヤギ ユウイチさんがツイートで告知
画像：論文はarXiv上で公開されています
http://image.itmedia.co.jp/nl/articles/1706/14/f170614_dwango_2.jpg
同手法では低解像度ネットワークと高解像度ネットワークで構成されおり、2枚の線画を入力することで中間的な線画を1枚出力するという仕組み。
今回は機械学習をカットごとに行ったため、今後は大量のカットを学習させ、未知のカットに対して処理をすることが課題になるとのこと。
論文では同実験の結果について、「原画を直接中割りすることは無理だと思われるため動画工程の省力化には寄与しそうにない」としつつも、
「秒24枚以上のアニメーションを制作する場合やスローモーションを作る場合には役立つ可能性はある」と結論付けています。
いわゆる「ぬるぬる」した動きやスロー演出を行うには大量の中割りが必要となりますが、そうしたスペシャルなカットが比較的容易に作れるようになる日が来るのかもしれません。
MitsuoIso @IsoMitsuo
アニメ業界がAIにやってほしいことは色々あるのだがどこに言えばいいのかわからん
https://twitter.com/IsoMitsuo/status/874925188168679424
※「電脳コイル」監督の磯光雄さんも反応しています
http://nlab.itmedia.co.jp/nl/articles/1706/14/news138.html ＞原画を直接中割りすることは無理だと思われるため動画工程の省力化には寄与しそうにない
1年後にGoogleがあっさり実現というオチじゃないか 手が消えるところは、モーションブラーがかかってるみたいで面白い AIの応用範囲の広さはすごいな、何使うかやったもん勝ちじゃねーか 技術はあるのに営業がてんで駄目なドワンゴ
宮崎監督へのプレゼンはみんな唖然
雪とか滝とかでいいじゃん、なにが悲しくてゾンビでプレゼンなんだと >>9
単に間を補完するだけでは絵にならんからねえ
>>7
昔の段階だったらまだ罵倒されるレベル,
題材によっては風刺的な効果が出るのかも、ということで
餓鬼 La Faim (Hunger) - Peter Foldes(1974)
https://www.youtube.com/watch?v=vwU3UARE6yc つまりどういう事？
描く枚数を減らせる＝労働力の削減 に繋がるっちゅうことか？ >>12
そう、人間は絵や写真の元が立体だと認識するから2Dの中割りが出来るんだよね、
このプログラムは単に中割りの線引きを学習させて向上させるものだから
むしろ立体認識能力を向上させる方に力を入れた方が結果的に早く正確になる
と思う。 >>4
既に一枚の写真から立体を生成する技術が進んでるからGoogleやデイズニーのほうが
早いかもね >>13
リミテッドアニメ(8枚)をフルアニメーション(24枚)にするような感じじゃないか?
原画を描いたら自動的に中割をするようなことにはならないと思う。
そこまで行くには、演算能力の向上と膨大なディープラーニングが求められるだろうな。 なんか動きが飛び飛びで駄目だな
バリが取れてない感じ 確かに場面によっては役に立つな、某国への外注動画の修正の手間考えたら
ただアイドル事変くらいなら全部3Dでいいんじゃないか？ >>13
セルからCGに移行する時も省力化うんぬん言われたけど、現実はご覧の有様
重要なのは技術じゃなく、それを運用する業界人の姿勢次第という当たり前の結論 タメ・ツメの指示通りに中割るんなら もしや・・・
手付けで中補完を制御するのはあったかな >>16
これ以上はコンピューターがになにを自分が描いてるか
構造を立体でなおかつだいたいの重さや仕組みまで把握してないと無理だと思う 機械学習の発展系のDRも万能かどうか未知の部分があるからなぁ・・・
AIの流行廃りは 上げ下げ激しい （ボルツマンマシーンとか エキスパートシステムとか・・・） ソニックの８の字走りとかやらせて、AIを困らせてみたい 紙芝居でも面白ければいいよ
「闇芝居」ってアニメもあるのにｗ コンピューターはどうやって平面に描かれた立体の形を認識するの？ ネットから近似画像を収集して立体としての最適解を生成、仮想3D上に表示 >>27
３ＤＣＧなら最初から立体なんだけどな
正確な画像（パース）は出るが、人間の主観を反映した「絵」は出てこない >>14
そういうことだよな ２D絵→３Dとして認識→２Dで描画 という過程が必要になる Googleならいけるだろうな。
4階建て研究施設ぶんのスパコン「京」を圧倒的に凌げる一部屋に収まる60数個のTPU（※CPUではない）をもってるからね。ちなみに「京」のCPU「SPARK」は約88000個だ。
よって、
Google TPU 60こ >>>>>>Fujitu CPU 88000こ まあディープラーニングならなんでも可能になりそうな気はしてしまう fujitsuだったｗ
>>32
そのディープラーニングするために莫大な計算資源が必要だけどな。
皆が想像するAIにするにはもう一段階効率の良い手法をださないといけない。ちなみにディープラーニング自体は前世紀からある考え方でようやくモノになったってなだけだぜ？ ディープラーニングか
またGoogleが力技でなんとかしそう CMアニメやPV向きではあるな
普通のアニメに使う代物ではなさそう ディズニーが10年位前に中割ソフト使ってた
日本でも確かパイオニア系で使うと合った
でも未だに人海戦術なわけで、ソフト任せだとタメが作れない ６０ｆｐｓでも不自然なものは不自然
AIがそこまで判断できるようになるまではまだ遠い
だが到達したらもう動画屋は詰むかも でも、動画を自動化しちゃったら
原画マンの卵いなくなるんじゃね？ >>39
２D動画の自動化という方向にいくよりも、３DCGのモーション付け自動化の方が簡単だと思う
なので３DCG化に流れる方が強いんじゃなかろうか >>39
動画の自動化まではそう簡単には行かないと思うな。
今は2枚の動画の差分を検出して、補完するように線を引くってところだろう。
右足前左足前の2枚原画をスキャンして、歩きを3枚で割れ命令したところで補完できず、
そもそも人によって歩き方は違うから、相当なサンプルがないと思い通りの芝居にはならないはず。 動画が自動化されたら若手は何で修行するの？
それを日本人の若手がやらなくなって中国人や韓国人がやるようになった AIで24fpsを96fpsにしてるのを何かの記事で見たけど、それが超絶進展すれば2fpsから24fpsなんてこともできるようになるんでしょ？ こういうことをやるくらいなら素直に3DCGに適した演出法を開発すべき。 MMDの2D版みたいな感じ？
MMD初めて見たとき触った時はあんな3Dの中割りみたいな事が無料で個人の低スペパソコンで出来るとかスゲー時代になったと思った。 20年近く前にNHKがCGで中割の自動作成技術のデモとかやってたような >>48
今となってはただのモーフィングソフトだったね どっかのグラボとか、フリーソフトでやってるのと同じ事？ ■ このスレッドは過去ログ倉庫に格納されています
