今考えている動画の対応は，
- イラストに窓をつけて適当な速度で平行移動・回転したりをフレームとして切り出す
- 動画にエンコ（同時に1/2に縮小）
- エンコ後からまたフレームに分割して元画像への変換を学習する
ということです．
変換先がイラストになるのでアニメとはちょっと違う質感になるかもしれませんが
アニメの"元画像"って手に入らないと思うのと，
これだと作るのは簡単なので妥協点としていいのではと思っています．
他にはMMDから動画を作るとかですけど，これもシェーダーのクセを再現してしまうと思うので
たぶんイラストのほうがバリエーションが多くてよいです．

今すぐにやるという話ではなく，今やっている対応が終ったら
いまのところCNN超解像として改良できる部分はすべて終わるので
動画について色々言われるならそこでもやろうかなというレベルの話ですが．