新モデル+GTX 1080だと640x480->1024x768のノイズ除去+2xが560msくらいでできています
あとGPUの違いなのかcuDNN v5+CUDA 8.0か分からないけど
以前試したら異常に遅かったWinogradという3x3畳み込みを速くするアルゴリズムが
速くなってて，現verも950msくらいで処理できています．
（以前は，新モデルのほうが3倍くらい速かったので差がかなり縮んだ）
AWS EC2のGPU+現verだと3700msくらいで，このGPUはGTX 760と同じくらいの性能です．