【超解像】画像拡大ソフト総合スレ4【waifu2x】

2018/10/16(火) 17:11:24.76

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
http://kourindrug.sa kura.ne.jp/waifu2x.html

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2019/02/27(水) 22:37:14.98

>>159
グーグル先生で一発で出たわ
また余計な知識が一つ増えた
ありがとう

2019/02/27(水) 22:49:55.64

>>157
ありがとうございます
しかし私のやり方が悪いのかビキニの上にある文字を消すと
ビキニまで消えた感じになってしまいます・・・・
素っ裸よりかビキニのほうが良いんだよ・・・

2019/02/28(木) 01:11:59.43

>>157
すげー出来だな。ビビったわ

2019/02/28(木) 06:00:19.49

>>157
えっっっっっっっっろ

2019/03/01(金) 16:20:31.28

水に濡れたツルツルテカテカの布を学習させて
どんな水着でもツルツルテカテカにしちゃうソフト作って

2019/03/04(月) 20:04:24.39

cunet と upresnet10 の質の違いが今一わからん…

2019/03/04(月) 20:36:13.18

>>165
4倍拡大くらいすると画像によっては違いが出るみたい

CUnet
https://i.imgur.com/6xtAFrA.png

UpResNet10
https://i.imgur.com/XPgJvOt.png

2019/03/04(月) 20:45:50.55

拡大は×2でも輪郭とかディテール見たら1発だと思うけどなぁ
デノイズは分からない

2019/03/05(火) 09:50:34.41

waifu2x caffeの必須compute capabilityが3.0になって、geforce 5xx 系がサポート外になった
が、waifu2xのソースには今まで通りcuda の必須バージョンが7.5になってて、これソースからビルドしたらgeforce 5xxでも今まで通り動くのでは？
と思って確かめた。
結果、caffeをビルドするbatでCUDA_ARCH_BINと CUDA_ARCH_PTXあたりに20を指定したら動いたわ。
なおcunetはvram 1.2Gのgeforce 570じゃ足りなかった。
580のvram 3Gモデルなら足りるかも

2019/03/05(火) 10:50:09.14

5xx以前は、もう忘れられた存在

2019/03/09(土) 18:51:15.55

いつの頃だったか忘れたが少し話題に出た「RAISR」
https://deepage.net/ai_watson/2017/02/03/raisr.html
https://blog.capilano-fw.com/?p=282

その後の進展があったのかなかったのか、さっぱり情報がないのだけど、どうなんだろう？
Googleマップの航空写真がいつの頃からか、この技術を使っているっぽい感じが個人的にするのだけれど、
今試したところ、以前に比べwaifuでよく問題になっていた輪郭が解ける問題が、かなり改善されているようにも見えるのだが、
どこがどう改善されたのか詳しい情報が何もないのでよくわからん

2019/03/19(火) 22:41:46.73

CUNETってVRAMいくらなら動くの？
2Gじゃcudnn使っても足りなかったよ

2019/03/19(火) 22:55:11.75

と思ったら敢えてcudnn使わないようにしたらギリギリ動いた
あれーcudnnの方が断然省メモリじゃなかったのかよ

2019/03/19(火) 23:09:06.64

768ｘ1080の画像でCUDAだと1800MBくらい
cudnnありだと700MBくらいだったけど
処理時間はCUDAの方が2割くらい短かった

2019/03/19(火) 23:17:37.22

↑は(CUnet)(noise)(Level0)分割サイズ64バッチ1の結果で
(CUnet)(noise_scale)(Level0)(x2.0)ではcudnnの方が速かった

2019/03/20(水) 07:32:39.26

うちの環境じゃやっぱりcudnnの方がメモリを食うようにしか見えない。
Windows7, GTX670, CUDA10, cudnn7.5, waifu2x-caffe-1.2.0.2の環境で、
(CUnet)(noise_scale)(Level0)(x2.0)を実行すると、
強制終了した時のnvsmiでのメモリ使用量は2029MiB / 2048MiB。

2019/03/20(水) 07:36:50.62

あと、分割数は４まで下げても同じ。
画像サイズは約1600x1200

2019/03/20(水) 13:26:52.40

分割数増やせばいいじゃないか…

2019/03/20(水) 13:44:17.48

分割数増やした方が使用メモリ増えるんじゃないっけ？

2019/03/20(水) 14:32:44.85

分割サイズの事を画像をいくつの断片に分割して処理するかみたいに勘違いしてる人が多いけど、実際はピクセルの大きさだからね

2019/03/20(水) 14:55:01.96

ぶっちゃけcudnnの恩恵を感じない

2019/03/20(水) 16:17:49.77

>>179
mjd？
だったら日本語間違ってるだろ…

2019/03/20(水) 16:28:43.88

>>181
ここ読めばわかる
https://github.com/lltcggie/waifu2x-caffe#%E5%88%86%E5%89%B2%E3%82%B5%E3%82%A4%E3%82%BA

2019/03/20(水) 22:38:22.93

> 分割サイズ(crop_size)とは、この画像を分割する際の幅（ピクセル単位）の事です。

2019/03/20(水) 23:29:23.51

分割の増減でどうなるん？
差異があるからこの項目あるんでしょ？

2019/03/21(木) 19:42:51.16

画像のサイズは処理開始時にわかっているのだから、GPUのメモリー容量に応じて最適なサイズで処理するとかできないのかね？
以前、何度か処理中にPCの電源ごと落ちたことがあるが、正直心臓に悪い

2019/03/21(木) 21:08:04.43

分割サイズは
> * 必ずしも数値が大きければ大きいほど速くなるわけでは無い
> * 分割サイズが画像の縦横サイズの約数（あるいは割ったときに余りが少ない数）だと、無駄に演算する量が減って速くなる。 (この条件にあまり当てはまらない数値が最速になるケースもあるらしい？)
ので単純に分割数を増やしても処理速度はそこまで向上しないと思われる

>>185
電源落ちるのは電源容量が足りないかグラボ自体になんか問題あるんじゃない？
メモリ足りないサイズで処理してもソフトが落ちるだけでOSや電源ごととかならないかと

2019/03/22(金) 11:27:34.10

waifu2x caffe 8並列ぐらいしてみた時はGPUメモリ使い切った場合は完全にフリーズしちゃったな(変換も進んでない)
使い切らなきゃ問題は起きなかった。

2019/03/22(金) 21:08:17.08

>>185
メモリのせいかどうかは、

"C:\Program Files\NVIDIA Corporation\NVSMI\nvidia-smi.exe" -l

コマンドでメモリの使用量を監視してみ？
メモリを使い切ってないなら電力不足で落ちてると思われ

2019/03/23(土) 04:26:01.51

>>185
自分の場合GTX1070使ってて電源落ちが頻発して、GTX970に戻しても落ちたので電源を500W Goldから750W Goldに変えたら落ちなくなった。
イベントビューアを開いて電源が落ちた辺りで重大 Kernel-Power 41 っていうのがあったからこれがあなたの環境にもあったら電源の問題だと思う。

2019/03/23(土) 14:51:44.99

cunetで変換画質めっちゃ良くなったけど、瞳がまだ滲んだような変換になってしまうことが多いな
これが綺麗に変換できるようになったら最高なんだが

2019/03/25(月) 19:37:47.63

・フルHD化が難しい「スター・トレック」を自作のAIでフルHD＆4Kにアップコンバートした猛者が登場 - GIGAZINE
https://gigazine.net/news/20190325-star-trek-ds9-full-hd/

懐かしい～

2019/03/25(月) 19:48:15.57

A.I.Gigapixelのことを自作のAIって書いてるのがGIGAZINEらしいｗ

2019/03/25(月) 20:27:36.72

A.I.Gigapixel作った人っぽいよ

2019/03/25(月) 20:37:24.69

スター・トレックかあ、ニューヨークに行きたいなあ

2019/04/02(火) 15:39:29.91

DeepCreamPyだと
https://i.imgur.com/DzqdH4h.png
このレベルで文字消しができるんですか？
どうやるんでしょうか？

2019/04/02(火) 16:34:58.79

kwsk

2019/04/02(火) 17:18:31.41

>>195
アニメ絵じゃないと無理だわ

2019/04/02(火) 17:23:05.71

うん
DeepCreamPyはイラストでガチガチにトレーニングしてあるから実写は無理だと思う
別のソフト探したほうがいいんじゃない

2019/04/02(火) 17:34:11.03

>>195

こっちのほうが向いてるかな。Image Inpaintingってやつ。デモだけど試せる。
https://www.nvidia.com/en-us/research/ai-playground/

2019/04/02(火) 18:30:37.24

実写のモザ消しに試してみたら覆った範囲全部大陰唇みたいな判定で出力されてワロタ
2次画像は書き込んでる人とそうで無い人が分かって面白いなと思った

2019/04/07(日) 12:33:27.04

waifu2xの最新モデルのCUnetがIntel、AMD、NVIDIAのGPUで動く派生が公開されてた。
https://github.com/nihui/waifu2x-ncnn-vulkan

まだ開発が始まったばかりで不具合もあるし最適化されてないから速度もあんまり出ないけどこれからの改良次第でtanakamura版に変わるAMD派の新定番になるかもしれない。

2019/04/07(日) 16:01:05.24

ほぅ…

2019/04/07(日) 21:04:04.90

速度があんまり出ないって書いたけど勘違いだったかも
思ったよりずっと早い

https://twitter.com/nihui/status/1114820507663077376
https://pbs.twimg.com/media/D3ijNE2UwAAKeI2.png
https://twitter.com/5chan_nel (5ch newer account)

2019/04/07(日) 21:06:46.85

>>203
画像サイズによって速度の優劣が変わるんだな
なぜだろう？

2019/04/07(日) 21:10:54.26

>>204
多分caffeは起動に時間がかかるんだと思う。

2019/04/08(月) 05:19:47.57

ラデでも動くのは確認できたが
CUnetなのにボケボケなのはモデル間違えてるんかな

2019/04/08(月) 06:52:31.18

モデルを間違えてるというより推論っていうのかな？モデルを使って拡大する処理の部分に問題がある気がする
ちゃんとディープラーニングに詳しい人が見てくれないとはっきりとしたことは分からないけどさ

2019/04/08(月) 13:35:57.44

>>203
画像の表でtotal timeがミリ秒になってるけど秒だよね…？

2019/04/08(月) 15:58:06.63

>>201のwindows版をダウンロードしたんですが、exeをクリックするだけでは起動できないんですよね?
これからどうすればいいんでしょうか?

2019/04/08(月) 16:56:11.76

>>209

waifu2x.exe [input image] [output png] [noise=-1/0/1/2/3] [scale=1/2]

noise = noise level, large value means strong denoise effect, -1=no effect
scale = scale level, 1=no scale, 2=upscale 2x

2019/04/08(月) 20:30:43.74

>>203
GTX1070にしてはまだかなり遅いと思うな。
caffeならcudnn使用のcunetで5-7倍程度出ると思う。
GTX1080だとインプット150万画像/sec程度の速度でx2拡大処理出来てるので

2019/04/08(月) 20:32:28.18

書いた後でなんだが400x400の項目しか見てなかった。
4000x4000とかだとそれなりに速くなるんだな

2019/04/09(火) 08:11:36.54

>>210
ありがとうございます!
仕事から帰ってきてから試してみます。

2019/04/13(土) 23:51:37.79

Vulkan版ブロックサイズ指定できるようになって以前のだとエラー出て拡大できなかった画像も行けるようになってた
AMD派はVulkanかOpenCV使えば良さそうかな

2019/04/14(日) 07:36:14.69

Vulkan版なんだけど現時点では出力画像のコントラストがちょっと変わることがあるので注意ね
まだ試験運用に留めて本番運用に使用するのは控えたほうがいいかも

適当に説明すると
最初のリリースだとgtx20とvegaのGPUでfp16aの演算結果が正しくない問題があって>>206,207で言われてたように画質の悪い画像が出力されてた
なので現在のバージョンでは応急処置としてfp16aの演算をオフしてあって、明らかにおかしな画像が出力されるってことは無くなった
しかしfp16aをオフにすると演算精度が足りないみたいで画像のコントラストが変わってしまうという事が起きるように
TODOの中にこの問題の修正が入っているのでいつかは直ると思うがいつ直るかは不明

2019/04/14(日) 08:40:27.56

いやごめん適当なこと書いたかも
fp16aのバグが直ったらコントラストの問題も直るみたいに書いたけどそうでもないかもしれない

2019/04/14(日) 10:09:14.94

コントラストが変わる問題を作者の人に聞いたら早速返答が帰ってきた

https://github.com/nihui/waifu2x-ncnn-vulkan/issues/4#issuecomment-482907991
yeah, I found the little difference too.
It is not because of fp16s or fp16a, but because of postprocess.
waifu2x-caffe add a small eps value to all pixels during postprocess, while waifu2x-ncnn-vulkan do not.
I may port this behavior to let the result pixel-wise identity to the caffe one.

以下Google翻訳
ええ、私も少し違いが見つかりました。
これはfp16sやfp16aが原因ではなく、後処理が原因です。
waifu2x-caffeは後処理中にすべてのピクセルに小さいeps値を追加しますが、waifu2x-ncnn-vulkanは追加しません。
この振る舞いを移植して、結果として得られるピクセル単位のアイデンティティーをカフェのものにすることができます。

2019/04/14(日) 19:00:29.76

Vulkan版、version 20190414で>>217の修正入ってベンチマークのスコアがwaifu2x-caffeとほぼ同じになった。
それと速度の最適化も入って環境によっては2倍くらい早くなった。

2019/04/14(日) 19:44:51.03

>>201
これで使われてるモデルって、要するにアニメ画像用のみなんだっけ？

2019/04/14(日) 20:50:38.62

>>219
うん、CUnetはイラスト用のモデルしか配布されてない
写真用のモデルはメモリの問題で用意出来ないらしい

https://twitter.com/ultraistter/status/1062072639714258944
https://twitter.com/5chan_nel (5ch newer account)

2019/04/14(日) 21:27:52.26

>>220
手動でメモリーの開放を指示できないの？

2019/04/15(月) 09:35:10.67

Vulkan版ってコマンドラインの書式を他の派生と互換性のある形にすれば過去のフロントエンドの資産を使い回せるのになんであんな独特のやつにしたんだろ

2019/04/15(月) 11:26:20.37

まったく見てないんだけどvulkanってTTA2-8出力出来たりする?

2019/04/15(月) 19:36:12.02

>>223
TTAモードは実装されてない

2019/04/15(月) 22:07:56.77

ダメじゃん

2019/04/15(月) 23:18:32.99

>>225
必要だと思うなら実装を要望してきたら
作者さん結構フットワーク軽い人だから実装してくれるかもよ

2019/04/16(火) 17:55:33.71

・[NAB2019:アストロデザイン]PLマウント採用の8K120p収録に対応した新製品「AB-4815」を出展
https://www.pronews.jp/news/20190416152541.html

waifu2xの進化が止まっている間に、商用環境でのディープラーニングを用いたアップコンバート環境が実用化されようとしているようだ
（記事中段）

2019/04/16(火) 18:08:37.65

Vulkan版のcommand-lineですが
waifu2x.exe [input image] [output png] [noise=-1/0/1/2/3] [scale=1/2]

①パラメーターは「noise=」「scale=」の文字は不要で数字のみの記述でした。
②DBCSが含まれるファイル名、フォルダー名はエラーとなりますが　解決法はありますか？

2019/04/17(水) 06:49:26.21

>>228
報告しといた。
https://github.com/nihui/waifu2x-ncnn-vulkan/issues/11

2019/04/17(水) 23:46:12.93

>>229
ありがとうございます。

2019/04/21(日) 22:10:23.73

直ったみたい

waifu2x-ncnn-vulkan version 20190421
https://github.com/nihui/waifu2x-ncnn-vulkan/releases/tag/20190421

あとncnn更新の影響なのかVRAM使用量がちょっと増えてるからカツカツの状態で使ってる人はブロックサイズをちょっと小さくしたほうがいいかも

2019/04/22(月) 17:11:19.39

既出かもしれませんが、リアルタイムで超解像を実行できるソフトには
どのようなものがあるのでしょうか？
昔使っていたのですが、名前を忘れてしまいました。
どなたか教えていただけるとありがたいです。

2019/04/22(月) 17:47:31.04

動画のレンダリングのことならmadVRだろうか
汎用的にウィンドウを拡大出来るものがあるなら、自分も知りたいな

2019/04/22(月) 20:20:07.30

>>232
フレーム補完したり疑似的に動画を超解像する奴ならスプラッシュってのが評価高いよ。

https://mirillis.com/ja/free-hd-video-player

2019/04/23(火) 19:04:57.82

>>234
動画というよりは、普通の画像を普通のビューアで拡大するように超解像できるソフトが有ったと思うんですが…
私の方でもサイトを探してみます。

2019/04/23(火) 19:41:10.60

>>235
100ｘ100倍超解像ソフトかMugen Viewerあたりかな？

2019/04/23(火) 21:15:57.92

>>236
100*100ではないですね。
確か公式サイトはインド系の彫刻?を拡大していたと思います

2019/04/24(水) 11:58:56.38

>>237
市販だとphotozoomproがあるけど、そういうのとは違う？

2019/04/24(水) 15:16:53.64

>>232

http://reshade.com/
インド系の彫刻で推理したけどどうだろう？

https://www.gigafree.net/tool/resize/Reshade.html

2019/05/02(木) 17:19:45.09

今更waifu2xcaffeのアップデートに気づいて
CUnetでは分割数で結果が変わると書いてあったので、
拡大のみ2倍 TTAなし分割数512 と
拡大のみ2倍 TTAなし分割数32を試してみたら、
512の方は文字の輪郭が二重にボケたりしますね。
これ処理速度的には結構困る。
TTAあり 512分割だと輪郭がマシにはなりますが、結局時間がかかりすぎるという。

2019/05/02(木) 17:22:15.36

それにUpRGBとどう違うんだろううと
CUnet32分割とUpRGBをそれぞれ拡大のみTTAなしで比較してみたら、
CUnetの方は影付き文字の色が結構黒ずむ。
無条件にCUnetにすればいいと思ってましたけど考えものですね。

2019/05/02(木) 17:53:13.44

UpResNet10モデルも分割数で違いがあるみたいなので試してきた
分割数が多い512だと影付き文字の色が黒ずみますが、
分割数が少ない128以下だと影付き文字の色味がそのままでした。

分割数でここまで如実に変化されるとちょっと怖くて使えない……

2019/05/02(木) 18:09:08.97

自分が使ってる環境ではCUnetよりUpResNet10をもっぱら使ってるけど
大体処理する画像数が30-300くらいまでで
最初に240-256で速度出そうな方で変換して結果確認
おかしな画像があったら38以下の分割でバッチ数多目で試すって感じで使ってる

2019/05/02(木) 18:23:55.66

私はDVDの高解像度化に使っているのでどうしても画像数が数百万程度になっちゃうので、
ところどころサンプルを抜き出して目視チェックはできますが全部チェックは流石に無理なので極力汎用的な設定を模索してるんですよね。

今のところはまずDVDのアナモルフィックをlanczos3で行い、その後Waifu2x-caffeで
UpRGB noise-scale level0 4x TTAのオプションでやるのが一番色味の変化が少なかったです。

あと、アナモルフィックをbicubic(大抵のデコーダーで初期設定）で行った時点で、字幕の色が影付きだと悪くなるの結構罠だと思う。

2019/05/02(木) 19:04:39.27

分割サイズが大きいほうがオーバーヘッドが少なくなって画質が上がりそうな気がするけど小さいほうが画質いいの？
周辺の画素の情報を拾いすぎてアーティファクトみたいなの出してるのかな

2019/05/02(木) 19:19:19.97

しばらく連投で愚痴った割に具体例を出さないのも失礼かなと思って、用意してきました。
aの影に変な輪郭ができてるのが分かると思います。

CUnet noise_scale level0 2x TTAなし 32分割
https://imgur.com/kBpgbUp

CUnet noise_scale level0 2x TTAなし 512分割
https://imgur.com/VsKqYtG

2019/05/02(木) 21:41:46.37

ところでいくらWaifu2xといえど4xぐらいまで拡大すると流石に輪郭がボケて来るので、
みなさんシャープとか掛けてらっしゃると思うんですけど、

おすすめのシャープ系フィルターを持ったソフトありませんか？
複数画像に一括でシャープ掛けられるソフトあんまり持って無いので、
おすすめがあればぜひお聞きしたい。

2019/05/03(金) 02:47:34.42

>>245
>>179って事。つまり、数字が大きい程雑な分速度は速い

2019/05/03(金) 03:47:50.70

>>247
色々面倒なのでお勧めしかねるけれど、
画像を連番にしてavisynthで好きなフィルター入れてやってます

2019/05/03(金) 06:17:47.31

>>247
Neat Imageての調子よかったな

2019/05/03(金) 07:01:42.31

複数回で輪郭ボケは仕方ないと思う。
思いつきだけど案外warpsharp弱目に掛けると悪くなさそう。

2019/05/03(金) 08:40:41.21

分割は最小限で行うべし

2019/05/03(金) 12:00:55.20

分割サイズが大きいほうが無数の断片に分割されるって思ってない？
実際は分割サイズが大きいほど分割されないよ。

例えば元の画像のサイズが400x400で分割サイズが200のときは200x200のブロックに4分割して処理するみたいな感じ。

2019/05/03(金) 13:04:11.40

分割の表記を変えたほうがいいかもしれんね

・現状のままだと
数値=分割したブロックの縦横それぞれのドット数

・プログラムを書き換えて何分割するかに変更した場合
数値=分割数

現状のままで数値が小さいほうがきれいに仕上がる点を考えると、最小ドット数実行モードみたいなのを設けておけば、
ユーザーが分割数だのドット数だのに煩わされずに1番きれいな画像を簡単に得られることにはなる
ただし、最小ドット数にするとものすごく多数に分割されるわけだから実行時間は長くなるだろうけど

CUnetなどで実写モデルがメモリーオーバーする件も、最小ドット数モード限定で装備できないものか
最小ドット数であれば演算時に必要とするメモリーの量も最小限で済むだろうし
このソフトを使いたいユーザーは、速さより品質を重視するユーザーのほうが多いだろうから、分割しまくることによる実行時間の増加は許容されるだろうし

2019/05/03(金) 19:58:39.91

一日掛けて画像補間のためのディープラーニングの用意してたら、avastがいくつかライブラリ削除しやがったせいでやりなおしになった……

2019/05/03(金) 20:10:52.12

cudnnってDLしたファイルをフォルダに入れるだけだよね？
何故か初期化失敗で読み込まないんだけど、GUIじゃ使えない？

2019/05/03(金) 20:15:48.54

ドライバが古いとか

2019/05/03(金) 21:47:43.60

ちゃんと
cudnn64_7.dll
をwaifu2x-caffe.exeと同じフォルダに入れてあったら動くはず。GUI版で動作確認してる。

2019/05/03(金) 23:00:43.62

>>249
>>250
教えていただきありがとうございます。
御礼の言葉を忘れておりました。すみません……