【超解像】画像拡大ソフト総合スレ4【waifu2x】

2018/10/16(火) 17:11:24.76

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
http://kourindrug.sa kura.ne.jp/waifu2x.html

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2018/10/16(火) 17:12:08.39

Q． waifu2xの派生バージョン多いけどどれがオススメ？
A． Windows 64bitかつGPUがnVidia製なら、waifu2x-caffe。それ以外の環境なら、tanakamura版あたりを試すと良い。
高精度を求めるなら導入が難しいがwaifu2x-chainerという選択肢もあります。

・歴代スレ
waifu2x [転載禁止]・2ch.net
http://anago.2ch.net/test/read.cgi/software/1433637613/

【超解像】画像拡大ソフト総合スレ1【waifu2x】 [転載禁止]・2ch.net
http://potato.2ch.net/test/read.cgi/software/1447218757/

【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net
http://egg.2ch.net/test/read.cgi/software/1462847285/

2018/10/16(火) 17:16:27.96

ワ有りは嬉しいけど人動くか?

2018/10/16(火) 18:07:42.24

ワ無し基地外がワ有り使わない宣言しているしこっち使うわ

2018/10/16(火) 20:11:11.29

>>1
乙

向こうのキチガイが書き込みせずに放置してたから再利用していただけなのに、いきなり戻ってきてアレではどうしようもない

2018/10/17(水) 06:56:14.50

waifu2x-chainerの公式ベンチマーク
https://github.com/tsurumeso/waifu2x-chainer/tree/master/appendix

2018/10/17(水) 07:59:40.18

リリース版はまだだけど、モデルとかも更新されたみたいだね

2018/10/18(木) 00:08:04.83

テスト

2018/10/18(木) 19:54:45.36

・「CEATEC JAPAN 2018」が今月19日まで開催中（4）。8KをHDMIケーブル1本で伝送できる。ソシオネクストがHDMI2.1対応チップを展示
https://online.stereosound.co.jp/_ct/17215087

「チップ内部でリアルタイムに2種類の超解像を行なってその結果を比較、ディテイル再現の自然な方を再現する「比較型超解像」という独自方式となる。
実際にUHDブルーレイでデモを行なっていたが、木立の細かな葉っぱの再現などに明確な違いが現れていた。」

waifuも複数のエンジンを同時に走らせて最適な結果を取捨選択すれば、滑らかかつくっきりな画像ができあがるかもね

2018/10/18(木) 20:22:19.05

やるのであれば対象が例えばイラスト寄りかCG寄りかを判別して重み付けする処理とその2つをそれぞれ学習したモデルと重み付け結果によりMIXする処理があれば出来るのかな?
PSNRとかの指標はともかく見てくれは良くなりそう

2018/10/18(木) 23:22:26.39

waifu2x-chainer-GUIで、
ファイルをD&Dして実行すると「failed to start python」ってなる
その時に下に出るエラーログで表示されるコマンドをコマンドプロンプトで実行するとちゃんと処理される
・・・何が悪いんだろう？

2018/10/18(木) 23:38:00.61

速攻でで自己解決した
頭に来たんでGUIのexeとxamlをanaconda3のフォルダに突っ込んだら動いたわｗ

2018/10/19(金) 14:11:32.16

waifu2x chainerのコミットなんとなく眺めてたら
Improve UpResNet10 architectureのなかに
return h * se + x
とかあって笑ってしまった。
自分は心が汚れ過ぎてるんですかね

2018/10/19(金) 14:13:42.31

喝！

2018/10/19(金) 18:41:31.58

waifu2x-chainerのf992515でupresnetを使うとエラーが出るのは自分だけ？
v1.8.1なら問題ない

2018/10/20(土) 08:34:59.55

リリースされてないバージョンだけど waifu2x chainerのupresnet10新しいモデルうまく出力されない?
まあどう考えても待つべきなんだろうけど。。

2018/10/20(土) 11:33:13.47

モデル差し替えだけでは動かないけどそこは大丈夫？
lib/srcnn.pyも更新しないとだめだよ
エラー内容書いてもらわないとこれ以上のアドバイスはできないね

2018/10/20(土) 12:06:27.68

>>17
エラーメッセージはこんな感じ
https://pastebin.com/ETphXZ1v

git pullで更新してるからモデルファイルだけじゃなくてlib/srcnn.pyも更新してるはずなんだけどね

2018/10/20(土) 12:30:26.59

あーたぶんChainerのバージョンが原因かな
行列の要素積を計算するときにそれぞれの行列の形を自動的に合わせる機能が有効になってないんだとおもう
5.0.0rc1にアップデートすれば解決するかも
pip install chainer==5.0.0rc1

2018/10/20(土) 12:58:46.49

>>19
ありがとう、いったん
pip uninstall chainer
して
pip install chainer==5.0.0rc1
したら上手くいった

2018/10/20(土) 23:27:02.17

出来ましたありがとうございます！

2018/10/22(月) 11:50:04.14

a9917a7と1.8.1のupresnet10の違いがよう分からん

2018/10/24(水) 09:18:07.89

waifu2x chainerでupconv7がupdateされてるな。何が変わったんだろ

2018/10/24(水) 11:58:19.83

upconv7って音楽の高音質を補完しつつハイレゾ化するソフトがあるのでそっちもchainerでアップデートしたのかと思った。

2018/10/24(水) 20:17:22.54

使う人いるか分からんけど自分がベンチマークに使ってるbatをUPした
稚拙だしスパゲッティだから使いにくいかもしれないけど

https://github.com/f11894/SR_benchmark

2018/10/25(木) 06:27:49.38

Release ver 1.1.9
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.1.9

waifu2x-chainer v1.9.0からUpResNet10モデルを取り込んだ
CUDA Toolkitを10.0.130に更新(同梱しているdllも更新)
cuDNN v7.3.1に対応
ビルド環境をVisual Studio 2015に変更
caffeを更新
GUIでもバッチサイズを指定できるようにした

2018/10/25(木) 07:55:24.16

まさかのwaifu2x-caffe更新とはありがたい

2018/10/25(木) 08:03:28.10

UpResNet10の速度的には、cuDNN使ったcaffeでもchainerと同サイズ設定ならほぼ変わらないっぽい？
自分のしょぼい環境では、caffeのUpResNet10だと分割サイズやバッチサイズを上げるとすぐエラー出て
chainerだとサイズ類を上げても大丈夫な影響で、結果的にchainerの方が早くできる
upconv7は以前通りcuDNN使ったcaffeの方が圧倒的に早いけどね

2018/10/25(木) 09:16:31.15

>>24
興味がある

2018/10/25(木) 11:06:47.92

>>29
フリーソフト - upconvfe 0.7.x の仮公開
http://59414d41.cocolog-nifty.com/blog/2018/06/--upconvfe-07x-.html
音声ファイル(wav)のサンプリングレート変換ソフトです。
CDからリッピングした44.1kHzのファイルを88.2kHzや96kHz、192kHzの
ハイレゾのwavファイルに変換できます。
また、16bitから24bit化できたり，CD化のときに削除されてしまった20kHz
以上の音を8～10kHzのところの倍音を解析して高域補完をし、
アナログに近い最大で96kHzまで入っている音が作成できます。
例えば、サンプリングレートを96kHzに変換し高域補完すると48kHzまで
入っているハイレゾ音源ができます。
失われた音の再現ですので、本物の音ではないですが、
バイオリンや自然音、マラカスなどの高域まで続く音が自然になります。

018/10/08 追記

現在はサンプリングレート(705600hz / 768000hz)の対応中です。
一部upconvの高域補完(hfa3)の補完パラメーターもいじっています。
開発環境が変わったので、コンパイルしなおしてデバッグ中です。

2018/10/25(木) 12:08:07.99

>>30
このソフトリンク切れてたから開発終了だと思ってたけど作者生きてたのか。嬉しい

2018/10/25(木) 17:31:22.64

>>26
おっ!caffeが対応ですか
CPUだけの実行でもご利益はあるのかな？

>>30
768kHzの対応中w
すごいな
Potplayerで192kHz、32bitで再生しているのだが、768kHzとかにしちゃうとかなり品質の悪い圧縮音声ファイルを再生しても心地よく聴けそうな気がする

2018/10/25(木) 17:32:53.61

別件で、Googleマップの航空写真がいつの頃からかわからないが表示される画像がwaifuっぽい輪郭線に感じられるのは気のせいか？

2018/10/25(木) 20:10:44.59

>>26を試してみたけど、うちの環境だとcudnnを入れないと動かなかった
あと、拡大率2倍以外にすると処理時間が数倍レベルで跳ね上がった

2018/10/25(木) 20:23:48.11

waifu2x-caffe ver 1.1.9のUpResNet10をCPUで使うとクラッシュするの自分だけ？
同じ症状の人がいればissueに報告しようと思うんだけど

2018/10/25(木) 20:37:09.33

>>35
cuDNN入れろ

2018/10/25(木) 20:40:30.65

>>36
nVidiaのGPU使ってないんよ

2018/10/25(木) 20:42:12.38

>>35
オレもクラッシュするよ

2018/10/25(木) 20:44:15.62

>>37
仕様知らないけどcuDNN無しだと俺もクラッシュするわ

win10
i7 7700k
gtx1080ti

2018/10/25(木) 20:47:25.90

ありがと
報告しといた

2018/10/25(木) 20:51:26.94

>>40
乙

1.1.9.1がリリースした様だけど試した?

2018/10/25(木) 20:55:04.84

>>41
試してないけど言語ファイルの修正だから関係ないんじゃないかな

2018/10/25(木) 21:09:08.32

早速修正された。感謝。
https://github.com/lltcggie/waifu2x-caffe/commit/7d1973c3148af5594e4322c8be06b0816c14ee38

2018/10/25(木) 22:23:54.72

>>30
thx
32kHz未満や8bitからの補間には非対応かー、まあいろいろ試してみよう

2018/10/26(金) 01:30:07.18

>CUDA Toolkitを10.0.130に更新(同梱しているdllも更新)
>cuDNN v7.3.1に対応

前からこの書き方がいまいちよく分からないんだけど
・CUDA10.0.130のdllを同梱している
・cudnn64_7.dll v7.3.1のCUDA10用が必要
・CUDA10.0.130は https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/ によればGeForceドライバ411.31(2018年9月頃)以降が必要
ってことでいいのかな

新しいのに対応するのはいいんだけど、新しくないと動かないってのは結構面倒なんだよな

2018/10/26(金) 01:36:21.65

CUDAだけインストールしてもドライバ入れないと動かないのか…時間かかるからCUDA以外のチェック外して動かなかったんだわ

2018/10/26(金) 17:29:00.97

毎度のごとくテスト画像を作成してみた（あまり時間がないので3種類のみ）
http://fast-uploader.com/file/7096097922864/

公開は1週間以内で設定しています
パスワードとかは不要です
拡大画像に対するコメントは同梱のテキストファイルに書いておきましたので参考にどうぞ

2018/10/26(金) 18:24:57.25

>>47
乙
確かに斜め線だけが惜しいな
1枚目の数字の件、モデル作成時に文字や数字、記号なんかをたくさん含んだ画像を加えるといいんじゃないのかな？

2018/10/26(金) 18:25:01.43

>47
お疲れ様です。
UpResNet10モデルでは分割サイズによって出力結果が変わると
waifu2x-cafeeのREADME.txtに記載があったため、
当方で分割サイズ38(デフォルト)のものと512のものを作成・比較してみたところ、
テスト2の4xの画像で、右側のビルの上部の壁の斜線が集合している部分の
奥の市松模様に変化するあたりに若干の違いがみられました。
ご参考まで。

2018/10/26(金) 21:06:41.48

>>47
手元にAdobeRGB画像があったから試してみたよ
拡大した画像のプロパティを確認するとAdobeRGBの情報がきれいさっぱりなくなっているので、拡大前より色あせて見えています
たぶん、前と同じく情報だけ書き換えればすぐにAdobeRGBに戻るパターンだと思います

2018/10/27(土) 06:24:22.46

自分も毎度のごとくwaifu2x-caffe v1.1.9.2とwaifu2x-chainer v1.9.0のベンチマークした
とりあえず拡大のみ

PSNR RGB
https://drive.google.com/open?id=1tQknQv3afkJiHnkHLaub5-NonfIJrJoQ
SSIM RGB
https://drive.google.com/open?id=1YU2i94iEfRBGwh3zsJMKptoc36Meunga

UpResNet10は分割サイズが変わると出力結果が変わるみたいなので両ソフトとも64に統一してベンチマークしたんだけど何故かcaffeのほうが成績が良くなった

2018/10/27(土) 06:26:08.90

>>47
>>50
確かwaifu2x-chainerだとICCプロファイルを維持して拡大出来たと思う

47 (ﾜｯﾁｮｲ 9764-pP8n) · 2018/10/27(土) 17:22:31.31

>>48
文字や数字をモデル作成時に加えておくのは有効でしょうね

>>49
分割サイズによって変化があることは承知しているのですが、これは画像サイズに応じて
自動的に最適なサイズに設定されるわけでもないのですかね？

>>50
やはりそうですか。この点は是非とも改善してほしいところですね

>>51
なぜ差が出るのでしょうね？

>>52
waifu2x-caffe側も是非とも対応していただきたいですね

49 (ﾜｯﾁｮｲ 472b-UQoP) · 2018/10/27(土) 17:58:06.94

>>47
ver. 1.1.9.2で確認したところ、デフォルト値は38固定のようですが、
入力画像の解像度に応じて分割サイズのプルダウンメニューの中身が
一部変わる場合もあるようです。
1920x1080では　38|60,120|64,100,128,...　で、
1280x720では　38|80|64,100,128,...　でした。
他のスレでは値が小さい方が良い結果が出るという書き込みがありましたが、
私の環境では38より512の方が見た目が好ましい場合もありましたので、
色々と値を変えて試してみるつもりです。