【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net

2016/05/10(火) 11:28:05.20

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
※リンクがNGワードに！

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2016/11/16(水) 19:52:31.28

写真で言えば、現状木の葉の重なりとか
同系色の小石及や砂漠の処理が難しいな
サンプル食わせても、思ったように描画してくれない

2016/11/16(水) 19:55:59.77

みんな論文読んだ？
読んだ範囲だと選択的に
デシタルフィルタで輪郭強調してるだけっぽいけど
表現力とかreceptive fieidはかなり
waifu2xの方が大きい

ただ家電組み込みとかは有利そう

2016/11/16(水) 21:42:25.30

昔からよくある超解像のエッジ強調でボケ低減重視した結果
テクスチャ成分が消えて油絵見たいになる奴だな
今までは反復で処理してたのを1回?なんで速度が速いみたいな
あとで元画像の高周波成分に応じたディザ加えると視覚上はそれっぽく見えるようなの

2016/11/16(水) 21:50:26.19

https://twitter.com/personasama/status/781839302791532544

ディープラーニングは詳しく無いんだけど、
マンガのコマを入力にしてこういう動画を出力させることって出来ますか？

2016/11/16(水) 21:51:54.96

余裕

2016/11/17(木) 06:17:49.45

あぁwaifuより溶けてねーかと思ったのはあながち間違ってなかったのか

2016/11/17(木) 22:15:42.90

>>457
論文のままやるのではなく、waifu2x流に「同じ写真のアップサンプリング版」と「(今までのモデルデータと同じ)高解像度版」の2パターンのモデルデータを作成して、
それぞれで超解像処理したあとに部分ごとにいいとこ取りするとかではダメなの？

2016/11/18(金) 13:33:46.27

koroshellのコンバータをcppに変えたら速くなった！
気がする

2016/11/18(金) 13:49:44.70

プラーシボウ公開です。

2016/11/19(土) 13:56:59.27

madVRにNGU (Next Generation Upscaling)というのが入ったらしいので
動画に詳しい方はレポートをおねがいします。

2016/11/19(土) 14:18:38.38

madVRスレに比較画像ありました

madVR Part8　©2ch.net
http://potato.2ch.net/test/read.cgi/software/1469289290/404

404 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2016/11/05(土) 22:15:28.64 ID:FYlCTwMn0
http://forum.doom9.org/showthread.php?p=1784964#post1784964
新アルゴリズムはまだ時間かかりそうだが、比較画像がでてきた
NG1がmadshiの新アルゴリズム、Waifu2xは比較用でリアルタイムでは使用できない
http://madshi.net/madVR/AmericanDad/AmericanDadOrg.png
http://madshi.net/madVR/AmericanDad/AmericanDadJinc.png
http://madshi.net/madVR/AmericanDad/AmericanDadNNEDI256SR4.png
http://madshi.net/madVR/AmericanDad/AmericanDadNG1.png
http://madshi.net/madVR/AmericanDad/AmericanDadWaifu2x.png

2016/11/19(土) 15:13:42.49

実写でやってくれないとよくわからんぞ…

2016/11/19(土) 16:15:24.16

Jincはぼやけすぎ
NNEDIはリンギングがひどい (ただ元の画像に入っているのでシャープにするときに強調してしまっているのかも)
NGUとwaifu2xはぱっと見同じに見えるけど線だけ見るとwaifu2xのほうくっきりしているのと
左の女性の口周りの色のにじみなどが消えているというのが自分の感想です。（このwaifu2xはノイズ除去あり?)
これでwaifu2xの100倍速いならすごくいいんじゃないでしょうか。

あと
>madVR v0.91.0
>* added new NGU (Next Generation Upscaling) algorithm
とあるのでもう入ってると思います。

2016/11/19(土) 16:21:10.15

>>469
実写だとこれ
http://forum.doom9.org/showthread.php?p=1785599#post1785599

NGUは輝度のみの拡大で、色差はBicubic60で拡大している模樣
面白そうだけどうちの低スペPCじゃmadVRは無理だなあ

2016/11/19(土) 16:21:54.60

動画のキレイな拡大ならMPDNてのもオススメ。openclに対応してる。

2016/11/21(月) 19:33:59.35

BSD100 x2

PSNR 28.599 SSIM 84.309 Lanczos3
PSNR 28.729 SSIM 83.971 NNEDI3
PSNR 29.721 SSIM 87.238 SRCNN
PSNR 30.071 SSIM 87.456 NGU
PSNR 30.081 SSIM 87.471 waifu2x_Photo
PSNR 30.292 SSIM 87.885 waifu2x_UpPhoto

評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に

思いのほかNGUのスコアが高くなって困惑
madVRの開発者がNGUはGoogle RAISRより優れていると豪語してたけどマジかもしれない

2016/11/21(月) 20:29:10.26

NGU、恐ろしい子！
ただ原理的なことがさっぱりわからんけど。
というか、静止画で手軽に試す手段とかあるの？

2016/11/21(月) 20:43:35.85

>>474
> というか、静止画で手軽に試す手段とかあるの？

無いと思う。
MPC BEにpngを読み込ませてスクリーンショット撮影っていうのをひたすら繰り返した。
NNEDI3みたいにプラグイン形式で使うことが出来れば楽なのだが。

2016/11/21(月) 20:49:31.60

さすがに画質ではwaifu2xにはあと1歩及ばないけど
動画をリアルタイムに拡大処理可能な速度でこれは凄いな

2016/11/21(月) 22:56:47.72

>>473
>評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に
超解像の論文でよく使われているPSNRと書かれている再現できない謎の評価指標は
輝度だけのPSNRなのですが
MATLABの実装由来で輝度を16-235の範囲の整数にしたあとにMSEを計算しているため通常のPSNRより高くなっています。
(また縮小に使うアルゴリズムはBicubicに固定します。
waifu2xのtools/benchmark.luaで-filter Catrom -range_bug 1にした時にこの評価指標を再現できます)
この評価指標を使っている場合は、BicubicのPSNRが高いので見分けが付きます。
RAISRはSRCNNよりもPSNRは低いと書いてあるのでNGUはRAISRよりも高いと思います。

2016/11/22(火) 20:59:13.01

NGUの演算時間を延ばしていいから、もっと高精度に演算させるオプションとかないものなのか？
あるいは先日の例に習って
従来型waifu2xとNGUのいいとこ取りとか

2016/11/23(水) 08:59:40.21

これはすげえな…
久々にハイエンドグラボ買うか

**473** (ﾜｯﾁｮｲ bf39-Yhbf) · 2016/11/25(金) 02:32:42.55

>>477
詳しい説明ありがとうございます。
MATLABもLuaも導入難易度が高そうだったのでWindowsで簡単に扱えるソフトで良いものが無いか探したところ、FFmpegを使えばだいたい同じような値が出ることが分かりました。
これでデータセットの中に縮小済みの画像が入っているものに関しては割と近い感じの数字が出せるかもしれません。

BSD100 x2

Y-PSNR 29.553 bicubic
Y-PSNR 29.917 Lanczos3
Y-PSNR 30.066 NNEDI3
Y-PSNR 31.096 SRCNN
Y-PSNR 31.190 SelfExSR
Y-PSNR 31.397 NGU
Y-PSNR 31.417 waifu2x_Photo
Y-PSNR 31.627 waifu2x_UpPhoto

2016/11/25(金) 22:57:57.27

>>480
Bicubic, waifu2x_Photo, waifu2x_UpPhotoのスコアは手元と大体同じです。(差が0.01程度)
SelfExSRは2年くらい前にstate of the artと言っていたものなので
処理時間の制限つけた上でそれを超えてるのはすごいですね
もっと遅くしてよいという条件でどこまで上げれるのか気になる

2016/11/28(月) 19:21:55.57

http://i.imgur.com/GvD97ih.jpg

2016/11/28(月) 20:24:16.40

読唇術もコンピュータ処理の時代か
インチキ読唇術者ざまあ

2016/12/08(木) 14:28:01.71

動画対応期待age

2016/12/08(木) 19:17:12.07

ICCプロファイルのサポートもするらしい

Don't ignore color profile · Issue #158
https://github.com/nagadomi/waifu2x/issues/158#issuecomment-265580773

2016/12/09(金) 15:57:16.96

PSNR値は視覚及び脳内での判定と一致しないんだよな
元写真を縮小→拡大テストで見比べると、SRCNN等は微妙と言うか
人間的感性も数値化できればいいんだが

そいや市販ソフトのPIXEL MASTERは昔使ってみたが(性能は微妙なところ)
今は公式ツイッターさえSpamBOTにのっとられてる有様だなｗ

2016/12/10(土) 00:19:42.16

PSNRを高くにするは、ほとんど同じ入力から拡大結果が異なるようなときに
それらの平均を出力したほうが有利で、平均というのは無難だけどどの正解にも近くないので違和感を感じやすいと言われています。
人の感覚に近いものとして、Perceptual LossやGANを使ったモデルが出ていて
これは、拡大結果の違和感は少ないけど、元画像とは近くならないです。
（PSNRは低い、ぼやけている部分を強調したり、元画像とは異なるテクスチャを追記したりする）
ただ写真ではかなりすごい結果が出ています。
https://arxiv.org/abs/1609.04802（画像だけでも見る価値があると思う）

2016/12/10(土) 00:29:51.46

>>484
面白いのがあったよ
実際使えるかわからんけども
http://shimarisu.webcrow.jp/su_resol.html

2016/12/10(土) 11:48:30.46

>>488
これは使える。良い。

2016/12/10(土) 13:42:59.29

そこに書いてある
＞24Mbps、29.97fpsのFHDを4kに拡大してみました。
＞・インターレースソースの問題（プログレッシブ化）。
＞・音声のずれ。
＞・かえって画質が劣化した。
＞と感じています。

これは数字から推測するにBSを録画したTSファイルやろな

2016/12/11(日) 21:12:36.54

中学生ぐらいが作ったサイトっぽいな（俺も作ったわぁ）

2016/12/12(月) 01:24:13.36

>>488
ノートン先生にブロックされたが？

2016/12/12(月) 07:57:55.52

>>492
その先生にせもんじゃね？

2016/12/12(月) 09:36:41.73

>>492
ノートン先生は落としたファイルの利用者が少ないとなんでもかんでも有害認定する池沼だぞ

2016/12/12(月) 11:05:25.67

ノートン先生は引退して画商になった。今のノートン先生はレプタリアンが化けてる。

2016/12/12(月) 15:32:46.27

うちのノートン先生は利用者が少ないファイルでウイルスの疑いがないならそういう風に注意だけ出してくれるけど違う先生なの？

2016/12/12(月) 18:03:31.51

madvrのNGUのベンチが思った以上に凄いから動画に関してはそっちで充分かな
waifu2xだと溶けるのがやっぱり残念なのと、動画のパンでは、境界線でジャギーみたいなのが発生するのも凄く気になる
あと結局は、エンコに凄く時間がかかるのがネックだなぁ
静止画でのベンチは素晴らしいんだけどね

2016/12/12(月) 22:48:32.93

NGUがどう進化するか次第だと思う。
waifu2xのいいところと、NGUのいいところが、うまくミックスできると最強なんだろうけど。

2016/12/13(火) 12:11:33.58

光と闇が合わさって最強に見える

2016/12/13(火) 13:09:33.02

500 Internal Server Error

2016/12/13(火) 17:56:43.54

madVRスレでも言われていたけどNGUはジャギーが稀に出る事があるのでそこが改善されると嬉しい。
ちなみにwaifu2xで拡大すると綺麗に拡大されるのでやはり優秀だなあと思う。

2016/12/17(土) 23:32:04.49

前々から思ってたんだけどノイズ除去の「最高」を精度とか品質が最高だと思ってどんな画像も最高で変換している人がいるような気がする。
例えばこの記事も元のjpgの品質が98くらいあるのに最高で変換している。

フルHDから4Kへ！ Webのちからでプリキュアの壁紙を超高解像度化する｜ギズモード・ジャパン
http://www.gizmodo.jp/2016/12/4k-precure-wall-paper.html

2016/12/18(日) 00:11:40.73

よりアニメ調を強くしたい時に強くする

2016/12/18(日) 01:33:48.95

ノイズ除去強めるとのっぺりしないかなぁ

**502** (ﾜｯﾁｮｲ dc39-sOSw) · 2016/12/18(日) 02:02:20.19

>>504
実際のっぺりするね
http://i.imgur.com/G6m1ltP.png

2016/12/18(日) 02:57:40.65

>>488
この作者普通にできる人だったのか

**488** (ﾜｯﾁｮｲW 8289-SvdB) · 2016/12/18(日) 11:56:30.17

>>505
必要ないならあえて強く掛けない方がいい気がするよな…上の画像なんて元からJPEG品質高いっぽいし

>>506
これなぁ
俺の環境では動画と音声の長さが合わなくて、音ズレしまくったんだよな
更新も止まってるっぽいし…

2016/12/18(日) 12:18:17.73

音は後から直すのが良いんじゃね。

2016/12/18(日) 15:45:47.64

動画は可変フレームレートとか色々あるから音ズレしやすいんだよねえ……
一部のWMVも可変フレームレートだから普通にFFmpegで変換すると音ズレする。

>>507
コメント欄に「このソフトで変換すると音声がずれる動画がyoutubeなどにあったらurlを教えてください。」って書いてあるからサンプル提供するかMediainfoで調べた情報送ればいいんじゃないかな。

2016/12/19(月) 00:02:19.88

普通にw2xcでエンコするのじゃ駄目なの？

2016/12/19(月) 12:40:53.53

caffeの最新と同等の動画用があるといいんだけどな

2016/12/19(月) 19:11:26.22

まあそれが理想だなぁ
w2xcも更新が止まっちゃったし

2016/12/19(月) 19:46:10.94

>>488のやつは内部にwaifu2x-caffe使ってる
導入も簡単だし、音ズレ対策やその他諸々の機能追加されたら使い勝手良くなるから頑張って欲しい

2016/12/19(月) 20:12:37.28

モデルを入れ替えたらええのか

2016/12/20(火) 11:37:38.14

caffe使ったvapoursynthのプラグインがあるだろ

2016/12/20(火) 18:15:15.96

導入することさえ出来ればVapourSynth-Waifu2x-caffeが品質も処理速度も最高だと思うけど導入難易度高いね。

2016/12/22(木) 17:08:38.15

初心者新参なんだが、どれがおすすめ？

Windows10 Pro 32bit Core i5
メモリ4G

2016/12/22(木) 19:56:30.72

>>517
32bitのWindowsだとtanakamura氏のwaifu2x-converter-cppかな。
64bitのWindowsなら今でも更新が続いているwaifu2x-caffeがいいんだけどね。
今だとcaffe版にしか付いてない機能も多いし

2016/12/23(金) 09:29:37.03

>>518
ありがとうございます！
トライしてみます！！

2016/12/23(金) 13:04:02.41

NeuralStyler 2.0
http://neuralstyler.com/index.html

2016/12/23(金) 19:29:05.72

Sharper Scaling
http://a-sharper-scaling.com/

Bicubic interpolation
http://a-sharper-scaling.com/2b.jpg

Photoshop Preserve Details
http://a-sharper-scaling.com/2pd.jpg

A Sharper Scaling
http://a-sharper-scaling.com/2ass.jpg 👀
Rock54: Caution(BBR-MD5:0be15ced7fbdb9fdb4d0ce1929c1b82f)

2016/12/23(金) 20:14:40.66

今使ってるグラボがGTX670なんだけど、1060や1050にしたら処理早くなりますかね？
80枚のイラストを3.0倍、ノイズ除去1　jpgでやると20分位掛かっちゃうんです

2016/12/23(金) 20:29:03.16

>>522
http://akiba-pc.watch.impress.co.jp/img/ah/docs/747/222/html/mdosv1604_b51.jpg.html
多分早くなる

2016/12/23(金) 20:38:32.67

>>522
早くなると思います。
gtx1060＠6gbならばvramを最大限活用すれば間違いなく体感できる差を得られるでしょう。

2016/12/23(金) 20:40:47.34

ごめんグラボよく分からないから523は無しでｗ

2016/12/23(金) 20:52:17.48

>>524
ありがとうございます

2016/12/23(金) 21:04:41.82

>>526
ttaの有無、分割サイズ、変換する画像の大まかなサイズなど詳しく教えていただければ自分のpcで走らせてみますがどうでしょう？
多少なりとも参考になると思います。

2016/12/23(金) 23:22:19.50

AMDから今度出るGPUが深層学習向けらしいけど
このソフトでも早くなるのかな

**488** (ﾜｯﾁｮｲW 1289-W3gD) · 2016/12/23(金) 23:46:46.15

>>509
さっき覗いたら更新来てた
音ズレ検証してみたけど解消してるわ
これはいいで

2016/12/24(土) 15:31:26.95

処理速度をベンチマークするbat書いたよ
動くかどうか分からないけど奇特な人はチャレンジしてみて。

https://www.dropbox.com/s/5p9lnl62qnlk69v/waifu2x_benchmark_v1.zip?dl=0

2016/12/28(水) 17:41:29.27

オンボのノートPCじゃこのソフト使えないんでしょうか？
1280×800の画像１枚を２倍にしたいだけなんですが実行ボタン押しても残り時間：不明って出てフリーズします。
ウェブ版は普通に使えます

2016/12/28(水) 17:49:55.63

waifu2x-caffeなら時間かかるが動くんじゃね

2016/12/28(水) 17:51:02.58

とにかくColorProfile対応してくれることを望みます
ちょっとライトエフェクトとかある差分画像とか全体が全く違う色になって困り果ててしまうわ
これで動画のエンコなんてしたらもう…

2016/12/28(水) 18:09:49.29

>>532
ありがとうございます。ソフト名を書くのを忘れていました。
そのwaifu2x-caffeでフリーズしてしまうのです。

2016/12/28(水) 18:13:18.56

>>534
じゃあ明日まで待つ

2016/12/28(水) 18:14:43.22

>>534
残り時間不明のまま一見なにも起きない（裏でちゃんとうごいてる）
のは仕様だと思いますが。CPU使用率を見てれば動いてるかどうか
分かるよ

2016/12/28(水) 18:39:45.55

>>533
大人しくmadvrのNGU使え

2016/12/28(水) 18:40:08.51

初期設定だとCUDAで変換するようになってるけど環境がCUDAに対応しているかチェックする時に躓いているのかな
動作設定で使用プロセッサーをCPUにすれば動くと思うけど

2016/12/28(水) 19:59:06.13

>>538
動作設定はCPUにしております。CPU使用率は80%以上でございます。Braswellでは非力すぎて動かないのかな

2016/12/28(水) 20:51:23.97

>>539
時間がかかるだけで変換出来ないって事はないと思うんだけどね
あと気をつけないといけないと思うのは分割サイズを大きくしすぎるとメモリを食ってOSごとフリーズする事くらいかな

2016/12/28(水) 23:07:48.09

なんだ、終わるまで待てない人だったかｗ

2016/12/28(水) 23:12:10.69

進捗バーが動くものだと思ってるんだろうな

2016/12/28(水) 23:49:47.12

あの進捗、ファイル数なんだよなぁ(´･ω･`) 大漁のファイル掘り込めばバー動くけど
オンボろノートで1280×800を2倍拡大だと数分掛かるんじゃね？

2016/12/28(水) 23:53:04.70

重たい処理したいときはこのあたりのソフト使うと良いよ

【優先度】CPU最適化スレ　3CPU【自動変更】
http://potato.2ch.net/test/read.cgi/software/1327059116/

**531** (ﾜｯﾁｮｲW b2e1-EzRd) · 2016/12/30(金) 14:31:11.67

辛抱強く待ってたら一応完了したのですが出力先を見たら何もできていませんでした‥.

モデルのUpPhotoとphotoの違いは何でしょうか？

2016/12/30(金) 14:40:02.55

出力先指定してあるの？違う所見てない？それか上書になってない？

無印は標準モデル
Up印は速度優先モデル(と言っても倍程度。出来上がりに大差はないけど物によっては気になるかもしれない)

2016/12/30(金) 17:02:37.88

1060が届いたので試してみました
･･････････あまり変わっていない？
分割サイズを128から240にしたけど、う～ん

後cuDNNってなんぞ？

2016/12/30(金) 18:12:22.39

cuDNNはNVIDIAが別で配布しているライブラリ
ディープラーニング用のAPIが入ってる

waifu2xはほとんどの処理時間は
コンボリューションで、cuDNNに
含まれるAPIなので恐らく速くなるはず

caffeeの自前実装のコンボリューションが
鬼のように最適化されてたら変わらんかも
しれんが比較したことないので知らん

2016/12/30(金) 18:20:53.02

>>548
ここに各種条件でのベンチマーク結果が書いてあるよ
https://github.com/lltcggie/waifu2x-caffe

2016/12/30(金) 18:21:04.13

cuDNN RGBモデル

| 分割サイズ | 処理時間 | VRAM使用量(MB) |
|:-----------|:-------------|:-------------------|
| 100 | 00:00:03.170 | 278 |
| 125 | 00:00:02.745 | 279 |
| 200 | 00:00:02.253 | 365 |
| 250 | 00:00:02.147 | 446 |
| 500 | 00:00:01.982 | 1110 |

CUDA RGBモデル

| 分割サイズ | 処理時間 | VRAM使用量(MB) |
|:-----------|:-------------|:-------------------|
| 100 | 00:00:06.192 | 724 |
| 125 | 00:00:05.504 | 724 |
| 200 | 00:00:04.642 | 1556 |
| 250 | 00:00:04.436 | 2345 |
| 500 | 計測不能 | 計測不能(6144以上) |

2016/12/30(金) 18:34:48.69

>>548
英文書いて登録とか俺には無理だわ
単にチェック入れるだけならな

2016/12/30(金) 18:46:40.90

CUDAとcuDNN、処理時間倍違うのかよ。
さらにup系で倍、ファファファノファー

2016/12/31(土) 00:37:50.29

Upは速度優先ではなくて速度精度ともに無印より上だよ

**名無しさん＠お腹いっぱい。** (JP 0Hde-Sa8B) · 2016/12/31(土) 00:39:48.58

Up使うとほとんど無印よりきたねー結果になるんだがなんでた？

2016/12/31(土) 00:50:31.70

>>554
アーティファクトが出やすい問題がある>>41 >>274
最新の二次元モデルでは出にくくなってはいるけど

2016/12/31(土) 00:55:45.82

あ、あとcaffeでノイズ除去のみする場合はRGBのほうがいい

2016/12/31(土) 08:15:58.58

>>553
ほんとにそうなら無印いらなくない？
>>555の問題があるからだから残ってるんでしょ？
だからそういうのは精度上とは言わないもんじゃない？