【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net

2016/05/10(火) 11:28:05.20

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
※リンクがNGワードに！

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2016/10/08(土) 11:35:20.00

もちろん10xx世代も含む

2016/10/08(土) 15:57:18.55

vega買う予定だけど、このソフトにはあまり向かないのかな…

2016/10/08(土) 16:04:26.46

Caffeがamdで動くようになるって話があったような気がするけど進捗はどうなのかな

2016/10/08(土) 16:40:36.33

experimentalって書いてるしまだ先の話かね

2016/10/09(日) 12:04:39.02

>>399
8xxはノーパソ用だろ？
vramは多いけど処理性能は7xxより劣るのがな…。

2016/10/09(日) 23:08:49.97

AMDならwaifu2x-converter-cppがある
まあ更新が止まってるけど

2016/10/12(水) 02:08:10.89

>>405
これはマジでいいな
最初文字も出ないし変換してるかわからんほどやたら時間かかるから疑ったけど
最初だけで次回がスムーズで驚いたよ
使えるソフトだし更新してほしいな

2016/10/13(木) 00:34:06.01

waifu2xの論文マダー？

2016/10/14(金) 20:28:31.66

waifu2x-caffe ver 1.1.8
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.1.8

CUDA Toolkitを8.0.44に更新(同梱しているdllも更新)
cuDNN v5.1に対応
アルファチャンネルが単色の場合、cv::INTER_NEARESTで拡大することで高速化

2016/10/14(金) 21:09:23.50

意図せず無意味なアルファチャンネル情報が付いている画像の変換が早くなった模樣
ただtwitter形式で上げられてるpngは単色じゃないから変わらないねえ

2016/10/15(土) 03:10:02.99

CUDA使えなくなった
このバージョンの推奨ドライバって何になる？

2016/10/15(土) 11:33:50.20

使えなくて一瞬焦った
推奨ドライバは知らないけどnVidiaのドライバを
368.81 → 373.06 にupdateして使えるようになって一安心

2016/10/16(日) 12:12:23.85

tanakamura版使ってるんだけどCUDAで処理させようとするとこんなエラーが出るんだけど俺環？

Iteration #6(128->128)...(94.5009[ms], 310.326[GFLOPS], 1.07752[GB/s])
Iteration #7(128->3)...(10.8175[ms], 63.5389[GFLOPS], 4.81689[GB/s])
total : 0.218784[sec], 263.632[GFLOPS]
OpenCV Error: Unspecified error (could not find a writer for the specified extension) in imwrite_, file C:/OpenCV/sources/modules/imgcodecs/src/loadsave.cpp,
line 439
terminate called after throwing an instance of 'cv::Exception'
what(): C:/OpenCV/sources/modules/imgcodecs/src/loadsave.cpp:439: error: (-2) could not find a writer for the specified extension in function imwrite_
This application has requested the Runtime to terminate it in an unusual way.
Please contact the application's support team for more information.

2016/10/16(日) 12:16:28.49

原因はわからんが対処法はわかった
-o hogeはダメで-o hoge.pngは問題ない

2016/10/16(日) 12:29:18.64

拡張子指定しないとどの形式で出力したらいいのかわからないじゃん

2016/10/16(日) 12:34:03.62

そういう問題なんです？
普通に全部pngで出てくるのかと思った

2016/10/19(水) 11:26:59.23

waifu2x-converter-cpp

AMD版の更新おねがいしまつ！

2016/10/22(土) 18:31:29.33

かなり久しぶりにみたら色々アップデートしててちょっと困惑してるんだが
bmpで出力する場合、以前は24bitだったが今のバージョンだと32bitになってるよね
これ前みたいに24bitのbmpで出力する方法ある？

2016/10/22(土) 18:35:15.31

ごめん
>>417はwaifu2x-caffeの話ね

2016/10/22(土) 19:57:26.52

>>417
もともとの画像が32bitとかではなくて？
こっちで24bitの画像を処理しても24bitになったよ

2016/10/22(土) 20:28:48.85

あ、いや24bitのbmpを処理したら32bitになるっぽい？

2016/10/22(土) 20:39:09.10

>>419-420
こっちで確認した結果はbmp入力→bmp出力だとほぼ確実に32bitになる
「ほぼ」というのはそうならないパターンもあったので

最初にjpg入力→bmp出力をやると24bitのbmpで出て
そのあと続けてbmp入力->bmp出力すると24bitのまま出た

最初からbmp入力→bmp出力だと32bitになる
分けわからん

あ、一応全部GUIでのwaifu2x-caffe使用によるもので、設定は以下の通り
出力拡張子「.bmp」
変換モード「ノイズ除去」
ノイズ除去レベル「レベル0」
モデル「２次元イラスト(RGBモデル)」
分割サイズ「128」

2016/10/22(土) 20:49:51.82

>>419は
入力24bit png
出力 bmp
結果24bit bmp

>>420は
入力24bit bmp
出力 bmp
結果32bit bmp

この動作は仕様なのかな？

2016/10/22(土) 21:01:39.50

ふむ、仕様かバグかしらんけどBMP→BMPでの24bit出力は無理そうかな
なんかコマンドラインからならオプションでできる、とかあったら知りたかったけどパッと見なさそうだし
大人しく出力後に別ソフトで変換するわ

2016/10/24(月) 01:50:33.33

そういやwaifu2x、派生版もMITやBSDライセンスが多いけれど
コレ使ったスマホアプリを有料や無料＋広告で出しても大丈夫なんだろか
実用速度にするならPrismaのように外部専用鯖が必要になるから動画広告でも付けたいんだよね

2016/10/24(月) 14:09:10.83

Prismaは最近オフラインでも動作するようになった。

2016/10/24(月) 14:48:03.78

>>424
それはもう、このスレに書き込むとかいう奥ゆかしいコミュニケーションじゃなくて作者に連絡取ったほうがいいんじゃないか

2016/10/24(月) 20:31:38.98

>>424
全く問題ない
さらに言えばフォークしてそれ自体を売りに出しても構わない（要求された場合無料でなくてもいいがソースを出す必要があるが）

2016/10/24(月) 22:42:16.55

>427
GPL汚染されてないのにソース出す必要あるの？

2016/10/24(月) 23:12:55.18

>>428
すまん、GPLの場合はそうだったね
BSDとかMITならいらない

2016/10/27(木) 19:02:40.13

実際作者はどのくらい儲かったのか気になるな

2016/10/27(木) 19:37:21.88

赤字じゃろ

2016/10/27(木) 20:16:00.47

http://i.imgur.com/xtsSXu8.jpg

2016/10/27(木) 22:29:05.50

黒字の間しか鯖動かしてないんじゃなかったっけ
トータルではどうなのか知らんが

2016/10/28(金) 08:26:51.72

>>432
将来有望なボトラーだな

2016/10/28(金) 13:24:51.84

ロリポ法に引っかかる写真じゃないのか？

2016/11/01(火) 01:09:19.68

Reshadeってどうなの？
写真の拡大には良さそうだが

2016/11/01(火) 12:41:44.14

>>436
ポスターみたいに大きく印刷したいときかな。

2016/11/08(火) 06:32:18.87

http://www.itmedia.co.jp/news/articles/1611/07/news119.html
「わしが育てた」なやり方が取れるのか
組織だって重点的に応募すれば好みのタッチに近付くのかな？弾かれるのかな？
どっちにしても楽しそう

2016/11/08(火) 14:11:37.76

白黒写真の着色技術をイラストにも応用するのかな。某嫁2倍みたいだ。

2016/11/09(水) 03:30:07.07

GIGAZINEにも先日モノクロ写真を自然なカラー写真にしてくれる研究のってたな
こりゃ2020年までには女性の水着写真を入力→その人の全裸画像出力まで行くと思った
DMMのAVパッケージからの顔写真やFBの顔写真の検索サービス売ってる人もいたしな
倫理的にこれやっていいのかって画像処理、
データ処理、データベース化が出てくるだろうね
今のビッグデータでさえプライバシー倫理的にどうなのって話でもあるが
倫理的にアウトなやつはコードで配布って形になる予感

2016/11/10(木) 19:03:16.68

今まで通り個人の範疇で何をしようがそりゃ個人の自由よｗｗ
メーカー側が売ることが出来るかできないかはそりゃコマーシャル方法によるだろうなｗ
「水着の女を裸にできます」なんてコマーシャルじゃ確実にアウトｗｗｗ

2016/11/11(金) 02:45:39.70

ikorageの配布元が消えてる…

2016/11/15(火) 13:48:33.70

Googleが低解像度画像を爆速で高画質化する機械学習を使った技術「RAISR」を発表 - GIGAZINE
http://gigazine.net/news/20161115-google-resarch-raisr/

2016/11/15(火) 14:09:45.93

超解像は、リアルタイムで進行している。

ﾋﾟｯﾄﾞｰﾝ、ﾋﾟｯﾄﾞｰﾝ…

2016/11/15(火) 14:13:39.18

論文読んだかんじPSNRやSSIMはSRCNNより落ちるけど処理速度は圧倒的に早いな
SRCNNが数秒かかるところを0.1秒以下で出来てるっぽい（グラフ見間違えてなければ）

2016/11/15(火) 16:06:21.30

ワイフは2次元特化しかこの先生きのこる術はないのか

2016/11/15(火) 16:17:39.32

今後はデコードでなく、補間に適した方法で圧縮した小サイズの画像を転送して
モバイル端末側で拡大処理をするようなサービスも出てくるかもね
バッテリー持ちと帯域とのトレードオフになるだろうけどｗ

2016/11/15(火) 18:41:26.50

>>447
「高圧縮率だが展開に負荷がかかる新しい圧縮フォーマット」と何が違うのか

2016/11/15(火) 19:16:21.53

>>446
その2次元絵もアプコンでは境界線が溶けてて使い物にならないんだけどな
RAISRのベンチ次第では本格的にいらない子になるわ

2016/11/15(火) 19:20:44.51

>>448
画像(動画)であれば全て対応可能な点と
マシンラーニング結果で精度の向上が見込める点か

2016/11/15(火) 19:28:49.71

処理速度が発表通りなら確かに動画のアプコンも現実的な範疇かな

2016/11/15(火) 23:44:55.89

これweb版はpixivのサーバーで動いてるんだな

2016/11/16(水) 01:28:53.03

>>443
どこかでテストできるサイトはないのかな？
あるいはwaifu2xに「同じ写真のアップサンプリング版と高解像度版」のセットを学習に使用するの部分だけでも組み込んで、速度はともかく画質向上ができればとも思うけど

2016/11/16(水) 05:20:16.47

2030年、日本人がモザイクを無修正にする技術を発明する

2016/11/16(水) 10:45:19.54

>>454
US:モザイクってなんだ？

2016/11/16(水) 12:10:01.25

>>453
無い

2016/11/16(水) 19:32:16.85

>>453
Set5,14の結果が論文に載っているけどwaifu2xの写真モデルよりだいぶ低いです。
Bicubicよりマシな結果で速度に特化している感じだと思う。

2016/11/16(水) 19:52:31.28

写真で言えば、現状木の葉の重なりとか
同系色の小石及や砂漠の処理が難しいな
サンプル食わせても、思ったように描画してくれない

2016/11/16(水) 19:55:59.77

みんな論文読んだ？
読んだ範囲だと選択的に
デシタルフィルタで輪郭強調してるだけっぽいけど
表現力とかreceptive fieidはかなり
waifu2xの方が大きい

ただ家電組み込みとかは有利そう

2016/11/16(水) 21:42:25.30

昔からよくある超解像のエッジ強調でボケ低減重視した結果
テクスチャ成分が消えて油絵見たいになる奴だな
今までは反復で処理してたのを1回?なんで速度が速いみたいな
あとで元画像の高周波成分に応じたディザ加えると視覚上はそれっぽく見えるようなの

2016/11/16(水) 21:50:26.19

https://twitter.com/personasama/status/781839302791532544

ディープラーニングは詳しく無いんだけど、
マンガのコマを入力にしてこういう動画を出力させることって出来ますか？

2016/11/16(水) 21:51:54.96

余裕

2016/11/17(木) 06:17:49.45

あぁwaifuより溶けてねーかと思ったのはあながち間違ってなかったのか

2016/11/17(木) 22:15:42.90

>>457
論文のままやるのではなく、waifu2x流に「同じ写真のアップサンプリング版」と「(今までのモデルデータと同じ)高解像度版」の2パターンのモデルデータを作成して、
それぞれで超解像処理したあとに部分ごとにいいとこ取りするとかではダメなの？

2016/11/18(金) 13:33:46.27

koroshellのコンバータをcppに変えたら速くなった！
気がする

2016/11/18(金) 13:49:44.70

プラーシボウ公開です。

2016/11/19(土) 13:56:59.27

madVRにNGU (Next Generation Upscaling)というのが入ったらしいので
動画に詳しい方はレポートをおねがいします。

2016/11/19(土) 14:18:38.38

madVRスレに比較画像ありました

madVR Part8　©2ch.net
http://potato.2ch.net/test/read.cgi/software/1469289290/404

404 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2016/11/05(土) 22:15:28.64 ID:FYlCTwMn0
http://forum.doom9.org/showthread.php?p=1784964#post1784964
新アルゴリズムはまだ時間かかりそうだが、比較画像がでてきた
NG1がmadshiの新アルゴリズム、Waifu2xは比較用でリアルタイムでは使用できない
http://madshi.net/madVR/AmericanDad/AmericanDadOrg.png
http://madshi.net/madVR/AmericanDad/AmericanDadJinc.png
http://madshi.net/madVR/AmericanDad/AmericanDadNNEDI256SR4.png
http://madshi.net/madVR/AmericanDad/AmericanDadNG1.png
http://madshi.net/madVR/AmericanDad/AmericanDadWaifu2x.png

2016/11/19(土) 15:13:42.49

実写でやってくれないとよくわからんぞ…

2016/11/19(土) 16:15:24.16

Jincはぼやけすぎ
NNEDIはリンギングがひどい (ただ元の画像に入っているのでシャープにするときに強調してしまっているのかも)
NGUとwaifu2xはぱっと見同じに見えるけど線だけ見るとwaifu2xのほうくっきりしているのと
左の女性の口周りの色のにじみなどが消えているというのが自分の感想です。（このwaifu2xはノイズ除去あり?)
これでwaifu2xの100倍速いならすごくいいんじゃないでしょうか。

あと
>madVR v0.91.0
>* added new NGU (Next Generation Upscaling) algorithm
とあるのでもう入ってると思います。

2016/11/19(土) 16:21:10.15

>>469
実写だとこれ
http://forum.doom9.org/showthread.php?p=1785599#post1785599

NGUは輝度のみの拡大で、色差はBicubic60で拡大している模樣
面白そうだけどうちの低スペPCじゃmadVRは無理だなあ

2016/11/19(土) 16:21:54.60

動画のキレイな拡大ならMPDNてのもオススメ。openclに対応してる。

2016/11/21(月) 19:33:59.35

BSD100 x2

PSNR 28.599 SSIM 84.309 Lanczos3
PSNR 28.729 SSIM 83.971 NNEDI3
PSNR 29.721 SSIM 87.238 SRCNN
PSNR 30.071 SSIM 87.456 NGU
PSNR 30.081 SSIM 87.471 waifu2x_Photo
PSNR 30.292 SSIM 87.885 waifu2x_UpPhoto

評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に

思いのほかNGUのスコアが高くなって困惑
madVRの開発者がNGUはGoogle RAISRより優れていると豪語してたけどマジかもしれない

2016/11/21(月) 20:29:10.26

NGU、恐ろしい子！
ただ原理的なことがさっぱりわからんけど。
というか、静止画で手軽に試す手段とかあるの？

2016/11/21(月) 20:43:35.85

>>474
> というか、静止画で手軽に試す手段とかあるの？

無いと思う。
MPC BEにpngを読み込ませてスクリーンショット撮影っていうのをひたすら繰り返した。
NNEDI3みたいにプラグイン形式で使うことが出来れば楽なのだが。

2016/11/21(月) 20:49:31.60

さすがに画質ではwaifu2xにはあと1歩及ばないけど
動画をリアルタイムに拡大処理可能な速度でこれは凄いな

2016/11/21(月) 22:56:47.72

>>473
>評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に
超解像の論文でよく使われているPSNRと書かれている再現できない謎の評価指標は
輝度だけのPSNRなのですが
MATLABの実装由来で輝度を16-235の範囲の整数にしたあとにMSEを計算しているため通常のPSNRより高くなっています。
(また縮小に使うアルゴリズムはBicubicに固定します。
waifu2xのtools/benchmark.luaで-filter Catrom -range_bug 1にした時にこの評価指標を再現できます)
この評価指標を使っている場合は、BicubicのPSNRが高いので見分けが付きます。
RAISRはSRCNNよりもPSNRは低いと書いてあるのでNGUはRAISRよりも高いと思います。

2016/11/22(火) 20:59:13.01

NGUの演算時間を延ばしていいから、もっと高精度に演算させるオプションとかないものなのか？
あるいは先日の例に習って
従来型waifu2xとNGUのいいとこ取りとか

2016/11/23(水) 08:59:40.21

これはすげえな…
久々にハイエンドグラボ買うか

**473** (ﾜｯﾁｮｲ bf39-Yhbf) · 2016/11/25(金) 02:32:42.55

>>477
詳しい説明ありがとうございます。
MATLABもLuaも導入難易度が高そうだったのでWindowsで簡単に扱えるソフトで良いものが無いか探したところ、FFmpegを使えばだいたい同じような値が出ることが分かりました。
これでデータセットの中に縮小済みの画像が入っているものに関しては割と近い感じの数字が出せるかもしれません。

BSD100 x2

Y-PSNR 29.553 bicubic
Y-PSNR 29.917 Lanczos3
Y-PSNR 30.066 NNEDI3
Y-PSNR 31.096 SRCNN
Y-PSNR 31.190 SelfExSR
Y-PSNR 31.397 NGU
Y-PSNR 31.417 waifu2x_Photo
Y-PSNR 31.627 waifu2x_UpPhoto

2016/11/25(金) 22:57:57.27

>>480
Bicubic, waifu2x_Photo, waifu2x_UpPhotoのスコアは手元と大体同じです。(差が0.01程度)
SelfExSRは2年くらい前にstate of the artと言っていたものなので
処理時間の制限つけた上でそれを超えてるのはすごいですね
もっと遅くしてよいという条件でどこまで上げれるのか気になる

2016/11/28(月) 19:21:55.57

http://i.imgur.com/GvD97ih.jpg

2016/11/28(月) 20:24:16.40

読唇術もコンピュータ処理の時代か
インチキ読唇術者ざまあ

2016/12/08(木) 14:28:01.71

動画対応期待age

2016/12/08(木) 19:17:12.07

ICCプロファイルのサポートもするらしい

Don't ignore color profile · Issue #158
https://github.com/nagadomi/waifu2x/issues/158#issuecomment-265580773

2016/12/09(金) 15:57:16.96

PSNR値は視覚及び脳内での判定と一致しないんだよな
元写真を縮小→拡大テストで見比べると、SRCNN等は微妙と言うか
人間的感性も数値化できればいいんだが

そいや市販ソフトのPIXEL MASTERは昔使ってみたが(性能は微妙なところ)
今は公式ツイッターさえSpamBOTにのっとられてる有様だなｗ

2016/12/10(土) 00:19:42.16

PSNRを高くにするは、ほとんど同じ入力から拡大結果が異なるようなときに
それらの平均を出力したほうが有利で、平均というのは無難だけどどの正解にも近くないので違和感を感じやすいと言われています。
人の感覚に近いものとして、Perceptual LossやGANを使ったモデルが出ていて
これは、拡大結果の違和感は少ないけど、元画像とは近くならないです。
（PSNRは低い、ぼやけている部分を強調したり、元画像とは異なるテクスチャを追記したりする）
ただ写真ではかなりすごい結果が出ています。
https://arxiv.org/abs/1609.04802（画像だけでも見る価値があると思う）

2016/12/10(土) 00:29:51.46

>>484
面白いのがあったよ
実際使えるかわからんけども
http://shimarisu.webcrow.jp/su_resol.html

2016/12/10(土) 11:48:30.46

>>488
これは使える。良い。

2016/12/10(土) 13:42:59.29

そこに書いてある
＞24Mbps、29.97fpsのFHDを4kに拡大してみました。
＞・インターレースソースの問題（プログレッシブ化）。
＞・音声のずれ。
＞・かえって画質が劣化した。
＞と感じています。

これは数字から推測するにBSを録画したTSファイルやろな

2016/12/11(日) 21:12:36.54

中学生ぐらいが作ったサイトっぽいな（俺も作ったわぁ）

2016/12/12(月) 01:24:13.36

>>488
ノートン先生にブロックされたが？

2016/12/12(月) 07:57:55.52

>>492
その先生にせもんじゃね？

2016/12/12(月) 09:36:41.73

>>492
ノートン先生は落としたファイルの利用者が少ないとなんでもかんでも有害認定する池沼だぞ

2016/12/12(月) 11:05:25.67

ノートン先生は引退して画商になった。今のノートン先生はレプタリアンが化けてる。

2016/12/12(月) 15:32:46.27

うちのノートン先生は利用者が少ないファイルでウイルスの疑いがないならそういう風に注意だけ出してくれるけど違う先生なの？

2016/12/12(月) 18:03:31.51

madvrのNGUのベンチが思った以上に凄いから動画に関してはそっちで充分かな
waifu2xだと溶けるのがやっぱり残念なのと、動画のパンでは、境界線でジャギーみたいなのが発生するのも凄く気になる
あと結局は、エンコに凄く時間がかかるのがネックだなぁ
静止画でのベンチは素晴らしいんだけどね

2016/12/12(月) 22:48:32.93

NGUがどう進化するか次第だと思う。
waifu2xのいいところと、NGUのいいところが、うまくミックスできると最強なんだろうけど。

2016/12/13(火) 12:11:33.58

光と闇が合わさって最強に見える