【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net

2016/05/10(火) 11:28:05.20

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
※リンクがNGワードに！

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2016/10/24(月) 14:48:03.78

>>424
それはもう、このスレに書き込むとかいう奥ゆかしいコミュニケーションじゃなくて作者に連絡取ったほうがいいんじゃないか

2016/10/24(月) 20:31:38.98

>>424
全く問題ない
さらに言えばフォークしてそれ自体を売りに出しても構わない（要求された場合無料でなくてもいいがソースを出す必要があるが）

2016/10/24(月) 22:42:16.55

>427
GPL汚染されてないのにソース出す必要あるの？

2016/10/24(月) 23:12:55.18

>>428
すまん、GPLの場合はそうだったね
BSDとかMITならいらない

2016/10/27(木) 19:02:40.13

実際作者はどのくらい儲かったのか気になるな

2016/10/27(木) 19:37:21.88

赤字じゃろ

2016/10/27(木) 20:16:00.47

http://i.imgur.com/xtsSXu8.jpg

2016/10/27(木) 22:29:05.50

黒字の間しか鯖動かしてないんじゃなかったっけ
トータルではどうなのか知らんが

2016/10/28(金) 08:26:51.72

>>432
将来有望なボトラーだな

2016/10/28(金) 13:24:51.84

ロリポ法に引っかかる写真じゃないのか？

2016/11/01(火) 01:09:19.68

Reshadeってどうなの？
写真の拡大には良さそうだが

2016/11/01(火) 12:41:44.14

>>436
ポスターみたいに大きく印刷したいときかな。

2016/11/08(火) 06:32:18.87

http://www.itmedia.co.jp/news/articles/1611/07/news119.html
「わしが育てた」なやり方が取れるのか
組織だって重点的に応募すれば好みのタッチに近付くのかな？弾かれるのかな？
どっちにしても楽しそう

2016/11/08(火) 14:11:37.76

白黒写真の着色技術をイラストにも応用するのかな。某嫁2倍みたいだ。

2016/11/09(水) 03:30:07.07

GIGAZINEにも先日モノクロ写真を自然なカラー写真にしてくれる研究のってたな
こりゃ2020年までには女性の水着写真を入力→その人の全裸画像出力まで行くと思った
DMMのAVパッケージからの顔写真やFBの顔写真の検索サービス売ってる人もいたしな
倫理的にこれやっていいのかって画像処理、
データ処理、データベース化が出てくるだろうね
今のビッグデータでさえプライバシー倫理的にどうなのって話でもあるが
倫理的にアウトなやつはコードで配布って形になる予感

2016/11/10(木) 19:03:16.68

今まで通り個人の範疇で何をしようがそりゃ個人の自由よｗｗ
メーカー側が売ることが出来るかできないかはそりゃコマーシャル方法によるだろうなｗ
「水着の女を裸にできます」なんてコマーシャルじゃ確実にアウトｗｗｗ

2016/11/11(金) 02:45:39.70

ikorageの配布元が消えてる…

2016/11/15(火) 13:48:33.70

Googleが低解像度画像を爆速で高画質化する機械学習を使った技術「RAISR」を発表 - GIGAZINE
http://gigazine.net/news/20161115-google-resarch-raisr/

2016/11/15(火) 14:09:45.93

超解像は、リアルタイムで進行している。

ﾋﾟｯﾄﾞｰﾝ、ﾋﾟｯﾄﾞｰﾝ…

2016/11/15(火) 14:13:39.18

論文読んだかんじPSNRやSSIMはSRCNNより落ちるけど処理速度は圧倒的に早いな
SRCNNが数秒かかるところを0.1秒以下で出来てるっぽい（グラフ見間違えてなければ）

2016/11/15(火) 16:06:21.30

ワイフは2次元特化しかこの先生きのこる術はないのか

2016/11/15(火) 16:17:39.32

今後はデコードでなく、補間に適した方法で圧縮した小サイズの画像を転送して
モバイル端末側で拡大処理をするようなサービスも出てくるかもね
バッテリー持ちと帯域とのトレードオフになるだろうけどｗ

2016/11/15(火) 18:41:26.50

>>447
「高圧縮率だが展開に負荷がかかる新しい圧縮フォーマット」と何が違うのか

2016/11/15(火) 19:16:21.53

>>446
その2次元絵もアプコンでは境界線が溶けてて使い物にならないんだけどな
RAISRのベンチ次第では本格的にいらない子になるわ

2016/11/15(火) 19:20:44.51

>>448
画像(動画)であれば全て対応可能な点と
マシンラーニング結果で精度の向上が見込める点か

2016/11/15(火) 19:28:49.71

処理速度が発表通りなら確かに動画のアプコンも現実的な範疇かな

2016/11/15(火) 23:44:55.89

これweb版はpixivのサーバーで動いてるんだな

2016/11/16(水) 01:28:53.03

>>443
どこかでテストできるサイトはないのかな？
あるいはwaifu2xに「同じ写真のアップサンプリング版と高解像度版」のセットを学習に使用するの部分だけでも組み込んで、速度はともかく画質向上ができればとも思うけど

2016/11/16(水) 05:20:16.47

2030年、日本人がモザイクを無修正にする技術を発明する

2016/11/16(水) 10:45:19.54

>>454
US:モザイクってなんだ？

2016/11/16(水) 12:10:01.25

>>453
無い

2016/11/16(水) 19:32:16.85

>>453
Set5,14の結果が論文に載っているけどwaifu2xの写真モデルよりだいぶ低いです。
Bicubicよりマシな結果で速度に特化している感じだと思う。

2016/11/16(水) 19:52:31.28

写真で言えば、現状木の葉の重なりとか
同系色の小石及や砂漠の処理が難しいな
サンプル食わせても、思ったように描画してくれない

2016/11/16(水) 19:55:59.77

みんな論文読んだ？
読んだ範囲だと選択的に
デシタルフィルタで輪郭強調してるだけっぽいけど
表現力とかreceptive fieidはかなり
waifu2xの方が大きい

ただ家電組み込みとかは有利そう

2016/11/16(水) 21:42:25.30

昔からよくある超解像のエッジ強調でボケ低減重視した結果
テクスチャ成分が消えて油絵見たいになる奴だな
今までは反復で処理してたのを1回?なんで速度が速いみたいな
あとで元画像の高周波成分に応じたディザ加えると視覚上はそれっぽく見えるようなの

2016/11/16(水) 21:50:26.19

https://twitter.com/personasama/status/781839302791532544

ディープラーニングは詳しく無いんだけど、
マンガのコマを入力にしてこういう動画を出力させることって出来ますか？

2016/11/16(水) 21:51:54.96

余裕

2016/11/17(木) 06:17:49.45

あぁwaifuより溶けてねーかと思ったのはあながち間違ってなかったのか

2016/11/17(木) 22:15:42.90

>>457
論文のままやるのではなく、waifu2x流に「同じ写真のアップサンプリング版」と「(今までのモデルデータと同じ)高解像度版」の2パターンのモデルデータを作成して、
それぞれで超解像処理したあとに部分ごとにいいとこ取りするとかではダメなの？

2016/11/18(金) 13:33:46.27

koroshellのコンバータをcppに変えたら速くなった！
気がする

2016/11/18(金) 13:49:44.70

プラーシボウ公開です。

2016/11/19(土) 13:56:59.27

madVRにNGU (Next Generation Upscaling)というのが入ったらしいので
動画に詳しい方はレポートをおねがいします。

2016/11/19(土) 14:18:38.38

madVRスレに比較画像ありました

madVR Part8　©2ch.net
http://potato.2ch.net/test/read.cgi/software/1469289290/404

404 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2016/11/05(土) 22:15:28.64 ID:FYlCTwMn0
http://forum.doom9.org/showthread.php?p=1784964#post1784964
新アルゴリズムはまだ時間かかりそうだが、比較画像がでてきた
NG1がmadshiの新アルゴリズム、Waifu2xは比較用でリアルタイムでは使用できない
http://madshi.net/madVR/AmericanDad/AmericanDadOrg.png
http://madshi.net/madVR/AmericanDad/AmericanDadJinc.png
http://madshi.net/madVR/AmericanDad/AmericanDadNNEDI256SR4.png
http://madshi.net/madVR/AmericanDad/AmericanDadNG1.png
http://madshi.net/madVR/AmericanDad/AmericanDadWaifu2x.png

2016/11/19(土) 15:13:42.49

実写でやってくれないとよくわからんぞ…

2016/11/19(土) 16:15:24.16

Jincはぼやけすぎ
NNEDIはリンギングがひどい (ただ元の画像に入っているのでシャープにするときに強調してしまっているのかも)
NGUとwaifu2xはぱっと見同じに見えるけど線だけ見るとwaifu2xのほうくっきりしているのと
左の女性の口周りの色のにじみなどが消えているというのが自分の感想です。（このwaifu2xはノイズ除去あり?)
これでwaifu2xの100倍速いならすごくいいんじゃないでしょうか。

あと
>madVR v0.91.0
>* added new NGU (Next Generation Upscaling) algorithm
とあるのでもう入ってると思います。

2016/11/19(土) 16:21:10.15

>>469
実写だとこれ
http://forum.doom9.org/showthread.php?p=1785599#post1785599

NGUは輝度のみの拡大で、色差はBicubic60で拡大している模樣
面白そうだけどうちの低スペPCじゃmadVRは無理だなあ

2016/11/19(土) 16:21:54.60

動画のキレイな拡大ならMPDNてのもオススメ。openclに対応してる。

2016/11/21(月) 19:33:59.35

BSD100 x2

PSNR 28.599 SSIM 84.309 Lanczos3
PSNR 28.729 SSIM 83.971 NNEDI3
PSNR 29.721 SSIM 87.238 SRCNN
PSNR 30.071 SSIM 87.456 NGU
PSNR 30.081 SSIM 87.471 waifu2x_Photo
PSNR 30.292 SSIM 87.885 waifu2x_UpPhoto

評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に

思いのほかNGUのスコアが高くなって困惑
madVRの開発者がNGUはGoogle RAISRより優れていると豪語してたけどマジかもしれない

2016/11/21(月) 20:29:10.26

NGU、恐ろしい子！
ただ原理的なことがさっぱりわからんけど。
というか、静止画で手軽に試す手段とかあるの？

2016/11/21(月) 20:43:35.85

>>474
> というか、静止画で手軽に試す手段とかあるの？

無いと思う。
MPC BEにpngを読み込ませてスクリーンショット撮影っていうのをひたすら繰り返した。
NNEDI3みたいにプラグイン形式で使うことが出来れば楽なのだが。

2016/11/21(月) 20:49:31.60

さすがに画質ではwaifu2xにはあと1歩及ばないけど
動画をリアルタイムに拡大処理可能な速度でこれは凄いな

2016/11/21(月) 22:56:47.72

>>473
>評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に
超解像の論文でよく使われているPSNRと書かれている再現できない謎の評価指標は
輝度だけのPSNRなのですが
MATLABの実装由来で輝度を16-235の範囲の整数にしたあとにMSEを計算しているため通常のPSNRより高くなっています。
(また縮小に使うアルゴリズムはBicubicに固定します。
waifu2xのtools/benchmark.luaで-filter Catrom -range_bug 1にした時にこの評価指標を再現できます)
この評価指標を使っている場合は、BicubicのPSNRが高いので見分けが付きます。
RAISRはSRCNNよりもPSNRは低いと書いてあるのでNGUはRAISRよりも高いと思います。

2016/11/22(火) 20:59:13.01

NGUの演算時間を延ばしていいから、もっと高精度に演算させるオプションとかないものなのか？
あるいは先日の例に習って
従来型waifu2xとNGUのいいとこ取りとか

2016/11/23(水) 08:59:40.21

これはすげえな…
久々にハイエンドグラボ買うか

**473** (ﾜｯﾁｮｲ bf39-Yhbf) · 2016/11/25(金) 02:32:42.55

>>477
詳しい説明ありがとうございます。
MATLABもLuaも導入難易度が高そうだったのでWindowsで簡単に扱えるソフトで良いものが無いか探したところ、FFmpegを使えばだいたい同じような値が出ることが分かりました。
これでデータセットの中に縮小済みの画像が入っているものに関しては割と近い感じの数字が出せるかもしれません。

BSD100 x2

Y-PSNR 29.553 bicubic
Y-PSNR 29.917 Lanczos3
Y-PSNR 30.066 NNEDI3
Y-PSNR 31.096 SRCNN
Y-PSNR 31.190 SelfExSR
Y-PSNR 31.397 NGU
Y-PSNR 31.417 waifu2x_Photo
Y-PSNR 31.627 waifu2x_UpPhoto

2016/11/25(金) 22:57:57.27

>>480
Bicubic, waifu2x_Photo, waifu2x_UpPhotoのスコアは手元と大体同じです。(差が0.01程度)
SelfExSRは2年くらい前にstate of the artと言っていたものなので
処理時間の制限つけた上でそれを超えてるのはすごいですね
もっと遅くしてよいという条件でどこまで上げれるのか気になる

2016/11/28(月) 19:21:55.57

http://i.imgur.com/GvD97ih.jpg

2016/11/28(月) 20:24:16.40

読唇術もコンピュータ処理の時代か
インチキ読唇術者ざまあ

2016/12/08(木) 14:28:01.71

動画対応期待age

2016/12/08(木) 19:17:12.07

ICCプロファイルのサポートもするらしい

Don't ignore color profile · Issue #158
https://github.com/nagadomi/waifu2x/issues/158#issuecomment-265580773

2016/12/09(金) 15:57:16.96

PSNR値は視覚及び脳内での判定と一致しないんだよな
元写真を縮小→拡大テストで見比べると、SRCNN等は微妙と言うか
人間的感性も数値化できればいいんだが

そいや市販ソフトのPIXEL MASTERは昔使ってみたが(性能は微妙なところ)
今は公式ツイッターさえSpamBOTにのっとられてる有様だなｗ

2016/12/10(土) 00:19:42.16

PSNRを高くにするは、ほとんど同じ入力から拡大結果が異なるようなときに
それらの平均を出力したほうが有利で、平均というのは無難だけどどの正解にも近くないので違和感を感じやすいと言われています。
人の感覚に近いものとして、Perceptual LossやGANを使ったモデルが出ていて
これは、拡大結果の違和感は少ないけど、元画像とは近くならないです。
（PSNRは低い、ぼやけている部分を強調したり、元画像とは異なるテクスチャを追記したりする）
ただ写真ではかなりすごい結果が出ています。
https://arxiv.org/abs/1609.04802（画像だけでも見る価値があると思う）

2016/12/10(土) 00:29:51.46

>>484
面白いのがあったよ
実際使えるかわからんけども
http://shimarisu.webcrow.jp/su_resol.html

2016/12/10(土) 11:48:30.46

>>488
これは使える。良い。

2016/12/10(土) 13:42:59.29

そこに書いてある
＞24Mbps、29.97fpsのFHDを4kに拡大してみました。
＞・インターレースソースの問題（プログレッシブ化）。
＞・音声のずれ。
＞・かえって画質が劣化した。
＞と感じています。

これは数字から推測するにBSを録画したTSファイルやろな

2016/12/11(日) 21:12:36.54

中学生ぐらいが作ったサイトっぽいな（俺も作ったわぁ）

2016/12/12(月) 01:24:13.36

>>488
ノートン先生にブロックされたが？

2016/12/12(月) 07:57:55.52

>>492
その先生にせもんじゃね？

2016/12/12(月) 09:36:41.73

>>492
ノートン先生は落としたファイルの利用者が少ないとなんでもかんでも有害認定する池沼だぞ

2016/12/12(月) 11:05:25.67

ノートン先生は引退して画商になった。今のノートン先生はレプタリアンが化けてる。

2016/12/12(月) 15:32:46.27

うちのノートン先生は利用者が少ないファイルでウイルスの疑いがないならそういう風に注意だけ出してくれるけど違う先生なの？

2016/12/12(月) 18:03:31.51

madvrのNGUのベンチが思った以上に凄いから動画に関してはそっちで充分かな
waifu2xだと溶けるのがやっぱり残念なのと、動画のパンでは、境界線でジャギーみたいなのが発生するのも凄く気になる
あと結局は、エンコに凄く時間がかかるのがネックだなぁ
静止画でのベンチは素晴らしいんだけどね

2016/12/12(月) 22:48:32.93

NGUがどう進化するか次第だと思う。
waifu2xのいいところと、NGUのいいところが、うまくミックスできると最強なんだろうけど。

2016/12/13(火) 12:11:33.58

光と闇が合わさって最強に見える

2016/12/13(火) 13:09:33.02

500 Internal Server Error

2016/12/13(火) 17:56:43.54

madVRスレでも言われていたけどNGUはジャギーが稀に出る事があるのでそこが改善されると嬉しい。
ちなみにwaifu2xで拡大すると綺麗に拡大されるのでやはり優秀だなあと思う。

2016/12/17(土) 23:32:04.49

前々から思ってたんだけどノイズ除去の「最高」を精度とか品質が最高だと思ってどんな画像も最高で変換している人がいるような気がする。
例えばこの記事も元のjpgの品質が98くらいあるのに最高で変換している。

フルHDから4Kへ！ Webのちからでプリキュアの壁紙を超高解像度化する｜ギズモード・ジャパン
http://www.gizmodo.jp/2016/12/4k-precure-wall-paper.html

2016/12/18(日) 00:11:40.73

よりアニメ調を強くしたい時に強くする

2016/12/18(日) 01:33:48.95

ノイズ除去強めるとのっぺりしないかなぁ

**502** (ﾜｯﾁｮｲ dc39-sOSw) · 2016/12/18(日) 02:02:20.19

>>504
実際のっぺりするね
http://i.imgur.com/G6m1ltP.png

2016/12/18(日) 02:57:40.65

>>488
この作者普通にできる人だったのか

**488** (ﾜｯﾁｮｲW 8289-SvdB) · 2016/12/18(日) 11:56:30.17

>>505
必要ないならあえて強く掛けない方がいい気がするよな…上の画像なんて元からJPEG品質高いっぽいし

>>506
これなぁ
俺の環境では動画と音声の長さが合わなくて、音ズレしまくったんだよな
更新も止まってるっぽいし…

2016/12/18(日) 12:18:17.73

音は後から直すのが良いんじゃね。

2016/12/18(日) 15:45:47.64

動画は可変フレームレートとか色々あるから音ズレしやすいんだよねえ……
一部のWMVも可変フレームレートだから普通にFFmpegで変換すると音ズレする。

>>507
コメント欄に「このソフトで変換すると音声がずれる動画がyoutubeなどにあったらurlを教えてください。」って書いてあるからサンプル提供するかMediainfoで調べた情報送ればいいんじゃないかな。

2016/12/19(月) 00:02:19.88

普通にw2xcでエンコするのじゃ駄目なの？

2016/12/19(月) 12:40:53.53

caffeの最新と同等の動画用があるといいんだけどな

2016/12/19(月) 19:11:26.22

まあそれが理想だなぁ
w2xcも更新が止まっちゃったし

2016/12/19(月) 19:46:10.94

>>488のやつは内部にwaifu2x-caffe使ってる
導入も簡単だし、音ズレ対策やその他諸々の機能追加されたら使い勝手良くなるから頑張って欲しい

2016/12/19(月) 20:12:37.28

モデルを入れ替えたらええのか

2016/12/20(火) 11:37:38.14

caffe使ったvapoursynthのプラグインがあるだろ

2016/12/20(火) 18:15:15.96

導入することさえ出来ればVapourSynth-Waifu2x-caffeが品質も処理速度も最高だと思うけど導入難易度高いね。

2016/12/22(木) 17:08:38.15

初心者新参なんだが、どれがおすすめ？

Windows10 Pro 32bit Core i5
メモリ4G

2016/12/22(木) 19:56:30.72

>>517
32bitのWindowsだとtanakamura氏のwaifu2x-converter-cppかな。
64bitのWindowsなら今でも更新が続いているwaifu2x-caffeがいいんだけどね。
今だとcaffe版にしか付いてない機能も多いし

2016/12/23(金) 09:29:37.03

>>518
ありがとうございます！
トライしてみます！！

2016/12/23(金) 13:04:02.41

NeuralStyler 2.0
http://neuralstyler.com/index.html

2016/12/23(金) 19:29:05.72

Sharper Scaling
http://a-sharper-scaling.com/

Bicubic interpolation
http://a-sharper-scaling.com/2b.jpg

Photoshop Preserve Details
http://a-sharper-scaling.com/2pd.jpg

A Sharper Scaling
http://a-sharper-scaling.com/2ass.jpg 👀
Rock54: Caution(BBR-MD5:0be15ced7fbdb9fdb4d0ce1929c1b82f)

2016/12/23(金) 20:14:40.66

今使ってるグラボがGTX670なんだけど、1060や1050にしたら処理早くなりますかね？
80枚のイラストを3.0倍、ノイズ除去1　jpgでやると20分位掛かっちゃうんです

2016/12/23(金) 20:29:03.16

>>522
http://akiba-pc.watch.impress.co.jp/img/ah/docs/747/222/html/mdosv1604_b51.jpg.html
多分早くなる

2016/12/23(金) 20:38:32.67

>>522
早くなると思います。
gtx1060＠6gbならばvramを最大限活用すれば間違いなく体感できる差を得られるでしょう。

2016/12/23(金) 20:40:47.34

ごめんグラボよく分からないから523は無しでｗ

2016/12/23(金) 20:52:17.48

>>524
ありがとうございます