【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net

2016/05/10(火) 11:28:05.20

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
※リンクがNGワードに！

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2017/02/17(金) 22:19:08.74

>>661
HuberLossは使っていますが多分それほど関係ないです。（というかMSEのほうがPSNRは高くなると思います）
誤差はノイズ除去で色が劣化しているのを直すときに
下げれる誤差に限界があるので、YUVのYの重み(0.299 × R + 0.587 × G + 0.114 × B)にあわせて
チャンネルごとの誤差の重みを調節しているだけなので、拡大の場合はそれほど関係と思います。
学習データが少ないのはあるかもしれないですが、今はパッチを切り出さずに画像単位でforward/backwadしているでしょうか？
小さなパッチを切り出してからシャッフルして小さいminibatchで学習するのはとても重要です。
画像単位だと例えば1280x720だった、出力が86万個の変数になって
この平均誤差をbackwardすることになるので、画像内のある小さな領域内で誤差が大きかった場合でも平均されて消えてしまいます。
特にイラストの場合は何もない背景が多くて、そこは誤差がほぼゼロになるため平均されて誤差が消失しやすいです。
（waifu2xはパッチを切り出した後パッチ内が単色背景の場合は50%くらいの確率で捨てるような処理も入っています）
また学習データ少ない場合でも、たとえば96x96のパッチだと画像1枚から70万通りくらいの切り出し位置があるのでデータ増加にもなります。

2017/02/17(金) 22:33:15.43

>AdamのAlphaは小さくしたほうが確かに学習安定します(当たり前)。
あと書いていませんでしたが、0.00025から初めて最終的にその1/10くらいになるように減らしていっています。
Adamは学習率が自動調節されるようなことが書かれていることがありますが
パラメータの要素単位の正規化をやっているだけなのでalphaを減らすのは意味があります。
なので最終的なエポックで1/10くらいになるようにalphaをスケジュールしたほうがPSNRは高くなります。
調節が難しければ、80%くらい進んだ後で1/10にして残り20%を回すくらいでも十分意味があると思います。

2017/02/17(金) 23:47:35.21

画像は教えてもらったパッチサイズに分割しています
当然シャッフルしています

SGDなんかでは学習率を減衰する正則化は普通ですけど
Adamでも効果あるんですね。というかそんなに小さな学習率で
PSNR向上するのか...。

2017/02/18(土) 04:13:42.14

ai搭載してほしい

2017/02/18(土) 13:20:51.75

deeplearning研究の成果であるwaifu2xがAIでないとしたら何がAIだと言うのかね

2017/02/18(土) 13:22:00.41

>>665
正解を大量に教えれば、その正解に近いものを導くのがAIだけど、あなたの求める正解って何？

2017/02/18(土) 14:02:32.75

>>667
AIだったとは！

2017/02/19(日) 20:45:41.75

超解像で遊んでいる人です。

waifu2xの方の話を聞いてて自分の中で結論が出たのはSRCNNの
画質はずばり精度で決まるということですね。

学習率が異様に小さいのが納得していなかったのですが、
多分SRCNNの重みの調整は超絶微細な学習です。
なので高めの学習率で荒い調整したら細かい調整がいるのかなと思います。

例えるなら7層のネットワークの調整は7枚のレンズの焦点を
あわせるようなもんかなあと思います。

なので処理の過程で精度を落とすような処理は厳禁ですし、
学習データも多い方が明らかに有利です。
なのでかなり気をつかった実装が必要かなと思います。

PSNRは改善してきましたが、やはりノウハウの塊であるwaifu2xを
越えるのは難しいかなと思います。自分はアルゴリズムの方に
興味があるのでそっちがんばります。

自分とwaifu2xの作者の方は目指しているところがまったく逆なので
競合しなかったのが救いです。

2017/02/19(日) 20:46:05.85

先日専門家の方からsaliency mapという手法を教えてもらったので
視覚ベースの高精度化の実験やってます。定量化が難しいですけど
なんとなくbutteraugliは向上しそうな気がします。

あとGANの識別器から重要な画素の情報を計算する方法も考えたので
それも実験中です。

手垢が付いてない分野なので色々新しい手法が見つかります。

2017/02/20(月) 03:22:48.92

SRCNNというか回帰問題なのでそうだと思います。
分類では識別境界に近いところ以外は大雑把でよいですが
回帰だと全ての点を正確に合わせないといけないです。

2017/02/22(水) 16:16:01.04

おもすれー
http://affinelayer.com/pixsrv/index.html

2017/02/25(土) 21:08:59.68

アニメとか動画を拡大したい人向けのソフト作ってみた。
http://c00-c03.blogspot.jp/2017/02/waifu2x.html

2017/02/25(土) 21:43:53.51

それを使った場合と使わないで普通に全部拡大した場合の結果の違いまだ未検証？

2017/02/25(土) 22:33:37.42

>>674
動画とブログに書きましたが、速度はこのソフトを使ったほうが早くなります。
画質には普通に拡大した場合と比較して違いはありません。

2017/02/26(日) 12:08:18.25

動いてないコマは端折ったのね。面白い考え。

2017/02/26(日) 12:35:01.92

拡大をCPUで処理してる場合はかなり早くなるんじゃね？

>>676
コマっつーかコマ内のさらに差分じゃね

2017/02/26(日) 16:36:31.44

http://i.imgur.com/qeqSdax.jpg
http://i.imgur.com/THyF7yT.jpg
http://i.imgur.com/WCzYXqd.jpg
http://i.imgur.com/FZMLAXt.jpg

2017/02/26(日) 22:12:33.57

面白いな。素材がとにかく低ノイズじゃないと差分がいい具合にならない気はする。
実写だとどうだろうなぁ。実写動画でいろいろ拡大絡みのことはやってみたいと思ってるんだけど。

2017/02/26(日) 22:41:32.17

>>679
閾値の値を調整すれば程度は対応できますが、
完成した時にブロックノイズが現れることがあるので調整が難しいですね。

2017/02/27(月) 12:23:47.22

ラデオンでも快適に使えるようにしてくだされ

2017/02/27(月) 19:28:07.51

この差分方式が進化すると裏に進出済み女優の表作品からモザイクを除去できるのでしょうか？

2017/02/28(火) 12:49:55.55

>>678
コイツです。

2017/03/04(土) 17:25:09.45

>>682
学習データの蒐集方法が謎ｗ

2017/03/05(日) 00:58:28.30

個人ごとに好みがあると思うので各人で学習させる事もできるといいんじゃないかなｗ

2017/03/05(日) 01:54:20.37

100万枚くらい正解と不正解の学習用画像もってる人限定か

2017/03/05(日) 22:34:47.95

モザイクと検出された所が全てマンコに置換されて
マンコまみれの悪夢のような画像が生成されるんだな

2017/03/06(月) 14:05:04.79

マジレスすると、モザイクの範囲や解像度は入力によって異なるので復元を学習するのはなかなか難しいと思う。
モザイクの顔が復元できるよみたいなデモは
入力が8x8のモザイクで出力も位置合わせされた顔しかありえないなど限定された条件の結果なのでまだ実用的ではない。

2017/03/06(月) 19:34:14.98

パネルアート画像がモザイク認識されてとんでも画像へと処理される奇劇のﾖｶﾝ(´∀｀ミ)

2017/03/09(木) 21:30:19.36

>>681
約4倍の高速化したバージョンを公開したのでもしよかったら試してみてください。
http://c00-c03.blogspot.jp/2017/02/AniZipReleaseNotes.html

2017/03/10(金) 09:35:55.09

実写は無理だった

2017/03/11(土) 14:37:39.60

AMDでwaifu2x

http://inatsuka.com/extra/koroshell/　でwaifu2x_koroshellをDL
http://d.hatena.ne.jp/w_o/touch/20150629/1435585193　で
waifu2x-converter_x64_0629_02.zipをDL
waifu2x_koroshellを入れて
waifu2x_koroshellの中のwaifu2x-converterにwaifu2x-converter_x64_0629_02の中身上書き

waifu2x_koroshellで動かすとGUIでOpenCL使える

2017/03/12(日) 06:36:21.76

>>696
何でわざわざそんな古いバージョンを…
20160101が最新だよ
http://d.hatena.ne.jp/w_o/20150629/1451664048

あと最近、海外の人が作った派生もある
https://github.com/DeadSix27/waifu2x-converter-cpp/releases

同梱されているモデルのバージョンが新しい
ノイズ除去レベル3が追加されている（なぜかレベル0は追加されていないが）
今後も更新がありそう
などのメリットがある

2017/03/12(日) 13:25:52.96

>693
tanakamura氏版から派生したようですね。RX460で正常動作。

ただ、透過画像との相性問題も引き継いじゃってるので、修正されたらいいなぁ。

2017/03/14(火) 06:01:16.34

>>693
それだとkoroshellに入れても使えないし
692のはkoroshellを使った操作が楽な方法よ

2017/03/15(水) 01:31:35.13

>695
koroshellフォルダに「waifu2x-converter」サブフォルダ作って、
「waifu2x-converter_x64.exe」にリネームすれば、使えますよ。
ノイズ除去は、なし(Lv0)、弱(Lv1)、強(Lv2)までしか選べないので、
Lv3使えないけど。

2017/03/17(金) 17:24:03.19

自分用にこういうの作ったから良かったらどうぞ
基本的にただのフロントエンドなので元のソフトの機能しか使えないですが
http://i.imgur.com/6j4XHEy.png
https://www.dropbox.com/sh/0y9scaml78otum2/AAAs4sTIHQWn_UfYCwwC95VKa?dl=0

https://www.virustotal.com/ja/file/67cc556ad135c2ab85d83b4bd92e6735b873904ff42a38f9022719435996d9e9/analysis/
https://www.virustotal.com/ja/file/c06ba95ca00297f0d7e8892bb350899337d50f7c30a5f9e104e58e8ba96107d7/analysis/

かなり強引な方法ではあるけど、フォルダも処理出来る（多分）ので>>673ﾌソフトとも連携できるはず

2017/03/17(金) 23:03:21.46

全く見てないけどkoroshellの代わりになるようなもの
という認識で良い？

2017/03/17(金) 23:37:27.66

>>698
基本的にはそういう感じですが使い勝手は異なるのでどちらが良いかは人によるかと思います。
具体的には画像をドラッグ&ドロップしただけでは変換が始まらないので何枚もポンポン放る使い方をする方はkoroshellのほうが良いかもしれません。

koroshellより優れていると思うところは

フォルダをサブフォルダごと処理出来る（多分）
同梱モデルが新しい
最初からtanakamura氏のwaifu2x-converter-cppを同梱をしてあるので差し替える必要がない
イラスト用モデルと写真用モデルの切り替えができる
ノイズ除去レベル 0～3まで使用可能

ですかね。

2017/03/18(土) 16:30:49.66

700

2017/03/18(土) 16:48:11.10

D&Dモードも実装して(はぁと)

2017/03/31(金) 14:45:23.84

waifu2xのすごさを実感したわ
幅720ピクセルの画像をFHDにして壁紙で耐えられる
まあイラストだから許せるのもあるけど

2017/03/31(金) 18:13:13.97

昔付き合ってた女のいろんな画像とか、waifu2xで拡大して遊んでるわｗ
流石に昔のスマホの素人撮りだから、2倍以上だと粗が目立つけども･･･

閑古休題、DenoiseNetも今後期待できそうね
https://pbs.twimg.com/media/C1tjW1qWIAAEpJw.jpg
https://arxiv.org/abs/1701.01698

2017/03/31(金) 23:36:18.06

>>703
ホクロが消えてシワが消えて
若返り画像生成ツールやね

2017/04/02(日) 23:42:14.76

縦横幅を指定って7680x4320みたいな指定でいいのね

2017/04/03(月) 00:01:52.18

>>705
何の話かと思ったら更新来てたのね

waifu2x-caffe ver 1.1.8.1
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.1.8.1
GUIで変換後の縦横幅でサイズ指定を追加
CUIで変換後の縦横幅を同時に指定できるようにした
GUIの翻訳にフランス語追加

2017/04/03(月) 00:19:45.25

ところで↓の話ってどうなったんですかね？

CUDA on AMD GPUs, now possible? · Issue #71 · lltcggie/waifu2x-caffe
https://github.com/lltcggie/waifu2x-caffe/issues/71

MIOpenは2017年の第1四半期にリリース予定って聞いたんですが、まだリリースされてないのかな？

2017/04/03(月) 00:59:01.62

ある程度大きい画像だと違いはあまり感じられないのね

2017/04/03(月) 18:49:25.18

>>706
ver 1.1.8.1使おうとしたらCUDAドライバ無いッスってエラーが出た
前のverはNVIDIAのドライバ入れてGPU変換出来てたのに何でだろう
今新たにドライバ入れなおし中

2017/04/03(月) 23:08:06.81

ドライバ更新したらCUDA変換できた

>ある程度大きい画像だと違いはあまり感じられないのね
画像によるけどフォトショ等で一旦縮小してからやると綺麗になったりする時もあるよ

2017/04/04(火) 06:54:31.05

ん、GUIで高さ指定の場合に入力値が横幅として処理されちゃってる？
横幅指定は正しく横幅になり、縦x横指定の場合もその通りになる
ファイル名の付き方は指定の通りになってる

2017/04/08(土) 18:15:39.34

>>711
致命的バグが修正されませんね。

2017/04/16(日) 21:27:24.07

バージョンアップ来そうな予感

2017/04/16(日) 21:37:19.02

waifu2x-caffe ver 1.1.8.2
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.1.8.2
出力フォルダを選択するときにエラー落ちすることがあるバグを修正
GUIで縦幅サイズ指定にしても横幅の指定と認識されるバグを修正
出力深度ビット数を入力で変更できないようにした

2017/04/17(月) 00:16:48.95

今繋がらなくなってる？
プロキシエラーになる

2017/04/17(月) 00:40:06.64

>>715
こっちは繋がるよ

2017/04/30(日) 20:09:22.51

このソフト便利だなあ
写真で使うと解像感があがる
塗り絵になってしまうのは仕方ないけど縮小して見る分には問題ない

2017/05/02(火) 15:42:24.70

これすげえ。

ディープネットワークによる
シーンの大域的かつ局所的な整合性を考慮した画像補完
http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/ja/

様々なシーンの画像補完（Places2データセット）
http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/images/results/results.png
顔画像の補完（CelebAデータセット）

2017/05/02(火) 15:58:18.77

>>718
なにこれ使い道一つしか思い浮かばない

2017/05/02(火) 16:57:06.66

>>719
通報した

2017/05/02(火) 17:17:39.08

これであの水玉を消せるんやな！

2017/05/02(火) 17:18:42.61

そもそも学習用のモデルが用意できねぇｗ

2017/05/02(火) 19:11:17.40

学習用モデル=世界中で公開されているネット上の画像っていうパターンか。

2017/05/02(火) 21:16:59.37

>>718
早稲田のチーム凄いな

2017/05/03(水) 00:00:51.86

ここに書いて良いのか分かりませんが waifu2x-caffe ver 1.1.8.2
GUIで出力深度ビット数を16bitにして終了しても設定が保存されません。
（Setting.ini で常に LastOutputDepth=8 になる）

2017/05/03(水) 23:06:21.15

>>719
水着とか消しても裸にはならずに水着が生成されるだけだとおもうぞｗ

2017/05/04(木) 01:20:29.54

>726
横に別の裸婦おいとけばそういうものと解釈されると思われ

2017/05/05(金) 07:07:35.10

waifu2x-caffe 1.1.8.2
拡大サイズの縦横幅で指定にチェックした状態で、変換モードをノイズ除去だけにしてもリサイズされちゃうな

2017/05/06(土) 21:46:20.63

waifu2x-caffe作者様：
出力パスに.(UpRGB)(noise_scale)(Level2)(height 1920).jpgとかを
一切付与しない動作設定OPって追加出来ませんかね？

2017/05/06(土) 23:16:08.90

コマンドラインから使えばいいじゃん

2017/05/07(日) 00:14:14.19

複数ファイル渡せば付与されたフォルダが作られた中に元のファイル名で保存されるやん（単ファイルでやってるならファイル名入れなおせば？）

2017/05/09(火) 10:49:10.46

>>718

性欲はイノベーションの母

2017/05/09(火) 17:09:22.63

あっそ

**名無しさん＠お腹いっぱい。** · 2017/05/10(水) 10:54:53.09

仕事で衛星写真系の超解像を齧ってるんだが
既存のアルゴリズムだとなかなか思ったようにはいかないものだな
学習ベース(元画像から縮小)は現状数十万件あることは有るのだが

2017/05/10(水) 11:23:44.94

>>734
これの建物のデモとか面白いよ

Image-to-Image Demo
https://affinelayer.com/pixsrv/index.html

2017/05/10(水) 15:49:05.06

>734
学習させる正解って何って世界で、ゴースト出ても味があるとかじゃ清まされないからねぇ

2017/05/11(木) 16:24:41.03

衛生写真の超解像ってセンサ的に撮れないものを出そうとしているならそれは無理なので
検出したい物体だけ小さくても周りの状態や別の情報から検出できるようにするとか問題設定を変えたほうがいい気がする
最近kaggleでも衛生写真の領域分割(車、道などの分類)や位置合わせなどやっていたよ

2017/05/13(土) 09:19:13.00

これ、ループが何回で終わるか分からないのが難点だなあ
start process block (*,*) ...
の数字が減少する方向で書いてあればいいのに

2017/05/13(土) 15:49:39.24

>>692
これの導入が間違ったのかな
waifu2x_koroshellが本体？
waifu2x_koroshellのwaifu2x-converterフォルダにwaifu2x-converter_x64_0629_02の中身上書きしたら応答停止になった

つかwaifu2x_koroshellオリジナルが2分半かかったけどtanakamuraオリジナルは30秒未満だったよw

2017/05/13(土) 23:40:32.01

tanakamuraってまだ更新してるの？

2017/05/14(日) 15:16:16.36

止まってる

2017/05/15(月) 01:11:02.50

waifu2x-caffe ver 1.1.8.3
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.1.8.3
縦幅か横幅指定の拡大で、計算誤差が原因で指定サイズから1pxくらいずれることがあるのを修正
日本語環境以外でCUIの出力が文字化けしていることがあるのを修正
cuDNN v6に対応

2017/05/15(月) 05:45:05.44

>>742
このスレで報告されたバグは修正されてない？
もうこのスレ見てないのかな
見てるけど重要度低いと判断されて後回しになってるのかもしれないけど

2017/05/19(金) 09:05:30.88

AMD版更新・・・

2017/05/19(金) 13:22:34.26

waifu2xすげーな
アプコンの美しさ、処理の速さ、生成ファイルの容量、ひとつも不満なし
久々に神ソフトに出会ったわ

2017/05/22(月) 16:39:55.09

不満をしいてあげれば、にじみ（ボヤケ）かな。
画数の多い文字が含められてる画像を処理した場合とかに特に目立つ。

2017/05/22(月) 19:07:44.33

にじみというより溶けてる。
アンチエイリアスでもかけたくなる

2017/05/22(月) 19:30:46.99

ノイズ除去オフにしてみたら？

2017/05/22(月) 19:39:45.16

普通に拡大するよりかなりマシだとは思うけど
その画数が多い文字ってそもそも小さくて点のあつまりみたいになってるようなのじゃないの？

2017/05/24(水) 03:21:38.21

>>744
どこのこと？w

2017/05/25(木) 18:25:43.19

！？

https://twitter.com/ceekz/status/867657726066737153
eBookJapan が waifu2x に目を付けたものの、マンガ画像での画質には満足できる結果が得られなかったので、作者の nagadomi 氏と共同研究したとのお話、超いい話。 #jsai2017

2017/05/25(木) 19:29:59.98

お前らは元データの解像度上げろよw

2017/05/25(木) 22:15:17.68

ホントだよ

2017/05/26(金) 04:30:43.98

どれだけひどい元解像度を想定してるの (((´･ω･`)

2017/05/26(金) 16:30:06.46

サーバーにクソ画像で保存(容量節約)
購入者宅でwaifu2x拡大
という流れか

2017/05/26(金) 17:05:25.15

まともな画質になる範囲なら大アリだと前から思ってたけど
読みながら拡大じゃ遅すぎるから
買ってダウンロードした直後か読む前に全ページ拡大かねえ
それにしたって時間かかるな
画像部分と写植部分のデータを分けて文字はリアルタイムレンダリングなら理想じゃねって思ってる
フォントは必要に応じてダウンロードされる想定

2017/05/26(金) 17:22:43.39

いずれにせよ、この手の技術が企業側の手にかかった時、
ユーザにメリットなんてほとんど考えられないと思うのは俺だけか

2017/05/26(金) 19:16:01.27

文字の多くが吹き出し内に収まっている画像なら恩恵が大きそう
黒ベタやカケアミの上の文字は苦手そうだが

2017/05/26(金) 23:10:47.80

>>757
それは同感だな...

2017/05/27(土) 06:59:40.02

資本投入で開発スピードアップ、変換品質アップするなら有料でもなんら問題はない
むしろ現状の「タダで使えるのが当たり前」を前提にしていることのほうが、よほど不自然だ

2017/05/27(土) 13:18:06.97

>>750
スマン、まだかなーって待ちわびてるのよｗ

2017/05/27(土) 15:29:04.19

どう考えてもトーンで爆死だろ