【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net

2016/05/10(火) 11:28:05.20

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
※リンクがNGワードに！

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2016/05/11(水) 15:20:21.00

ちなみに、先ほどImageMagickを更新してから久々にwaifu2x-c/c with Batchfile and HTA-GUIを起動して使ってみましたが、
やはり私のPCでは利用できないままなのは変わらないようです。
(起動時にエラーは出るし、ファイルの選択すらできない。)

2016/05/14(土) 10:55:12.05

前スレで画像のbit深度について書いていた件なんだけど、いろいろ調べていたら
・ImageMagickのビット深度と画質劣化
http://mikio.hatenablog.com/entry/2016/02/12/220435
という興味深いページに行き当たった。

曰く、「ImageMagick 7からはHDRIがデフォルトになる」そうです。
※HDRIとは、「内部表現を浮動小数点数で持つ機能」のことだそうです。
先日>>20にてアップデート推奨と書きましたが、現在のバージョンが7.0.1-3ですので、おそらく対応しているものかと思います。

ImageMagick 7以降を使うと旧バージョンに比べて画像フォーマットの変換時の劣化を抑えられるかも。
旧バージョンを利用中の方は更新されておく方がいいと思います。

ところでもともと調べていたのは「各色8bitの画像を各色16bitにきれいに変換できるフリーソフト」を探すことが目的だったのですが、案外ないものですね。
(Photoshop関連の情報はたくさん出てくるのですが)
ImageMagickだとできるかなと調べているのですが、よくわからんです。
誰かご存知でしたらよろしくです。

2016/05/14(土) 11:04:35.89

HDRIについてさらなる考察をされている件も興味深いので合わせてどうぞ
(HDRIかつ16bit、あるいは32bit、64bitのケースなど)

・ImageMagickのビット深度と画質劣化その2
http://mikio.hatenablog.com/entry/2016/02/15/221433

2016/05/14(土) 11:13:20.68

＞「各色8bitの画像を各色16bitにきれいに変換できるフリーソフト」
綺麗に、ってのは、オーディオで言うところのアップサンプリングみたいなのを考えてる？

解像度を上げつつ、補完するピクセルの色を16bitでしか
表現できない色で表現する、ならわかるけど
解像度を上げないでそのまま16bit化するのはただ
ファイル容量増えるだけで何も変わらないよ

2016/05/14(土) 11:44:34.95

>>24
「オーディオで言うところのアップサンプリングみたいなの」ということになるのかどうかわかりませんが、
各色16bitに変換する際にトーンジャンプが起きないように補完しつつ変換するような感じの動作をするものを探しています。

2016/05/14(土) 12:20:35.15

表現が間違っているかも。
元画像に含まれるトーンジャンプ(バンディング)を滑らかに補正しつつ、bit深度を拡張、というべきかも。
つまり元画像が高圧縮された画像であればあるほどトーンジャンプが発生している確率が高いので、
そのまま拡大するのではなく、あらかじめ階調をできる限り滑らかに補正しておいてからwaifu2xに渡す、というような前準備を考えています。
等倍サイズでは目立たなくとも、拡大するとトーンジャンプは目立つことが多いので。

2016/05/14(土) 12:29:11.32

可能性の話になるけれど、ディープラーニングを利用したノイズ除去とは別にやの、トーンジャンプ除去モードとかbit深度拡張モードがあればいいのか？
(等倍での出力も対応)

ノイズ除去も目的に応じてより細かいモードがあるといいのかも。
ブロックノイズ軽減モードとか、モスキートノイズ軽減モード、カラーノイズ除去モード、などなど。

2016/05/14(土) 18:50:49.16

思いつきのメモ
画像を圧縮することによって発生する問題(ブロックノイズとかトーンジャンプとか)を、圧縮前はこうだっただろうという想定で復元する「超復元」。
さすがにそんな都合のいいものは無理？

2016/05/14(土) 19:20:53.65

>>28
1.00000001倍に拡大して自動判別してノイズ除去で良いんじゃね

2016/05/14(土) 21:32:59.96

>>28
トーンジャンプ／ブロックノイズした絵を入力・解除された絵を出力するように学習させれば可能かも

2016/05/15(日) 04:52:32.51

＞画像が高圧縮された画像であればあるほどトーンジャンプが発生している確率が高いので
トーンジャンプ(バンディング) が判るような圧縮画像じゃ、8bit諧調ですらないのでは？ってレベルの画像なんじゃないだろうか・・・

2016/05/16(月) 15:12:06.66

処理時間半分以下になるバージョンの公開が待ち遠しい

2016/05/16(月) 16:35:15.65

フィギュアの写真をアニメ調にしてくれる機能があったらなぁ。

2016/05/16(月) 18:25:08.61

新バージョン待ち遠しいな

2016/05/16(月) 19:44:29.81

新モデルはupconvブランチに置いてますけど
ピクセルアートなどでひどいアーティファクトが出てることに気付いたのでまだ変更します。
時間半分以下でイラストでのベンチマークも上ではありますけど
以前より悪くなるパターンもあってあやしくなってきました。

2016/05/16(月) 21:18:27.97

処理時間よりどれくらい綺麗に処理出来るようになったかが気になるな
特に前スレで書かれてたノイズを使ったときの溶けた感じや輪郭線など

とにかく作者さん頑張って

2016/05/17(火) 08:12:24.79

モデルデータなんだけど、現状はアニメ用とか写真用とかに分かれていて利用者が選択するやり方になっているけど、
絵柄の部分ごとに自動的に切り替えて適用させることはできないものなんだろうか？
(切り替える判断をディープラーニングでさせる)
・階調情報が少ない面が一定以上ある部分→アニメモデル
・輪郭線が複雑に構成されている部分→Yモデル
・それ以外→RGBモデル
みたいな。

2016/05/17(火) 11:39:19.21

>>35
ピクセルアートはコントラスト比が高い絵柄が多いから、現状のwaifu2xのやり方だと溶ける症状が出やすいかもしれませんね。
どうも溶ける症状が出やすいところって、コントラスト比の高い部分が隣接しているような場所でおこりやすい気がしますね。
(だから結果として輪郭周辺部とかで目につきやすいのかも)

コントラスト比が高い部分とコントラスト比の低い部分を同じ割合で強調してしまっているのかな？
元画像のコントラスト比が高くなるほど、強調する度合いを低下させておくような仕掛が必要だと思います。

2016/05/18(水) 21:27:07.33

新バージョンでは輪郭線が綺麗になる？
SDからFHDにアップコンバートするとこんな感じになるんだよね…
http://i.imgur.com/GhxuUH3.png

2016/05/19(木) 11:36:41.13

>>39
みんなそれを期待していると言っても過言ではないのけど、実際問題としては相当難しいんだろうなとも思う。
というのは、人間の目には輪郭とは「一本の繋がった線」として認識しているので、目に見えにくいところが少しくらい途切れていても
脳内で補完される(これを「アモーダル効果」とかいうそうです)仕組みがあるけれど、コンピューターに勝手にそのような効果が備わっているわけではないので、
輪郭線の細部の「ムラ」になっていたり、ノイズまみれになっているところを、いかに連続した線としてきれいに見せる＝すなわち「連続した線として認識できる」
かが鍵になるのだと思う。
つまり、現状のwaifu2xは細かい点ごとを処理している状態であるところを、あらかじめディープラーニングを使って「この連続成分は線なのか？」ということを
事前に認識する前処理を施したうえで、「線成分(＝連続成分)」と認識した場所と、そうではないところで処理方法を切り替えることが必要なのではないかと個人的に
思ってはいるのだけど(連続成分については超解像効果をオフ、もしくは弱めて適用)、作者様、そんな前処理&処理方法の切り替えはできないものでしょうか？

2016/05/19(木) 11:54:46.91

現状が出力1px出すのにその周りの7x7pxがどうなっているかで出力を決めているので
その範囲でそれが線か点か平面かみたいなところは判定できていると思います
新モデルはこれが12x12に広がるのでもう少し複雑なパターンも分かるのではと思うけど
フィルタが大きくなるとそれだけ無関係なピクセルから影響を受けやすくもなるので
アーティファクトも出やすくなってしまう

2016/05/19(木) 12:34:06.20

>>41
参照範囲を拡張されるのですか？
それはいいですね。
アーティファクトについては元画像が圧縮画像である場合に発生しやすいかと思いますので、現在装備しているノイズ除去とは別に、
アーティファクトの影響が出やすそうな圧縮ノイズだけを事前に除去するようなモードをつけておくことで対処することは難しいのでしょうか？
(>>28で書いたような感じのブロックノイズとかトーンジャンプに加え、輪郭周辺部に出やすいモスキートノイズなどを個別にオン・オフできるといいかと思いますが)

2016/05/19(木) 12:42:22.08

作者様のTwitterを見たところ、「Imager::AnimeFace」なる輪郭検出に必要になりそうなソフトウェアをすでに作られていたご様子。
このソフトの技術で認識した輪郭部だけに適用する「輪郭ノイズ除去フィルター」なんて組み込めないものですかね？

2016/05/19(木) 12:44:38.11

こんなソフトもあるようですね。
・JPEGノイズ除去フィルタ
http://www.webtech.co.jp/help/ja/optpixlabs/jpeg_noise_filter/

2016/05/19(木) 12:49:58.03

人のいるところでは開かないほうがいいページだけれども、参考にはなりそうなところ。

Googleで「輪郭ノイズ除去フィルター」で検索すると、「プロカメラマンのPhotoshop女性写真補正術」なるところが表示されますのでそこに出てきます。

人前では見るなよ！見るなよ！

2016/05/19(木) 12:51:00.20

>>40
分かりやすい説明ありがとう
やっぱりみんなもそこ気になってるんだね
輪郭線も気になるけど、画像みたいな色が違う境界線も新バージョンで改善されると嬉しいな

要望ばかりで申し訳ないが、作者様頑張って下さい

2016/05/19(木) 12:57:20.90

アニメって原寸でも少しボケ気味だから拡大前に若干縮小するか、シャープかけてからの方が良い結果になることが多い

2016/05/24(火) 01:06:43.33

waifu2x-c/c with Batchfile and HTA-GUI作者です、ご無沙汰してます

>>20
ありがとうございます。私もこのレスを見て始めて脆弱性のことを知りました...
>>21
申し訳ないです。。。もしよければバッチファイルだけでもご利用ください。

重いのに使ってくださる方がいて嬉しい限りです。
リアルが多忙ですが、tanakmura氏版がLv3に対応した後ぐらいの時期に次版をリリースしようと考えています。
次版は少々軽くなっているはずです。
また、近いうちに選択肢が簡単な(コマンドライン準拠でない)バージョンも用意したいと考えています。
個体差でエラー&起動しない問題の解決にも取り組みたいところです。

2016/05/24(火) 09:35:22.04

>>48
ImageMagickの件については、>>22-23に記述した件もありますので、更新しておいて損はないかと思います。
なお、「各色8bitの画像を各色16bitにきれいに変換できるフリーソフト」の件ですが、どうやらImageMagickにそのような機能があるっぽいのですが、まだよくわからず。
引き続き調査中。
(ImageMagickをGUIで使える汎用性の高いフロントエンド(AviUtlみたいな)ってないのかな？)

2016/05/24(火) 10:00:09.81

ひょっとして8bit→16bitをImageMagickで変換するには

convert input.png -depth 16 output.png

だけでよかった？

2016/05/24(火) 10:13:01.51

そんなわけはなかった・・・
引き続き調査。

2016/05/24(火) 17:42:11.99

倍速バージョンがcaffeに採用される日はまだ遠いのでしょうか？

2016/05/24(火) 18:13:16.41

各16bitにしてもグラボやモニタが対応してないと確認できないよーな

2016/05/24(火) 19:22:40.86

16bitは編集前提だから
まぁ、Radeonの次期モデルから10bit出力対応になるし、モニターも対応モデルが増えていくから無駄にはならん

2016/05/24(火) 20:29:37.48

>>39
これ学習時に縮小するときにジッタ成分としてランダムにサンプリング位置を僅かにずらしたのを学習させれば
ノイズとして巧いこと処理できるようにならないかな
縮小したのをWarpsharpとかランダムシフトでずらして凸凹を再現してもいいけど

2016/05/24(火) 20:41:22.46

>>54
ちゃんとｷﾚーに処理されてたら無駄にならないからいいけど、
いざ確認できるようになってから、誤差拡散ノイズまみれとかになってたら嫌じゃね？

2016/05/24(火) 20:59:08.32

ビット拡張は暗部階調に意味があるんだからガンマカーブやトーンカーブいじって明るくしてやれば確認は出来るでしょ
10bit出力だってDirectXやOpenGLのフルスクリーンで相当昔から出来るがDeepColorのTVでもそのままじゃわからん
Blu-Ray再生でRGBのまま再生したいときにロスが減るという意味がある程度かもしれん

2016/05/28(土) 18:13:12.85

新バージョンはいつ頃になりそうですか？

2016/05/29(日) 03:27:38.86

rigayaの日記兼メモ帳技研公開 2016
http://rigaya34589.blog135.fc2.com/blog-entry-788.html

NHKの方でも縮小して拡大、PSNR算出みたいな事するのね

2016/05/29(日) 03:40:46.10

ムッ、ブログ記事の画像URLのGiken2016_10s.jpgをGiken2016_10.jpgにすると読みやすいのが出るな

2016/05/31(火) 00:49:27.83

>>58
平均的にはいいんだけど，現在のモデルよりすごく悪くなる例がいくつかあってどうしてもよくならないので苦悩しています
（ウェブの方を置換するので現在より悪い例はできるだけ無くしたい）
あと2倍といっていたけど，モデルのロード時間も測ってしまっていて
測りなおしたら4倍近く速かったので，もう少し遅くなっていいのでよくできないかなと考えています

2016/05/31(火) 10:03:28.13

>>61
お疲れ様です。
すごく悪くなる例というのは、以前おっしゃられていたピクセルアートなどの場合でしょうか？
私はプログラミングのことはよくわかりませんが、悪くなる原因というのは現行方式にくらべて新方式が速く処理できる以上、
何か重要な処理が省かれてしまっている、もしくは簡略化されてしまっている、という可能性はないのでしょうか？
逆に言うと、省かれたか簡略化された処理がかねてより問題の輪郭線などが溶けてしまう要素とも関係していたりはしないのでしょうか？

もしそうであるならばですが、拡大処理などをする前にまず画像全体をチェックして、新方式で問題ないと判断される場所は新方式で高速処理し、
問題が出そうと判断される場所は現行方式、あるいはさらに改良した方式をあてがうなど、処理を切り替える必要性があるのではないでしょうか？

それと3年ほど前の記事ですが、こんな記述も参考になるかも
・東芝「REGZA Z8X」開発陣に聞く、「本格的4K時代」　4Kだから差が出る画質。地デジを高画質化の秘密
http://av.watch.impress.co.jp/docs/series/rt/20130809_610976.html

「ではなにが実物感に繋がっているのかというと、グラデーションの美しさであったり、自然なエッジの持つ「柔らかいが細かい」という感覚です。
映像エンジンとしては、階調性や微小な振幅が失われないよう、いかに内部のバス幅を広くとるか、ということを意識して開発しています。

最後まで12bitで伝送するといったことにこだわらないと、4Kらしい実物感が出てこないのです。」
→つまり、前回お話ししていた8bit画像を高bit化する際の処理方法とその後の情報精度維持が効く！

2016/05/31(火) 10:04:09.16

・微細テクスチャー復元
http://av.watch.impress.co.jp/img/avw/docs/610/976/html/ppt05.jpg.html

「2Kの段と4Kの段をしっかりわけて処理しないと、そうした「リアリティ」が出ない

そんなにゲインをかけてはいないです。微小なところしかかけていないんですが、それを入れるか入れないかで、4Kになってしまうと大きくかわってきます。」
→微小な階調差の領域とそうでないところを同じ処理(＝強調)をしてはいけない！
※協調具合は逆ガンマ特性であてがうといいのかも

・絵柄構造適応型MPEG-NR
http://www.toshiba.co.jp/regza/lineup/z700x/quality_03.html#psa
→絵柄の相関性に基づいてフィルターの形状を適正化の部分を取り込むことで、参照範囲を拡張することによるアーティファクトの問題を軽減！

2016/05/31(火) 10:11:05.50

8bit画像を高bit化について追記

ノイズ除去や拡大する前に、ディープラーニングを使った高bit化(8→16bit化)が必要なのかも。
※単なるデータだけ16bitにしました、ではなく！

2016/05/31(火) 12:33:31.37

>>64を訂正

元画像でディープラーニングを使った高bit化(8→16bit化)ではなく、waifu2xで内部的に確か使っているニアレストネイバーで拡大した画像をディープラーニングを使った高bit化(8→16bit化)のほうがいいのか？

2016/05/31(火) 12:35:45.44

いや、それなら拡大後の画像にディープラーニングを使った高bit化(8→16bit化)を適用すればいいのか？
手元で試せるわけじゃないからわからんな・・・

2016/05/31(火) 12:57:25.17

そもそも原点に戻るべきなんだろうか？

waifu2xが出た当初、今よりも輪郭が溶けやすかったので、NNEDI3で拡大後にwaifu2xでノイズ除去のみ適用というのをやったことがあったけど、
waifu2xが改良されてからNNEDI3を使う方法は全く試してなかったんだよねぇ。

NNEDI3と最新版のノイズ除去との組み合わせ、あるいは以前に書いたような輪郭成分と認識される部分だけに適用されるような新型ノイズ除去？との組み合わせならばどうなるのだろうとふつふつ・・・

そのうち時間が取れたら試すか。

2016/05/31(火) 13:14:26.12

手元に以前にNNEDIS3にて2倍、4倍、8倍に拡大した画像があったので改めて見てみたのだが、確かに眠い画像ではあるんだけど輪郭とかは自然なんだよね。
NNEDI3で拡大して、画像の面成分(＝「Imager::AnimeFace」にて輪郭と認識されないところ)のみwaifu2xにて超解像効果を適用・・・

それができるのならば、テレビなどでよくある解像度の変換はなしで、解像感だけアップする手段にも使えるのか？

2016/05/31(火) 13:20:06.61

ダラダラとうぜえ・・・

2016/05/31(火) 16:10:01.21

「私はプログラミングのことはよくわかりませんが」って奴が、よくまあ長々と愚にもつかない事を語れるもんだ
マジでどういう神経してるのかと

2016/05/31(火) 16:19:05.88

大手サイトで紹介されたのは初めて？
http://www.itmedia.co.jp/news/articles/1605/31/news119.html
以前話題になってた自動カラー化の

2016/05/31(火) 18:17:18.12

>>70
まあアドバイスをするぐらい良いじゃない
作者も嫌なら無視すればいいだけなんだし

2016/05/31(火) 19:23:41.36

>>61
結構苦労されてるみたいですね…
個人的に処理速度より精度を気にしてるので期待しています（特に輪郭線）

2016/06/02(木) 10:13:34.24

今日のGoogleは影絵作家の生誕記念バージョンになっているけれど、新バージョンは影絵とかも不得意かもと思ったところでひとつ気になったことがあったので調べてみた。

・Convolutional Neural Networkとは何なのか
http://qiita.com/icoxfog417/items/5fd55fad152231d706c2

気になったのは
「CNNの進化
年が経るにつれ精度が上がってきているCNNですが、近年の構成では以下のような特徴がみられます。
フィルタを小さくし、階層を深くする
PoolingやFCのレイヤをなくす
以下の図では、年々精度が上がるにつれレイヤが深くなっているのがわかります。」
の部分。

つまり、フィルターというか参照範囲そのものを増やすよりもレイヤー(考え得るパターンの分岐？)を深く(＝パターンを増やす)するほうが得策っぽい件なのだが、
そうであるならば、参照範囲は現行程度に留めて、フィルターの形を複数用意してそれぞれの絵柄に応じて一番しっくりくるフィルターの情報を基に畳みこみした方が
いいんではなかろうかとふと思ったのですが、ダメですかね？

フィルターをあらかじめ、正方形、長方形、△(向き四方向各々)菱形、8角形、とか用意しておいて、全部実行して一番いいのを選択。

TTLモードで回転による8パターンをやる時間があるならば、この方がいい結果が出るような気もするんですが。

2016/06/02(木) 10:30:41.45

すでにやっている人はいたようです。

・Deep Learning Advent Calendar 2015
http://vaaaaaanquish.hatenablog.com/entry/2015/12/25/005523
「sliding windowのスケールの違いによって入力も違うため, 誤認識が発生するという問題もありました.
そこで, Exhaustive Searchのスケールによる誤認識を減らすための画像処理手法や計算量を減らす手法*4, 物体検出に対して効率的な手法*5が出てきたり,
CNN以外でもsliding windowの欠点を補うようなRandom Forest的手法*6が出てきたりしました.」

で、さらにDeep Q-Network(DQN)などというものも出ているようで(名前がなw)
深い・・・

2016/06/02(木) 10:37:26.83

もう悪くなりそうなパターンを調べてそういうパターンを自動生成して学習データに加えることで無理やり対応した
例: http://ccsaku.moe.hm/gyazo/data/0b76b99850d7cc5eac0e4857da451890.png
こういうパターンを良くするのと引き換えにイラストの平均的なスコアは少し下がると思うけど
最悪な場合のスコアはかなり上がっているはずなのでいいやろという感じ

イラスト90枚のセットで，縮小に平均画素法を使ったときの平均PSNRが
既存: 36.74, 新: 37.07
縮小にLanczosを使った時が
既存: 36.76, 新: 37.25
で平均も既存よりは良くなっている
処理速度も2.4倍くらい速い
対応方法はこれでいいと思うので，
あとちょっと調節するのとノイズ除去付きも試してみてよければ追加で
ウェブの方は新モデルで置き換えることはほぼ決まりです

2016/06/02(木) 10:53:32.12

>>74
レイヤというのはwaifu2xでいうと畳み込み+ReLUを行うの回数のことで
>フィルタを小さくし、階層を深くする
これはVGG Netなどの3x3畳み込みを何度も繰り返すネットワークで
waifu2xは元からこれをベースにしています．
また1x1畳み込み以外だとレイヤを増やすと参照範囲も広がります．
フィルタの型は係数によって変わると考えていいと思うのでこれも最適化されているはず

2016/06/02(木) 10:56:14.63

>>76
お疲れ様です。
悪いパターンを自動生成して学習ですか。
それはよさそうですね。
確かにこういうコントラスト比の高く境界面の差が大きい画像を集中的に取り込んでおくのはいいと思います。
(そういう意味では影絵もいいのか？)
期待しております。

2016/06/02(木) 11:00:59.96

>>77
入れ違った・・・
解説ありがとうございます。

＞レイヤというのはwaifu2xでいうと畳み込み+ReLUを行うの回数
ということは、演算回数を利用者が任意に変更できるようになると、
・回数を減らして時間短縮(精度は落ちる)
・回数を増やして精度向上(時間はかかるが、1日でも2日でもバッチコーイならば・・・)
とかできるといいかもしれないなと思いました。

＞フィルタの型は係数によって変わると考えていいと思うのでこれも最適化されているはず
それは素晴らしい。

結果を楽しみにしておきます。

2016/06/02(木) 20:21:59.49

>>76
おお！
お疲れ様です
上で出てたアニメの輪郭線などは改善されそうですか？

2016/06/02(木) 23:11:39.30

今の感じだとアニメは拡大後の理想される線の質がイラストと違うので
イラストで学習しているとダメだと思います
写真モデルを使えば無難な結果になると思うけど

2016/06/03(金) 07:56:07.56

やっぱり輪郭線は直らないのか…
そこ期待してたのにだけにちょっと残念だ

2016/06/03(金) 08:07:32.57

写真モデルで試してと書かれていると思いますが…
写真モデル+TTL+新バージョンの組合せで、どれだけ改善されるか次第かと。

2016/06/04(土) 10:43:26.24

本家、もしかしてもう新バージョンに変わった？

2016/06/05(日) 00:04:39.84

いいえ

2016/06/06(月) 21:11:13.67

モノクロ写真をアップすると……？　「人工知能で白黒写真をカラーに」を試せるWebサービス
ディープラーニングを応用し、白黒写真を自然な色味に彩色する手法をブラウザ上で実行できるWebサービスが公開された。
http://www.itmedia.co.jp/news/articles/1606/06/news131.html

2016/06/07(火) 01:06:02.01

>>86
へー、これもローカルで動くやつ誰か作らないかな（他力本願

2016/06/07(火) 09:35:28.02

>>86
学習データが偏っているんだろうけど、黄色あたりが不自然なんだよな、これ。
もっと学習データ増やさないと。
ディープラーニング関係の資料を見ていて思うのは、学習データがキモであるにも関わらず、学習するのに時間がかかるせいか妙に学習データの数が少ないなと思うケースがしばしばあるように思う。
ある程度の正確性を求めたければ少なくとも10000以上は学習しないと話にならないのに。

2016/06/07(火) 10:08:31.94

例えばこういう植物とかは緑になる
https://sociorocketnews.files.wordpress.com/2013/11/24142124124.jpg
http://blog-imgs-57.fc2.com/c/h/a/chariome/20131112223957f20.jpg
http://www.fmsaga.co.jp/blog/uploads/NCM_2635.JPG
http://www.fmsaga.co.jp/blog/uploads/NCM_2636.JPG

2016/06/07(火) 15:34:59.10

ぼっさん

2016/06/11(土) 15:38:17.09

いよいよ作者氏が本気出す時が来たようだ。
https://twitter.com/ultraistter/status/741488649884164096?lang=ja

ところで、GTX 1080 1枚 VS RX480 2枚で話題になった例の件、waifu2xの場合はやはりGTX 1080 1枚のほうがいいんだよね？

2016/06/11(土) 19:45:42.62

新モデル+GTX 1080だと640x480->1024x768のノイズ除去+2xが560msくらいでできています
あとGPUの違いなのかcuDNN v5+CUDA 8.0か分からないけど
以前試したら異常に遅かったWinogradという3x3畳み込みを速くするアルゴリズムが
速くなってて，現verも950msくらいで処理できています．
（以前は，新モデルのほうが3倍くらい速かったので差がかなり縮んだ）
AWS EC2のGPU+現verだと3700msくらいで，このGPUはGTX 760と同じくらいの性能です．

2016/06/11(土) 19:59:19.46

>640x480->1024x768
640x480->1280x960に訂正

2016/06/11(土) 20:27:45.11

ベンチマークというか単純に自PCのショボさを比較したいのですが
皆で共通に使える適当な画像(画像群)ってどこかにあったりしますか？

R18にならない程度の２次で（ココ重要

2016/06/11(土) 20:45:50.92

>>92
お疲れ様です。
GTX 1080導入、おめでとうございます。
アルゴリズムによって速度が変わるとのことですが、画質が変わったりはしないのでしょうか？
遅いけど高画質なアルゴリズムとかあるのかなと。
あと、二段階超解像ってできないかなと思ったりしてるのですが。
つまり、
1回目：今まで通りの超解像による拡大
2回目：1回目でできた拡大画像と元の画像を比較して、再度超解像効果を手直し
みたいな。
元画像と拡大画像を見比べて、「もっとここ手直しできる」というところを再調整とでもいうのか。
この2回目だけの処理だけ活用すると、元画像を拡大せずに解像感や輪郭まわりの再現性向上にも使えますだとなおうれしいんですが。

2016/06/11(土) 21:06:09.55

>>94
速度についてなら画像のサイズとチャンネル数(RGBか透過を持っているか)だけ合わせれば
画像の内容はほとんど関係ないと思います
>>95
変わりません
やりません
ただすごく変になった時/ところを検出できると便利とは思います

2016/06/11(土) 21:22:18.30

>>96
アルゴリズムによる画質の変化はないんですね。
すごく変になったところを検出→フィードバック→再調整
ができればいいですね。

94 (ﾜｯﾁｮｲ 839d-7xHu) · 2016/06/11(土) 22:26:00.73

>>96
なるほど、てっきり線が多様でノイズの多い複雑だけど低画質なものが
加速度的に必要時間が増えていくものだと思ってました

開発、陰ながら応援しています

2016/06/11(土) 23:05:53.70

560msって早すぎやろ！
waifu2xで動画エンコしてるけどかなり短縮されそうでワクワクだわ
俺もPascal買おうかなぁ

2016/06/12(日) 11:32:13.03

新モデルが待ち遠しいな…
完成までまだ時間掛かりそうですか？

2016/06/12(日) 12:56:41.65

ノイズ除去付き拡大もうまくいっているので
たぶんもう学習処理回すだけです
イラストは明日には全部学習終わります
あと写真、Yモデルの再学習に4日つづくくらいかかる
ちなみに現在のモデルも使えるようにしているので追加という形になります
ウェブ版はGPUメモリの関係で全部のモデル読めないので置き換えますが
ベンチマーク的には結構スコアが上がっているけど
パッと見でわかるほどの違いはないと思います

2016/06/12(日) 13:07:19.18

>>101
思ったより完成が早いですね、お疲れ様です！
新バージョンは処理は早いけど精度（輪郭線や境界線等）はあまり変わらないということでしょうか？

2016/06/12(日) 13:19:55.61

ノイズ除去がYからRGBになったときはサンプルの画像挙げて変化を説明してたはず
画像出さずにPSNRの数値だけ出すのは人間の目から見てそう変化がないからだろう多分

2016/06/12(日) 13:25:17.47

サンプル出してたの別の人だったかも、うろ覚え（汗

2016/06/12(日) 14:42:39.03

>>103
2枚重ねてみると、ところどころ違いがあるは分かりますけど
黙って置き換えても誰も気づかないのではないかという不安はあります
なんとなく違和感が減った気はするけどプラシーボかもしれない
PSNR的には結構良くなっているので、よくなっているのは確かだと思いますが説得力はないです
明日か明後日くらいにウェブの方イラストだけ置き換えようと思うので
気になる画像を持っている方はそのときに試してみてください

2016/06/12(日) 15:47:23.38

やっぱ置き換えではなくてお試し用サーバー1台用意します。
もともと今のウェブ版はそういうものだけど、
もう普通のウェブサービスになってしまっていて置き換えるのに勇気がいるので。
それならTTAも使えるようにできます。（遅いのは仕方がないねということで）

2016/06/12(日) 16:01:03.81

>>105
写真モデルを用いても>>39のような輪郭線を綺麗にするのは難しいでしょうか？

2016/06/12(日) 17:23:59.21

>>101
いよいよですね。
期待してます。
>>106
サーバーを別途確保されるんですか？
…
お試し機能以外、サーバーでのサービスは、そろそろ有料化されたほうがいいんじゃないでしょうか？
ネットサービスは無料が当たり前という風潮がいまだにありますが、当たり前じゃないんだということを理解させることも大事だと思います。
(お試し機能も1人が専有し続けないような制限を設けたほうがいいと思います。)

別件で、かねてからの「溶ける」件、対処療法ではあるのですが、対策になりそうな方法を発見しました。
1週間ほど時間が取れないので、それ以降に検証してみる予定です。

2016/06/13(月) 00:47:21.31

>>107
元画像があれば見ておきますが。
写真はまだやっていないので分からないですが
イラストはそれほど変わっていないのであまり期待できないと思います。
ちなみにこれはイラストでノイズ除去2してますよね...?

2016/06/13(月) 01:59:20.36

>>109
>>39の画像上げた者です
画像のは704*396→1920*1080に拡大ノイズ除去2したものです
残念ながら今は元画像がないです…

2016/06/13(月) 18:17:31.84

http://waifu2x-dev.udp.jp/
で新モデル試せるようにしています
拡大とノイズ除去+拡大が変わっています．ノイズ除去のみは同じです．
自分で見た感じだと，拡大はそれほど違いはないし問題もないように思うけど
ノイズ除去が入ると，強弱が以前よりはっきり出ていて
いい時はいいけど，ノイズが強い時に線の太さが不安定になっているように思います．
なにか思うことがあれば書いていただくと対応できるかもしれません．
ベンチマーク結果は
https://github.com/nagadomi/waifu2x/blob/upconv/appendix/vgg_7_vs_upconv_7_art.md
にあります．ベンチマーク的には全部良くなっています．

2016/06/13(月) 18:21:32.55

やっぱりYUV 420のJPEGでやったほうがいいのかなと思い始めました．
現実のJPEGはほとんどがYUV 420で学習時にYUV 444しか見ていないので．
今は色が変わるのでやっていないのですが，選択できるようにするかもしれません．

2016/06/14(火) 02:01:47.66

新バージョン、凄く速度が上がってますね
でも、輪郭線は正直微妙かなぁ
良くなってるところもあるけど、悪くなってるところも結構あったりする
こればっかりはしょうがないですね

2016/06/14(火) 02:19:04.81

あ、間違えて旧版の写真モデルと比較してた
イラスト同士で見比べてみたけど、違いが全然わからんｗ
ただ、処理速度は格段に早くなってる

2016/06/14(火) 10:39:33.36

YUV420/YUV444半分づつで学習したら
入力YUV444時のスコアほとんど下げずに
入力YUV420時のスコアがっつり上げれる感じだったので
もうノイズ除去もこれに置き換えようと思います．
もともとJPEGの色のノイズ等も消しているし，色以前に細部が消えたりしているので
色がちょっと変わるリスクなんていまさらだよね...?
平均的には良くなるし，いくらか試すと線の境界などで色が濁ってるが結構直ってる．

2016/06/14(火) 11:21:07.53

>>111
お疲れ様です。
早速試させていただきました。
イラストモデルのみではありますが試したところ、以前に比べて少し溶けにくくはなったような気もします(特に4倍以上にした場合)
なお、>>108にて書いた対処療法をすこし時間があったのでやってみました。
(結果は下記にてダウンロード可。明日の23時59分までの限定です。解説はテキストファイルに書いてあります。)
http://www1.axfc.net/u/3679593
写真モデルでやるとどうなるか、あるいはもうすこし小細工するかも含めて検討中です。

>>112
YUV 420モデル(イラスト・写真それぞれ)があれば、一種の色超解像的効果が期待できるので、圧縮画像には特に効用が見込めると思います。
期待しております。

2016/06/14(火) 12:09:55.28

>>116の画像を若干手直ししました。
http://www1.axfc.net/u/3679606
この方がいいかも。

2016/06/14(火) 12:26:29.32

あらかじめNNEDI3で拡大する前に、GIMPでアンシャープマスクを+0.10程度かけておいてからNNEDI3で拡大→縮小→waifu2x→再度GIMPにてコントラストとアンシャープで微調整のほうが細部の情報が残りやすいみたい。
アップする時間がなくなったので今日はここまで。

2016/06/14(火) 18:07:05.51

移動中に報告
NNEDI3を使って、圧縮画像によく見受けられる輪郭周りのノイズを除去して溶ける症状を抑える件、もっと手間を少なくかつNNEDI3を使うことによる副作用である
ボケる点を克服できそうな方法を見つけたかも。
古いソフトウェアなのだが「ノイズクリーナー2」というソフトをカスタマイズ設定にして極々微量のノイズ除去を行ってからwaifu2xで拡大するといくぶん溶けにくい。
ただし、設定の落としどころが難しい。

2016/06/14(火) 22:53:23.00

imagemagickのコマンド、7になってから変わったの今初めて気づいた...