【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net

2016/05/10(火) 11:28:05.20

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
※リンクがNGワードに！

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2016/06/13(月) 01:59:20.36

>>109
>>39の画像上げた者です
画像のは704*396→1920*1080に拡大ノイズ除去2したものです
残念ながら今は元画像がないです…

2016/06/13(月) 18:17:31.84

http://waifu2x-dev.udp.jp/
で新モデル試せるようにしています
拡大とノイズ除去+拡大が変わっています．ノイズ除去のみは同じです．
自分で見た感じだと，拡大はそれほど違いはないし問題もないように思うけど
ノイズ除去が入ると，強弱が以前よりはっきり出ていて
いい時はいいけど，ノイズが強い時に線の太さが不安定になっているように思います．
なにか思うことがあれば書いていただくと対応できるかもしれません．
ベンチマーク結果は
https://github.com/nagadomi/waifu2x/blob/upconv/appendix/vgg_7_vs_upconv_7_art.md
にあります．ベンチマーク的には全部良くなっています．

2016/06/13(月) 18:21:32.55

やっぱりYUV 420のJPEGでやったほうがいいのかなと思い始めました．
現実のJPEGはほとんどがYUV 420で学習時にYUV 444しか見ていないので．
今は色が変わるのでやっていないのですが，選択できるようにするかもしれません．

2016/06/14(火) 02:01:47.66

新バージョン、凄く速度が上がってますね
でも、輪郭線は正直微妙かなぁ
良くなってるところもあるけど、悪くなってるところも結構あったりする
こればっかりはしょうがないですね

2016/06/14(火) 02:19:04.81

あ、間違えて旧版の写真モデルと比較してた
イラスト同士で見比べてみたけど、違いが全然わからんｗ
ただ、処理速度は格段に早くなってる

2016/06/14(火) 10:39:33.36

YUV420/YUV444半分づつで学習したら
入力YUV444時のスコアほとんど下げずに
入力YUV420時のスコアがっつり上げれる感じだったので
もうノイズ除去もこれに置き換えようと思います．
もともとJPEGの色のノイズ等も消しているし，色以前に細部が消えたりしているので
色がちょっと変わるリスクなんていまさらだよね...?
平均的には良くなるし，いくらか試すと線の境界などで色が濁ってるが結構直ってる．

2016/06/14(火) 11:21:07.53

>>111
お疲れ様です。
早速試させていただきました。
イラストモデルのみではありますが試したところ、以前に比べて少し溶けにくくはなったような気もします(特に4倍以上にした場合)
なお、>>108にて書いた対処療法をすこし時間があったのでやってみました。
(結果は下記にてダウンロード可。明日の23時59分までの限定です。解説はテキストファイルに書いてあります。)
http://www1.axfc.net/u/3679593
写真モデルでやるとどうなるか、あるいはもうすこし小細工するかも含めて検討中です。

>>112
YUV 420モデル(イラスト・写真それぞれ)があれば、一種の色超解像的効果が期待できるので、圧縮画像には特に効用が見込めると思います。
期待しております。

2016/06/14(火) 12:09:55.28

>>116の画像を若干手直ししました。
http://www1.axfc.net/u/3679606
この方がいいかも。

2016/06/14(火) 12:26:29.32

あらかじめNNEDI3で拡大する前に、GIMPでアンシャープマスクを+0.10程度かけておいてからNNEDI3で拡大→縮小→waifu2x→再度GIMPにてコントラストとアンシャープで微調整のほうが細部の情報が残りやすいみたい。
アップする時間がなくなったので今日はここまで。

2016/06/14(火) 18:07:05.51

移動中に報告
NNEDI3を使って、圧縮画像によく見受けられる輪郭周りのノイズを除去して溶ける症状を抑える件、もっと手間を少なくかつNNEDI3を使うことによる副作用である
ボケる点を克服できそうな方法を見つけたかも。
古いソフトウェアなのだが「ノイズクリーナー2」というソフトをカスタマイズ設定にして極々微量のノイズ除去を行ってからwaifu2xで拡大するといくぶん溶けにくい。
ただし、設定の落としどころが難しい。

2016/06/14(火) 22:53:23.00

imagemagickのコマンド、7になってから変わったの今初めて気づいた...

2016/06/15(水) 01:45:09.31

アンシャープマスクよりボケずに済む方法を試してみました。
(テキストファイルに開設あり)
http://www1.axfc.net/u/3679934

寝ます

2016/06/15(水) 12:07:14.79

NNIDI3による前処理などいろいろ試した結果、

1．waifu2xは拡大する前に輪郭に作用しやすいノイズフィルターをあらかじめ適用しておくと、拡大した画像が溶けにくい。
2．NNEDI3は輪郭線に強く作用するフィルターのため、縮小後の画像にもその作用が強く残り、結果として輪郭ノイズ低減フィルターのような作用をもたらしている。
3．ただし、NNEDI3は面などの細かい情報もそぎ落としてしまいやすく、全体的にボケやすいため、そのままでは使いにくい。
4．面部分には作用せず、輪郭にのみ作用するフィルターがあれば理想的。waifu2xのノイズ除去(中)も試してみたが、waifu2xのノイズ除去は中でも強すぎるためこれも使いにくい。
(元画像とwaifu2xでノイズ除去した画像を合成してノイズ除去の強度を調整することはできるかもしれないが、合成度合をコントロールしながら合成できるような都合のいいソフトがあるのかどうか・・・)

もうあとは、この輪郭のノイズを制圧できさえすれば完成すると思われるだけに、何かいい方法があればと思うのだけど。

2016/06/15(水) 12:46:21.17

単純にTotalVariationで分離してから掛けろよ

2016/06/15(水) 14:57:07.20

>>123
これのこと？
http://convexbrain.osdn.jp/cgi-bin/wifky.pl?p=TV-Denoising
ものすごく画像が甘くなってるんだが・・・
waifu2xの比じゃないよ、これ。

2016/06/15(水) 15:01:46.27

俺はエッジレベル調整使ってる

2016/06/15(水) 15:25:03.46

>>125
エッジレベル調整は輪郭のコントラストを無理やり強調しているだけだから、ノイズそのものは残っている状態なわけで、根本的な解決にならないかと。
こんなんだし。
http://aviutl.info/sharp/

2016/06/15(水) 16:31:22.20

アニメの輪郭線に入っているノイズがイラストでは見ないパターンでうまくいかないので
そのあたりをイラストっぽい方に寄せることができればマシになるということだと思います．

古いアニメにある輪郭線まわりのノイズがソフトウェアで再現できるなら対応もできるのですが
どこで入ってくる何のノイズなんでしょうか．

2016/06/15(水) 17:00:29.10

>>127
たぶん圧縮画像特有のノイズだと思います。
圧縮画像は目につきにくい暗い部分の階調表現を大胆に間引いてしまいがちですので(攻殻機動隊のエンコードを担当した人が、かつてDVDの時代にとても苦労されていることを語られていましたし)、
暗部の多い圧縮画像を集中的にとりこんでモデルデータを作られるといいのかもしれません。
あるいは暗部の多い圧縮画像の割合の多いモデルデータを暗部ノイズ対策専用の前処理専用モデルとして用意して、事前に弱く(ここ重要!!)適用できるようにされるといいかもしれません。
ついでに現行のノイズ除去の強度ももっと弱いタイプを二段階ほど(最弱は中の1/3以下の強度！)用意して頂きたいとも思います。
(モデルデータを変えずに参照範囲を狭めるとかでの対応でも結構ですので)

2016/06/15(水) 17:20:59.49

>>128
圧縮画像というのは具合的にどんな圧縮なんでしょうか．
TV用の当時のエンコーダがあってその癖なんでしょうか．
現在のJPEGノイズ除去の弱いバージョンはすぐ作れますが
動画を対象とするなら，動画用のエンコーダを使って
正しいデータセットを作るほうがいいと考えています．
ソフトウェアで再現が難しいなら，HDリマスタとその前のバージョンDVD?を買ってきて
フレームの位置合わせができるなら，そこから変換の対応関係を作るでもいいと思っています．
エンコの設定？とかできるならそれが一番いいですが．

2016/06/15(水) 17:48:43.36

今考えている動画の対応は，
- イラストに窓をつけて適当な速度で平行移動・回転したりをフレームとして切り出す
- 動画にエンコ（同時に1/2に縮小）
- エンコ後からまたフレームに分割して元画像への変換を学習する
ということです．
変換先がイラストになるのでアニメとはちょっと違う質感になるかもしれませんが
アニメの"元画像"って手に入らないと思うのと，
これだと作るのは簡単なので妥協点としていいのではと思っています．
他にはMMDから動画を作るとかですけど，これもシェーダーのクセを再現してしまうと思うので
たぶんイラストのほうがバリエーションが多くてよいです．

今すぐにやるという話ではなく，今やっている対応が終ったら
いまのところCNN超解像として改良できる部分はすべて終わるので
動画について色々言われるならそこでもやろうかなというレベルの話ですが．

2016/06/15(水) 18:09:19.82

>>130
何のこっちゃよくわかりませんが、凄く期待してます

2016/06/15(水) 18:10:55.45

圧縮画像のノイズの件、夜になりますがコメントします。
(今時間がないので)

2016/06/15(水) 22:19:16.48

いわゆるHDリマスターは解像度やエンコードだけでなく映像自体も違うことがあるから
比較対象としてはBDとDVDが同時発売のものじゃないかな
海外版との比較だと同解像度のビットレート違いなんてのもあるかも

アニメと一口に言っても輪郭の特徴がそんなに多くの作品に共通してるかは疑問だけど

2016/06/16(木) 02:12:13.44

やっと帰宅できた・・
すみません、気力が持たないので昼以降に改めてコメントします。
限界

2016/06/16(木) 04:06:54.85

体壊さない程度にがんばってくれ

2016/06/16(木) 17:17:40.41

今日初めて写真の拡大に利用させてもらいましたが凄い技術ですね。
応援しています！頑張ってください！

2016/06/16(木) 18:24:55.57

>>129
昨日疲れすぎてコメントできなかった圧縮ノイズについてですがコメントしておきます。
まず下記サイトを参照ください。
http://www.asahi-net.or.jp/~ax2s-kmtn/ref/jpeg.html

このサイトの一番下部の画像を見るとわかりやすいかと思いますが、建物の輪郭周りに本来であれば存在しない種々のノイズがまとわりついているのがお分かりいただけると思いますが、
こういったノイズが輪郭周りに細かくまとわりついている画像をwaifu2xにて拡大すると、輪郭などが溶けやすくなっています。
NNEID3によってあらかじめこのような輪郭にまとわりつきやすいノイズを滑らかにしておくと、waifu2xにて拡大時に溶けにくくなっているのは先日実証した通りです。

このため、もしこのようなノイズ専用の対策フィルターを作るのであれば、JPEGなどの非可逆圧縮をしていない画像を複数用意し、その画像をJPEGにて高圧縮し、わざと輪郭などにノイズが出ている画像(画像サイズは等倍でよい)を作成し、
圧縮前と圧縮後の画像をディープラーニングによって学習させれば、圧縮ノイズ対策にはなるでしょうけれど、それは結局現行のノイズ除去と考えとしてはそう大差ないかなとも思います。

とするならば、やはり前回にお伝えした通り、今よりもっとノイズ除去強度の弱いフィルターをまずは用意すること、そしてその先の展開としては、その弱いフィルターを輪郭と認識される部分のみに適用できるようなオプションを用意できればなお良いかと思います。
(オプションを有効にすると輪郭のみに適用、無効にすると画像全体に適用、ノイズ除去強度は、「最弱(中の1/3か1/4程度の強度)、弱(中の1/2程度の強度)、中、強、最強」の5段階あたり？)
輪郭の認識手法については、AviUtlなどのフィルターである「エッジレベル調整MT」の輪郭検出手法あたりでよいのかなと思います。

2016/06/16(木) 18:25:35.35

続き
エッジレベル調整MTの参考
http://aviutl.info/sharp/
http://aviutl.info/wp-content/uploads/20160220-020557-553.jpg

あるいは別の考え方としてですが、NNEDI3の輪郭に作用する部分だけをインスパイアした輪郭ノイズ除去フィルターを作れるならば作ってほしいという考え方もありますが・・・
参考
https://github.com/MaverickTse/AviUtlInstaller/blob/master/deinterlace_plugin/nnedi3/jp/nnedi3.txt
(それが可能であるならば、AviUtlを通さずに済むため、RGB→YUV→RGBの変換ロスを気にしなくて済むのと、16bit画像なども直接扱えるようになるので大変ありがたいのですが)

昨日お話ししていた圧縮画像の暗部の階調情報の大幅な簡略化をわかりやすく示す画像が探した範囲でなかったのですが、これは大面積部については通常のwaifu2xのノイズ除去でも対応できる範疇かと思いますので、ひとまず置いておきましょう。

ちなみに上記の件より、今のところ動画用に別途のノイズ対策(一つの画像に小さな窓を設定してスライドなど含む)は今のところしなくても大丈夫かと思います。
(動画の圧縮率の高い状況で輪郭周りに一番除去しにくいノイズがあるのはH.264で圧縮した画像ではありますが)

2016/06/16(木) 18:44:15.78

上記のことを書いてから気づいたのですが、ひょっとすると拡大前にGIMPの「選択的ガウスぼかし」を超絶的に最弱で適用してから拡大すればいけるかも・・・

2016/06/16(木) 19:52:56.77

「選択的ガウスぼかし」でいけたかもしんまい・・・
試しにアップしてみた
http://www1.axfc.net/u/3680573

いや、この延長で行くならばバイラテラルフィルターを極微量適用のほうがよりダメージは少ないかも？

2016/06/16(木) 20:52:17.87

NL-MeansやBilateral等のエッジ保存ノイズフィルタをかけたのが骨格成分
それと原画との差分がテクスチャ成分で多くの種類のノイズ含む微小変化分
高性能に分離するのがTotal Variationフィルタ

骨格だけwaifu2xでテクスチャ成分はLanczos3で後で適量を合成すればいい
暗部はガンマ補正して暗部の輝度差を広げたのを処理して逆ガンマで戻して
通常ガンマの画像と合成
こんなんでどうだ？

2016/06/17(金) 10:45:07.16

YUV420 JPEGで学習すると線もきれいになった気がするので
JPEG画像についてはJPEGノイズの種類が適切でなかったのもあるかもしれないです．
印象も色の濁りが減って良くなったように思うんですが
それはつまり色が変わっていることなんですが...
来週くらいに-devのほうはYUV420対応に置き換えます．
現verのノイズ除去も同じ教師データで学習したものに置き換えようと考えています．
（拡大時だけノイズ除去のかかり方が違うと混乱を生むと思うので）

2016/06/17(金) 12:24:23.88

エッジ周りのノイズを取るのは，バイラテラルとは逆の重みだと思うんですけど"周り"だとそうなんでしょうか．
エッジ用の重みのマスクを作って合成するのが簡単じゃないかと思います．
自分としては，データセットを泥臭くいじったりはあっても
データを用意したあとは最適化問題としてやるのがいいと思っているのと
手でごちゃごちゃってもさまざまなパターン（さまざま例外を含む）を考えると
平均的な精度で機械学習に勝つことはできないと思っているので前処理や後処理をやる気はないです．
弱いノイズ除去は用意できます．

2016/06/17(金) 12:25:21.08

>>142
お疲れ様です。
420、やはり効果ありましたか。
となると、やはり元が非可逆圧縮している画像→420モデル、元が可逆圧縮か非圧縮画像(444の状態)であれば444モデルと選択できるといいのかもしれないですね。

こちらでも非線形フィルターなど含めいろいろテストしてみたのですが、ある程度のところまではいくものの、やはり根本的にはイラスト用モデルで試していることの限界もあり、これで文句なしというところまではいかなかったので。
420モデルの写真用が使えるようになるとおそらく前処理に関しては非線形フィルターでもなんとかなるかなとは思うのですが。
(もちろんwaifu2xのノイズ除去に最弱があればその方がいいと思いますが)

2016/06/17(金) 12:29:24.44

>>143
入れ違った。
私も合成するよりはディープラーニングの判断に任せる方がいいとおもいます。
最弱フィルター、お待ちしております。

2016/06/17(金) 12:34:06.52

人はエッジ周りが変になっていることに敏感なので
損失関数でエッジ周りの重みを上げるとかは全然いいのかなと思ったけど
もうやっているんですよね. .
そういうことも考えるともうほとんど手動調節やなという気もする

2016/06/17(金) 13:01:39.74

>>146
損失関数でエッヂ周りの重みをとはどういうことなんでしょうか？
私はとりあえずGIMPとAviUtlのフィルターを複数試している程度なので、上記の件がどのフィルターの作用なのかよくわからないですが(滝汗…)

いずれにしても、もう一息のところまでは来ているかなと思います。

2016/06/18(土) 12:14:20.27

caffeの作者さんにファイル名についてお願い、と言うか要望があるのですが、例えば元ファイル名が
　img.jpg
のものをRGBモデル、ノイズ除去レベル1、拡大倍率x2.000000、で処理した場合
　img(RGB)(noise_scale)(Level1)(x2.000000).png
のようになるかと思いますが、これを例えば
　img-RGB_nsLv1_x2.0.png
のようになるべく短いファイル名になるようにしたいのです
リネームソフトの手間もなくなりますし
簡潔に言うと、RGB・Photoなどのモデル、レベル、倍率にそれぞれ自分好みのネーム設定ができたらいいなと

2016/06/19(日) 12:44:00.16

それもまたきりのない話だな
そのうち小数点以下何桁までで丸め方のルールは～とか設定したくなるかもしれない

2016/06/19(日) 14:27:28.71

出力ファイル名を
{ORIGINAL_FILENAME}_{NOISE_LEVEL}_{SEQUENCE_NO;%06d}.png
みたいなフォーマットで指定できればいい話ではあると思うけど

2016/06/19(日) 18:26:21.66

下手な実装するとバッフオーバーフローの脆弱性持ちそうだな

2016/06/20(月) 01:51:15.15

各項目対象に文字数制限は必要ね

2016/06/20(月) 18:24:37.59

http://waifu2x-dev.udp.jp/ のノイズ除去をYUV420 JPEG対応に置き換えています。
試していないですが、ノイズ除去だけはソフト版にも持っていけると思います。
https://github.com/nagadomi/waifu2x/tree/upconv/models/vgg_7/art

2016/06/20(月) 19:50:44.69

>>153
お疲れ様です。
ノイズ除去更新、了解です。
ところでノイズ除去の最弱と弱は、まだ時間かかりそうでしょうか？

2016/06/20(月) 21:10:41.84

>>154
写真の学習を先にやっててこれが1週間くらいかかると思うのでその後になります

今ノイズレベル1〜3なので、0に追加しようと思っています。
ノイズ1でも対象とするJPEGの品質65〜85で確かに強いかなと思うので。
80〜95くらいのやつを入れます。

2016/06/20(月) 21:47:03.21

>>155
よろしくお願いします。

2016/06/24(金) 00:16:13.19

w2xcは対応してくれないのかな
caffeでエンコとかやったことないから困る

2016/06/24(金) 05:19:48.84

>>157
https://github.com/HomeOfVapourSynthEvolution/VapourSynth-Waifu2x-caffe

caffeでエンコードするこういうのもあるみたい。導入がちょっと面倒くさいが。

2016/06/26(日) 12:28:20.99

写真だとノイズ除去がイマイチなんで、waifuで拡大だけやって
Neat Imageでノイズ除去するという使い方させてもらってます
最新のV8は白ボケをどう直したらいいのか分からないので古いV7.6使ってる

2016/06/26(日) 21:25:04.12

ディープラーニングについて、NHK-Eテレにて今夜23時30分よりサイエンスZEROにて放送

2016/06/28(火) 23:31:12.36

サイトが見れない？

2016/06/29(水) 00:50:43.91

私もサイトが表示されないですね…。(´・ω・｀)

2016/06/29(水) 02:23:18.17

waifu2xって画像縮小できないの？

2016/06/29(水) 02:26:53.26

こーひーできるだろ

2016/06/29(水) 05:58:30.93

つかえないんやが

2016/06/29(水) 14:07:06.67

お、サイト繋がった！良かった

2016/06/29(水) 17:54:31.19

落ちてるぞ、ウチ32Bit環境やから困るわ

2016/06/29(水) 18:30:58.55

俺も繋がらない

2016/06/29(水) 22:10:41.75

NHK クロ現でノイズ除去やってる

2016/06/30(木) 12:16:44.06

ワイフ生き返った

2016/07/01(金) 02:09:40.55

超解像って単に拡大してシャープフィルタかけたのとは違うよね…？

2016/07/01(金) 09:40:15.03

全く違います

2016/07/01(金) 10:10:53.84

コンピュータが2種類の拡大結果を提案してユーザーがキレイだと思ったほうを選んでいく。その結果を蓄積してく。みたいにやったらだんだん画像はキレイになってくの？

2016/07/01(金) 10:29:17.86

>>171 >>173
「元画像」と「元画像にノイズを添加したもの」、もしくは「元画像」と「元画像を1/2に縮小したもの」に対し、
後者から前者を作成できるように機械学習させたのがwaifu2x

2016/07/01(金) 16:33:57.22

Neat Imageのコミュニティに入った
http://i.imgur.com/ZlmZtHz.jpg

2016/07/01(金) 16:58:14.36

>>174
その変換をどういうフィルタをかければよくできるかをデータから決めてる感じですね。
シャープ

2016/07/01(金) 16:59:01.87

>>174
その変換をどういうフィルタをかければよくできるかをデータから決めてる感じですね。
シャープすぎることがあるのは、1/2縮小時にボケることの副作用の気がしていて
もっとよい縮小アルゴリズムが求められている。
>Neat Image
写真はJPEGノイズよりもカメラの高感度ノイズのほうが一般向けに需要がありそうなんですよね。
自分も写真のデータセットを作るときにセンサに由来すると思われるノイズが取れなくて結局縮小してしまったし。

2016/07/01(金) 17:39:27.23

つい最近ソフトの存在を知ったのだが、作者は何者?

**175** (ﾜｲﾓﾏｰ MMcd-R7o+) · 2016/07/01(金) 17:41:57.50

>>177
アナログをスキャナで取り込む時も同じではないでしょうか
とりあえずサンプル貼っときますね、撮影は1989年頃
http://i.imgur.com/WIFzEKU.jpg
http://i.imgur.com/d65jMq4.jpg

2016/07/01(金) 19:59:48.62

これ比較する時って、補完無しで同率拡大した画像とで比べたほうが判りやすいよね多分

2016/07/01(金) 23:08:12.50

フル画面表示した時の画質の違いでおｋ

2016/07/02(土) 01:42:19.02

それだとドでかい画像の場合縮小表示しちゃうんじゃね

2016/07/02(土) 20:17:17.05

Olympus viewerの様なデジカメや一眼レフカメラに付属しているソフトとwaifu2x-caffeと比べたら細かい部分を拡大する時どちらが優れていますか？

2016/07/02(土) 20:28:02.40

市販のやつが一番

**183** (ｱｳｱｳ Sa6a-s3GQ) · 2016/07/02(土) 23:41:57.11

>>184
ありがとうございます。

2016/07/03(日) 23:32:02.98

waifu2x-caffe ver 1.1.4
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.1.4

upconvモデルに対応
変換に使用するGPUデバイスを指定できるようにした
コマンドライン版の出力ファイル名自動生成の規則をGUI版と揃えた
かなり中身を書き直した関係でメモリ不足対策が無効になった

2016/07/04(月) 00:53:04.84

1.1.4
今まで問題のなかった batch_size 指定で
waifu2x-caffe-cui.exe -b 4 -i kore.jpg
や
waifu2x-caffe-cui.exe --batch_size 4 -i kore.jpg
だとエラー吐いて失敗するようになった

waifu2x-caffe-cui.exe -b=4 -i kore.jpg
や
waifu2x-caffe-cui.exe --batch_size=4 -i kore.jpg
のように = で指定するとエラーにならず変換は問題ないっぽいけど
-c asdf だとusage表示、 -c=asdf や -b=qwer とかで変換は成功するので
= でつなぐと batch_size 指定が無視されてるだけ？

エラーメッセージは下のような感じ
Could not create log file: File exists
COULD NOT CREATE LOGFILE '20160704-004037.8712'!
F0704 00:40:37.079417 6000 math_functions.cpp:92] Check failed: error == cudaSuccess (11 vs. 0) invalid argument
*** Check failure stack trace: ***

2016/07/04(月) 10:40:14.99

好きな写真をいろんなタッチに自動で加工してくれる「deepart.io」
http://gigazine.net/news/20160703-deepart-io/

どんな写真が作れるのかは以下のページを見ると分かります。
Selected latest deeparts
https://deepart.io/latest/
http://i.gzn.jp/img/2016/07/03/deepart-io/snap.png

2016/07/04(月) 18:22:16.94

>>186
更新お疲れ様です
本家のdev版では写真のほうも追加されてますが
もしかしてそちらの更新も追加されているんでしょうか

2016/07/04(月) 23:32:53.22

>>186
upconvは文字の潰れが少なくて良いです

**186** (ﾜｯﾁｮｲ 3a39-xKxK) · 2016/07/04(月) 23:40:18.55

紛らわしいかもしれないけど自分は更新情報を書き込んでるだけで作者じゃないよ

2016/07/05(火) 00:02:07.39

waifu2x-caffe upconvの速度はどんな感じです？
caffeはDeconvolutionがcuDNN対応していないのと
cuDNNもforward algorithmの自動選択が微妙で
Torch版ほどの差は出ていないのではと思うので気になっています。

2016/07/05(火) 02:47:19.53

>>186
公開ありがとうございます
ver.1132までは問題なく使えておりましたが、今回verでは実行ボタンを押すと同時に落ちます
win7pro 64bitのノートでCPU動作です
対策あれば教えてください

以下エラーログです
Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
E0705 02:40:25.573511 5904 common.cpp:119] Cannot create Cublas handle. Cublas won't be available.
E0705 02:40:25.575511 5904 common.cpp:126] Cannot create Curand generator. Curand won't be available.

2016/07/05(火) 03:08:52.96

CUDAのライブラリがないと言っているので
CPU選択時にGPU使おうとしているのかな

2016/07/05(火) 23:56:36.64

caffe ver1.1.4で「?かなり中身を書き直した関係でメモリ不足対策が無効になった」ってあるけど
メモリ不足したらどうなんの？
他にも色々不安要素バリバリで更新しないほうがいいのかな

2016/07/07(木) 04:36:12.87

waifu2x-caffe ver 1.1.5
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.1.5

2016/07/07(木) 06:15:46.59

ver1132からver115へ
実行押して1秒ぐらいで終わるって
早すぎませんかね？
後、画質の差はわからないです
マジお疲れ様です

2016/07/07(木) 08:46:47.16

3DCGでIrayなどの物理レンダラーとかだと、ピクセル当たりの
サンプリンが少ないとノイズが残ります。

もしこれを学習させて綺麗に除去出来るなら、レンダリング
演算量の削減が出来るのでCG業界でも需要があるかも？

とりあえずDaz stuzio作成した、95%と100％でサンプリングした
画像を置いておきます。

http://fast-uploader.com/file/7023403027370/
http://fast-uploader.com/file/7023403077217/

waifu 2x でnoise_scale Level1 x2.0 イラスト実行
http://fast-uploader.com/file/7023403811009/

学習用サンプル画像も、無料で物理レンダラーが使えるdaz studio,
blenderなどでGPU使って作成出来るので、余裕が有ればmodelに
3dcgの低サンプリング画像の高画質化modelが欲しいです。

写真の低ISOノイズに近い物があるので、難しいかな？
ノイズ除去フィルタの領域になるか。

2016/07/07(木) 09:05:03.41

>>198
先日、ペアの教師データを用意すれば何でも学習できる機能(Universal filter!!)を入れたので
入力画像と理想的な出力画像のペアを用意できるなら試すことはできます。
githubで3DCGで解像度を変えたレンダリング結果を学習して拡大できないかという話がでているのと
自分もBlenderのCyclesレンダーを使っていて、これがサンプリングが少ないとめちゃくちゃノイズが出る上に
GPUを有効にしてもめちゃくちゃ遅くて困っているので試して見るかもしれません。
（ただ学習データ生成に使うレンダリングエンジンのくせに依存する気がする。
　レンダリングエンジンにあまり詳しくないので勘ですが）

写真の低ISOノイズ除去ができないのは、この現象が物理的なもので
コンピュータ上でシミュレートするのが難しく教師データが自動生成できないからで
データさえ用意できれば多分できます。

2016/07/07(木) 09:09:21.80

あと以前AMDのGPU使ってたので、AMDのGPUでも動くとより嬉しい。

AMD、GPGPU向けの取り組み「ボルツマンイニシアチブ」を発表。CUDAとの互換性も提供
http://srad.jp/story/15/11/18/0657225/

> Heterogenous Compute Compiler（HCC）と名付けられた新しいコンパイラはLLVM Clang
> ベースでC++11/14や/C11、OpenMP4.0、そしてC++17で採用予定のParallel STLに対応。
> 1つのコンパイラでCPUとGPUのどちらにも使える。そのためGPU用のカーネルを別のソースに
> 記述する必要はなく、ラムダ式でSTL互換のアルゴリズムに述語引数として渡せばよい。

> Heterogeneous-compute Interface for Portability（HIP）はHCCで利用できるCUDA風のAPI。
> HIPで書かれたソースコードはHCCだけでなく、ヘッダーファイルを加えることでNVIDIAのCUDA向けコンパイラであるNVCCでもコンパイル可能となる。
> 従来のCUDAコードをHIPコードに変換するためのツールも用意されており、これによってHSA環境はソースコードレベルでCUDAとの互換性を有することになる。

使ったことはないけど、CUDAコードをAMD環境用のバイナリにするコンパイラとヘッダが
公開されているので、リコンパイルだけでAMD対応も可能かも知れません。

2016/07/07(木) 10:46:32.57

caffeはopenclブランチをAMDの人がやってるみたいなので
そのうち対応するんじゃないかな

2016/07/07(木) 12:40:12.27

>>196
本家の写真、イラストの新バージョンに対応したの？

2016/07/07(木) 15:29:18.23

waifu2x-converter追随しちくりっ

2016/07/07(木) 17:12:02.28

193です
エラー対応ありがとうございました

CPU動作ですと1132とほとんど同じ処理時間でした
同じ画像で比較したら97秒が96秒になりました
GPU買うしかないですね

2016/07/07(木) 17:28:10.64

>>204
こちらでの結果と異なりますね。
UpRGBモデル使っていますか？

画像100枚平均処理時間 2倍拡大のみ CPU使用

caffe ver 1.1.5 RGB 22.43645秒
caffe ver 1.1.5 UpRGB 10.4412秒
w2xc ver 20160101 RGB 7.12312秒

2016/07/07(木) 19:28:52.61

>>205
ありがとうございます
UpRGBモデル使ってませんでした
ノイズ除去ありなしどちらも28秒切るところまで行きました
ほぼ同タイムで、ノイズ除去有の方がぱっと見てわかるすっきり具合でした
おかげさまでGPU購入をゆっくり検討できるようになりました

2016/07/07(木) 22:38:02.75

waifu2x-caffe 1.1.5 にて batch_size の件、対応ありがとうございます
batch_size は 2 と 4 と不正な指定しか試してなかったので 1 の場合は盲点でした

プライオリティを付けるなら超低めの一点要望です
cudnn_data の生成される場所をカレントディレクトリあるいは waifu2x-caffe-cui.exe の
ある場所だけでなく model_dir のように指定可能にできないでしょうか
指定可能の方が個人的には嬉しいのと、waifu2x-caffe-cui.exe のある場所固定(優先)
にすると Program Files の下に置いている人はどーなるんだ、
等という話もあるかと思うので指定可能を推したいです

関連は無いかと思いますが、エラーログの出力先も waifu2x-caffe-cui.exe のある場所に
固定されるとそれはそれで個人的にションボリなので
　エラーログの出力先は exe の場所固定
　cudnn_data の生成場所は exe の場所固定あるいは指定
というパターンになるのであれば、現状維持となる
　エラーログの出力先はカレント
　cudnn_data の生成場所はカレント
のままの方がエラー発生をエラーログの有り無しから掴みやすいので有り難いです

2016/07/07(木) 23:31:58.26

caffeいつの間にかCPUでも速くなってたんだな
俺の古いノートでもtanakamura版より速かった

2016/07/08(金) 00:21:26.70

caffeってAMD対応してないのか
Vega買う予定だからそれまでに対応してほしいな