X



【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net
レス数が1000を超えています。これ以上書き込みはできません。
0101名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/12(日) 12:56:41.65ID:KlXasCVu0
ノイズ除去付き拡大もうまくいっているので
たぶんもう学習処理回すだけです
イラストは明日には全部学習終わります
あと写真、Yモデルの再学習に4日つづくくらいかかる
ちなみに現在のモデルも使えるようにしているので追加という形になります
ウェブ版はGPUメモリの関係で全部のモデル読めないので置き換えますが
ベンチマーク的には結構スコアが上がっているけど
パッと見でわかるほどの違いはないと思います
0105名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/12(日) 14:42:39.03ID:KlXasCVu0
>>103
2枚重ねてみると、ところどころ違いがあるは分かりますけど
黙って置き換えても誰も気づかないのではないかという不安はあります
なんとなく違和感が減った気はするけどプラシーボかもしれない
PSNR的には結構良くなっているので、よくなっているのは確かだと思いますが説得力はないです
明日か明後日くらいにウェブの方イラストだけ置き換えようと思うので
気になる画像を持っている方はそのときに試してみてください
0106名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/12(日) 15:47:23.38ID:KlXasCVu0
やっぱ置き換えではなくてお試し用サーバー1台用意します。
もともと今のウェブ版はそういうものだけど、
もう普通のウェブサービスになってしまっていて置き換えるのに勇気がいるので。
それならTTAも使えるようにできます。(遅いのは仕方がないねということで)
0108名無しさん@お腹いっぱい。 (アウアウ Sab7-Hfww)
垢版 |
2016/06/12(日) 17:23:59.21ID:sb1XFNmOa
>>101
いよいよですね。
期待してます。
>>106
サーバーを別途確保されるんですか?

お試し機能以外、サーバーでのサービスは、そろそろ有料化されたほうがいいんじゃないでしょうか?
ネットサービスは無料が当たり前という風潮がいまだにありますが、当たり前じゃないんだということを理解させることも大事だと思います。
(お試し機能も1人が専有し続けないような制限を設けたほうがいいと思います。)

別件で、かねてからの「溶ける」件、対処療法ではあるのですが、対策になりそうな方法を発見しました。
1週間ほど時間が取れないので、それ以降に検証してみる予定です。
0109名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/13(月) 00:47:21.31ID:X831nMGS0
>>107
元画像があれば見ておきますが。
写真はまだやっていないので分からないですが
イラストはそれほど変わっていないのであまり期待できないと思います。
ちなみにこれはイラストでノイズ除去2してますよね...?
0111名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/13(月) 18:17:31.84ID:X831nMGS0
http://waifu2x-dev.udp.jp/
で新モデル試せるようにしています
拡大とノイズ除去+拡大が変わっています.ノイズ除去のみは同じです.
自分で見た感じだと,拡大はそれほど違いはないし問題もないように思うけど
ノイズ除去が入ると,強弱が以前よりはっきり出ていて
いい時はいいけど,ノイズが強い時に線の太さが不安定になっているように思います.
なにか思うことがあれば書いていただくと対応できるかもしれません.
ベンチマーク結果は
https://github.com/nagadomi/waifu2x/blob/upconv/appendix/vgg_7_vs_upconv_7_art.md
にあります.ベンチマーク的には全部良くなっています.
0112名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/13(月) 18:21:32.55ID:X831nMGS0
やっぱりYUV 420のJPEGでやったほうがいいのかなと思い始めました.
現実のJPEGはほとんどがYUV 420で学習時にYUV 444しか見ていないので.
今は色が変わるのでやっていないのですが,選択できるようにするかもしれません.
0113名無しさん@お腹いっぱい。 (スプー Sdcf-jNGR)
垢版 |
2016/06/14(火) 02:01:47.66ID:LX3lI3W3d
新バージョン、凄く速度が上がってますね
でも、輪郭線は正直微妙かなぁ
良くなってるところもあるけど、悪くなってるところも結構あったりする
こればっかりはしょうがないですね
0115名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/14(火) 10:39:33.36ID:FTpBbaqf0
YUV420/YUV444半分づつで学習したら
入力YUV444時のスコアほとんど下げずに
入力YUV420時のスコアがっつり上げれる感じだったので
もうノイズ除去もこれに置き換えようと思います.
もともとJPEGの色のノイズ等も消しているし,色以前に細部が消えたりしているので
色がちょっと変わるリスクなんていまさらだよね...?
平均的には良くなるし,いくらか試すと線の境界などで色が濁ってるが結構直ってる.
0116名無しさん@お腹いっぱい。 (アウアウ Sab7-wy7a)
垢版 |
2016/06/14(火) 11:21:07.53ID:cuCffqFAa
>>111
お疲れ様です。
早速試させていただきました。
イラストモデルのみではありますが試したところ、以前に比べて少し溶けにくくはなったような気もします(特に4倍以上にした場合)
なお、>>108にて書いた対処療法をすこし時間があったのでやってみました。
(結果は下記にてダウンロード可。明日の23時59分までの限定です。解説はテキストファイルに書いてあります。)
http://www1.axfc.net/u/3679593
写真モデルでやるとどうなるか、あるいはもうすこし小細工するかも含めて検討中です。

>>112
YUV 420モデル(イラスト・写真それぞれ)があれば、一種の色超解像的効果が期待できるので、圧縮画像には特に効用が見込めると思います。
期待しております。
0118名無しさん@お腹いっぱい。 (アウアウ Sab7-wy7a)
垢版 |
2016/06/14(火) 12:26:29.32ID:cuCffqFAa
あらかじめNNEDI3で拡大する前に、GIMPでアンシャープマスクを+0.10程度かけておいてからNNEDI3で拡大→縮小→waifu2x→再度GIMPにてコントラストとアンシャープで微調整のほうが細部の情報が残りやすいみたい。
アップする時間がなくなったので今日はここまで。
0119名無しさん@お腹いっぱい。 (アウアウ Sab7-wy7a)
垢版 |
2016/06/14(火) 18:07:05.51ID:cuCffqFAa
移動中に報告
NNEDI3を使って、圧縮画像によく見受けられる輪郭周りのノイズを除去して溶ける症状を抑える件、もっと手間を少なくかつNNEDI3を使うことによる副作用である
ボケる点を克服できそうな方法を見つけたかも。
古いソフトウェアなのだが「ノイズクリーナー2」というソフトをカスタマイズ設定にして極々微量のノイズ除去を行ってからwaifu2xで拡大するといくぶん溶けにくい。
ただし、設定の落としどころが難しい。
0122名無しさん@お腹いっぱい。 (アウアウ Sab7-wy7a)
垢版 |
2016/06/15(水) 12:07:14.79ID:6gcbBuvXa
NNIDI3による前処理などいろいろ試した結果、

1.waifu2xは拡大する前に輪郭に作用しやすいノイズフィルターをあらかじめ適用しておくと、拡大した画像が溶けにくい。
2.NNEDI3は輪郭線に強く作用するフィルターのため、縮小後の画像にもその作用が強く残り、結果として輪郭ノイズ低減フィルターのような作用をもたらしている。
3.ただし、NNEDI3は面などの細かい情報もそぎ落としてしまいやすく、全体的にボケやすいため、そのままでは使いにくい。
4.面部分には作用せず、輪郭にのみ作用するフィルターがあれば理想的。waifu2xのノイズ除去(中)も試してみたが、waifu2xのノイズ除去は中でも強すぎるためこれも使いにくい。
(元画像とwaifu2xでノイズ除去した画像を合成してノイズ除去の強度を調整することはできるかもしれないが、合成度合をコントロールしながら合成できるような都合のいいソフトがあるのかどうか・・・)

もうあとは、この輪郭のノイズを制圧できさえすれば完成すると思われるだけに、何かいい方法があればと思うのだけど。
0127名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/15(水) 16:31:22.20ID:JEuKL93L0
アニメの輪郭線に入っているノイズがイラストでは見ないパターンでうまくいかないので
そのあたりをイラストっぽい方に寄せることができればマシになるということだと思います.

古いアニメにある輪郭線まわりのノイズがソフトウェアで再現できるなら対応もできるのですが
どこで入ってくる何のノイズなんでしょうか.
0128名無しさん@お腹いっぱい。 (アウアウ Sab7-Hfww)
垢版 |
2016/06/15(水) 17:00:29.10ID:6gcbBuvXa
>>127
たぶん圧縮画像特有のノイズだと思います。
圧縮画像は目につきにくい暗い部分の階調表現を大胆に間引いてしまいがちですので(攻殻機動隊のエンコードを担当した人が、かつてDVDの時代にとても苦労されていることを語られていましたし)、
暗部の多い圧縮画像を集中的にとりこんでモデルデータを作られるといいのかもしれません。
あるいは暗部の多い圧縮画像の割合の多いモデルデータを暗部ノイズ対策専用の前処理専用モデルとして用意して、事前に弱く(ここ重要!!)適用できるようにされるといいかもしれません。
ついでに現行のノイズ除去の強度ももっと弱いタイプを二段階ほど(最弱は中の1/3以下の強度!)用意して頂きたいとも思います。
(モデルデータを変えずに参照範囲を狭めるとかでの対応でも結構ですので)
0129名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/15(水) 17:20:59.49ID:JEuKL93L0
>>128
圧縮画像というのは具合的にどんな圧縮なんでしょうか.
TV用の当時のエンコーダがあってその癖なんでしょうか.
現在のJPEGノイズ除去の弱いバージョンはすぐ作れますが
動画を対象とするなら,動画用のエンコーダを使って
正しいデータセットを作るほうがいいと考えています.
ソフトウェアで再現が難しいなら,HDリマスタとその前のバージョンDVD?を買ってきて
フレームの位置合わせができるなら,そこから変換の対応関係を作るでもいいと思っています.
エンコの設定?とかできるならそれが一番いいですが.
0130名無しさん@お腹いっぱい。 (ワッチョイ 1bd2-qOwk)
垢版 |
2016/06/15(水) 17:48:43.36ID:JEuKL93L0
今考えている動画の対応は,
- イラストに窓をつけて適当な速度で平行移動・回転したりをフレームとして切り出す
- 動画にエンコ(同時に1/2に縮小)
- エンコ後からまたフレームに分割して元画像への変換を学習する
ということです.
変換先がイラストになるのでアニメとはちょっと違う質感になるかもしれませんが
アニメの"元画像"って手に入らないと思うのと,
これだと作るのは簡単なので妥協点としていいのではと思っています.
他にはMMDから動画を作るとかですけど,これもシェーダーのクセを再現してしまうと思うので
たぶんイラストのほうがバリエーションが多くてよいです.

今すぐにやるという話ではなく,今やっている対応が終ったら
いまのところCNN超解像として改良できる部分はすべて終わるので
動画について色々言われるならそこでもやろうかなというレベルの話ですが.
0133名無しさん@お腹いっぱい。 (ワッチョイ ebd2-zRkg)
垢版 |
2016/06/15(水) 22:19:16.48ID:iLIvxjAw0
いわゆるHDリマスターは解像度やエンコードだけでなく映像自体も違うことがあるから
比較対象としてはBDとDVDが同時発売のものじゃないかな
海外版との比較だと同解像度のビットレート違いなんてのもあるかも

アニメと一口に言っても輪郭の特徴がそんなに多くの作品に共通してるかは疑問だけど
0137名無しさん@お腹いっぱい。 (アウアウ Sad9-1v19)
垢版 |
2016/06/16(木) 18:24:55.57ID:ipCAAVq1a
>>129
昨日疲れすぎてコメントできなかった圧縮ノイズについてですがコメントしておきます。
まず下記サイトを参照ください。
http://www.asahi-net.or.jp/~ax2s-kmtn/ref/jpeg.html

このサイトの一番下部の画像を見るとわかりやすいかと思いますが、建物の輪郭周りに本来であれば存在しない種々のノイズがまとわりついているのがお分かりいただけると思いますが、
こういったノイズが輪郭周りに細かくまとわりついている画像をwaifu2xにて拡大すると、輪郭などが溶けやすくなっています。
NNEID3によってあらかじめこのような輪郭にまとわりつきやすいノイズを滑らかにしておくと、waifu2xにて拡大時に溶けにくくなっているのは先日実証した通りです。

このため、もしこのようなノイズ専用の対策フィルターを作るのであれば、JPEGなどの非可逆圧縮をしていない画像を複数用意し、その画像をJPEGにて高圧縮し、わざと輪郭などにノイズが出ている画像(画像サイズは等倍でよい)を作成し、
圧縮前と圧縮後の画像をディープラーニングによって学習させれば、圧縮ノイズ対策にはなるでしょうけれど、それは結局現行のノイズ除去と考えとしてはそう大差ないかなとも思います。

とするならば、やはり前回にお伝えした通り、今よりもっとノイズ除去強度の弱いフィルターをまずは用意すること、そしてその先の展開としては、その弱いフィルターを輪郭と認識される部分のみに適用できるようなオプションを用意できればなお良いかと思います。
(オプションを有効にすると輪郭のみに適用、無効にすると画像全体に適用、ノイズ除去強度は、「最弱(中の1/3か1/4程度の強度)、弱(中の1/2程度の強度)、中、強、最強」の5段階あたり?)
輪郭の認識手法については、AviUtlなどのフィルターである「エッジレベル調整MT」の輪郭検出手法あたりでよいのかなと思います。
0138名無しさん@お腹いっぱい。 (アウアウ Sad9-1v19)
垢版 |
2016/06/16(木) 18:25:35.35ID:ipCAAVq1a
続き
エッジレベル調整MTの参考
http://aviutl.info/sharp/
http://aviutl.info/wp-content/uploads/20160220-020557-553.jpg

あるいは別の考え方としてですが、NNEDI3の輪郭に作用する部分だけをインスパイアした輪郭ノイズ除去フィルターを作れるならば作ってほしいという考え方もありますが・・・
参考
https://github.com/MaverickTse/AviUtlInstaller/blob/master/deinterlace_plugin/nnedi3/jp/nnedi3.txt
(それが可能であるならば、AviUtlを通さずに済むため、RGB→YUV→RGBの変換ロスを気にしなくて済むのと、16bit画像なども直接扱えるようになるので大変ありがたいのですが)

昨日お話ししていた圧縮画像の暗部の階調情報の大幅な簡略化をわかりやすく示す画像が探した範囲でなかったのですが、これは大面積部については通常のwaifu2xのノイズ除去でも対応できる範疇かと思いますので、ひとまず置いておきましょう。

ちなみに上記の件より、今のところ動画用に別途のノイズ対策(一つの画像に小さな窓を設定してスライドなど含む)は今のところしなくても大丈夫かと思います。
(動画の圧縮率の高い状況で輪郭周りに一番除去しにくいノイズがあるのはH.264で圧縮した画像ではありますが)
0141名無しさん@お腹いっぱい。 (ワッチョイ a66d-Wpqh)
垢版 |
2016/06/16(木) 20:52:17.87ID:zGfIcyp20
NL-MeansやBilateral等のエッジ保存ノイズフィルタをかけたのが骨格成分
それと原画との差分がテクスチャ成分で多くの種類のノイズ含む微小変化分
高性能に分離するのがTotal Variationフィルタ

骨格だけwaifu2xでテクスチャ成分はLanczos3で後で適量を合成すればいい
暗部はガンマ補正して暗部の輝度差を広げたのを処理して逆ガンマで戻して
通常ガンマの画像と合成
こんなんでどうだ?
0142名無しさん@お腹いっぱい。 (ワッチョイ f9d2-XvC/)
垢版 |
2016/06/17(金) 10:45:07.16ID:uiYIwWPv0
YUV420 JPEGで学習すると線もきれいになった気がするので
JPEG画像についてはJPEGノイズの種類が適切でなかったのもあるかもしれないです.
印象も色の濁りが減って良くなったように思うんですが
それはつまり色が変わっていることなんですが...
来週くらいに-devのほうはYUV420対応に置き換えます.
現verのノイズ除去も同じ教師データで学習したものに置き換えようと考えています.
(拡大時だけノイズ除去のかかり方が違うと混乱を生むと思うので)
0143名無しさん@お腹いっぱい。 (ワッチョイ f9d2-XvC/)
垢版 |
2016/06/17(金) 12:24:23.88ID:uiYIwWPv0
エッジ周りのノイズを取るのは, バイラテラルとは逆の重みだと思うんですけど"周り"だとそうなんでしょうか.
エッジ用の重みのマスクを作って合成するのが簡単じゃないかと思います.
自分としては,データセットを泥臭くいじったりはあっても
データを用意したあとは最適化問題としてやるのがいいと思っているのと
手でごちゃごちゃってもさまざまなパターン(さまざま例外を含む)を考えると
平均的な精度で機械学習に勝つことはできないと思っているので前処理や後処理をやる気はないです.
弱いノイズ除去は用意できます.
0144名無しさん@お腹いっぱい。 (アウアウ Sad9-1v19)
垢版 |
2016/06/17(金) 12:25:21.08ID:egwY+yyva
>>142
お疲れ様です。
420、やはり効果ありましたか。
となると、やはり元が非可逆圧縮している画像→420モデル、元が可逆圧縮か非圧縮画像(444の状態)であれば444モデルと選択できるといいのかもしれないですね。

こちらでも非線形フィルターなど含めいろいろテストしてみたのですが、ある程度のところまではいくものの、やはり根本的にはイラスト用モデルで試していることの限界もあり、これで文句なしというところまではいかなかったので。
420モデルの写真用が使えるようになるとおそらく前処理に関しては非線形フィルターでもなんとかなるかなとは思うのですが。
(もちろんwaifu2xのノイズ除去に最弱があればその方がいいと思いますが)
0146名無しさん@お腹いっぱい。 (ワッチョイ f9d2-XvC/)
垢版 |
2016/06/17(金) 12:34:06.52ID:uiYIwWPv0
人はエッジ周りが変になっていることに敏感なので
損失関数でエッジ周りの重みを上げるとかは全然いいのかなと思ったけど
もうやっているんですよね. .
そういうことも考えるともうほとんど手動調節やなという気もする
0147名無しさん@お腹いっぱい。 (アウアウ Sad9-BoQW)
垢版 |
2016/06/17(金) 13:01:39.74ID:egwY+yyva
>>146
損失関数でエッヂ周りの重みをとはどういうことなんでしょうか?
私はとりあえずGIMPとAviUtlのフィルターを複数試している程度なので、上記の件がどのフィルターの作用なのかよくわからないですが(滝汗…)

いずれにしても、もう一息のところまでは来ているかなと思います。
0148名無しさん@お腹いっぱい。 (ワッチョイ c699-7Pd6)
垢版 |
2016/06/18(土) 12:14:20.27ID:qBjQF52o0
caffeの作者さんにファイル名についてお願い、と言うか要望があるのですが、例えば元ファイル名が
 img.jpg
のものをRGBモデル、ノイズ除去レベル1、拡大倍率x2.000000、で処理した場合
 img(RGB)(noise_scale)(Level1)(x2.000000).png
のようになるかと思いますが、これを例えば
 img-RGB_nsLv1_x2.0.png
のようになるべく短いファイル名になるようにしたいのです
リネームソフトの手間もなくなりますし
簡潔に言うと、RGB・Photoなどのモデル、レベル、倍率にそれぞれ自分好みのネーム設定ができたらいいなと
0155名無しさん@お腹いっぱい。 (ワッチョイ f9d2-sZHE)
垢版 |
2016/06/20(月) 21:10:41.84ID:OxeSzmHe0
>>154
写真の学習を先にやっててこれが1週間くらいかかると思うのでその後になります

今ノイズレベル1〜3なので、0に追加しようと思っています。
ノイズ1でも対象とするJPEGの品質65〜85で確かに強いかなと思うので。
80〜95くらいのやつを入れます。
0159名無しさん@お腹いっぱい。 (ワイモマー MM57-jO4j)
垢版 |
2016/06/26(日) 12:28:20.99ID:qPmlSzrmM
写真だとノイズ除去がイマイチなんで、waifuで拡大だけやって
Neat Imageでノイズ除去するという使い方させてもらってます
最新のV8は白ボケをどう直したらいいのか分からないので古いV7.6使ってる
0161名無しさん@お腹いっぱい。 (ワッチョイ b7e2-jO4j)
垢版 |
2016/06/28(火) 23:31:12.36ID:YVu6qt8i0
サイトが見れない?
0163名無しさん@お腹いっぱい。 (ワッチョイ dbb7-o//t)
垢版 |
2016/06/29(水) 02:23:18.17ID:f5M/bR6F0
waifu2xって画像縮小できないの?
0177名無しさん@お腹いっぱい。 (ワッチョイ d5d2-PNsX)
垢版 |
2016/07/01(金) 16:59:01.87ID:u6NBrYfw0
>>174
その変換をどういうフィルタをかければよくできるかをデータから決めてる感じですね。
シャープすぎることがあるのは、1/2縮小時にボケることの副作用の気がしていて
もっとよい縮小アルゴリズムが求められている。
>Neat Image
写真はJPEGノイズよりもカメラの高感度ノイズのほうが一般向けに需要がありそうなんですよね。
自分も写真のデータセットを作るときにセンサに由来すると思われるノイズが取れなくて結局縮小してしまったし。
0181名無しさん@お腹いっぱい。 (ワイモマー MMcd-R7o+)
垢版 |
2016/07/01(金) 23:08:12.50ID:G/tSW9oqM
フル画面表示した時の画質の違いでおk
0187名無しさん@お腹いっぱい。 (ワッチョイ fc9d-R7o+)
垢版 |
2016/07/04(月) 00:53:04.84ID:16kM987e0
1.1.4
今まで問題のなかった batch_size 指定で
waifu2x-caffe-cui.exe -b 4 -i kore.jpg

waifu2x-caffe-cui.exe --batch_size 4 -i kore.jpg
だとエラー吐いて失敗するようになった

waifu2x-caffe-cui.exe -b=4 -i kore.jpg

waifu2x-caffe-cui.exe --batch_size=4 -i kore.jpg
のように = で指定するとエラーにならず変換は問題ないっぽいけど
-c asdf だとusage表示、 -c=asdf や -b=qwer とかで変換は成功するので
= でつなぐと batch_size 指定が無視されてるだけ?

エラーメッセージは下のような感じ
Could not create log file: File exists
COULD NOT CREATE LOGFILE '20160704-004037.8712'!
F0704 00:40:37.079417 6000 math_functions.cpp:92] Check failed: error == cudaSuccess (11 vs. 0) invalid argument
*** Check failure stack trace: ***
0191186 (ワッチョイ 3a39-xKxK)
垢版 |
2016/07/04(月) 23:40:18.55ID:NcDz8yAM0
紛らわしいかもしれないけど自分は更新情報を書き込んでるだけで作者じゃないよ
0192名無しさん@お腹いっぱい。 (ワッチョイ d5d2-PNsX)
垢版 |
2016/07/05(火) 00:02:07.39ID:0Z3aC8fN0
waifu2x-caffe upconvの速度はどんな感じです?
caffeはDeconvolutionがcuDNN対応していないのと
cuDNNもforward algorithmの自動選択が微妙で
Torch版ほどの差は出ていないのではと思うので気になっています。
0193名無しさん@お腹いっぱい。 (ワッチョイ 2d36-R7o+)
垢版 |
2016/07/05(火) 02:47:19.53ID:y52RVxO/0
>>186
公開ありがとうございます
ver.1132までは問題なく使えておりましたが、今回verでは実行ボタンを押すと同時に落ちます
win7pro 64bitのノートでCPU動作です
対策あれば教えてください

以下エラーログです
Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
E0705 02:40:25.573511 5904 common.cpp:119] Cannot create Cublas handle. Cublas won't be available.
E0705 02:40:25.575511 5904 common.cpp:126] Cannot create Curand generator. Curand won't be available.
0195名無しさん@お腹いっぱい。 (ワッチョイ 0ee1-R7o+)
垢版 |
2016/07/05(火) 23:56:36.64ID:CNSOSSvt0
caffe ver1.1.4で「?かなり中身を書き直した関係でメモリ不足対策が無効になった」ってあるけど
メモリ不足したらどうなんの?
他にも色々不安要素バリバリで更新しないほうがいいのかな
0198名無しさん@お腹いっぱい。 (タナボタ Saff-77u/)
垢版 |
2016/07/07(木) 08:46:47.16ID:szfYQdRBa0707
3DCGでIrayなどの物理レンダラーとかだと、ピクセル当たりの
サンプリンが少ないとノイズが残ります。

もしこれを学習させて綺麗に除去出来るなら、レンダリング
演算量の削減が出来るのでCG業界でも需要があるかも?

とりあえずDaz stuzio作成した、95%と100%でサンプリングした
画像を置いておきます。

http://fast-uploader.com/file/7023403027370/
http://fast-uploader.com/file/7023403077217/

waifu 2x でnoise_scale Level1 x2.0 イラスト実行
http://fast-uploader.com/file/7023403811009/



学習用サンプル画像も、無料で物理レンダラーが使えるdaz studio,
blenderなどでGPU使って作成出来るので、余裕が有ればmodelに
3dcgの低サンプリング画像の高画質化modelが欲しいです。

写真の低ISOノイズに近い物があるので、難しいかな?
ノイズ除去フィルタの領域になるか。
0199名無しさん@お腹いっぱい。 (タナボタ 23d2-0AkP)
垢版 |
2016/07/07(木) 09:05:03.41ID:o2ChrGcQ00707
>>198
先日、ペアの教師データを用意すれば何でも学習できる機能(Universal filter!!)を入れたので
入力画像と理想的な出力画像のペアを用意できるなら試すことはできます。
githubで3DCGで解像度を変えたレンダリング結果を学習して拡大できないかという話がでているのと
自分もBlenderのCyclesレンダーを使っていて、これがサンプリングが少ないとめちゃくちゃノイズが出る上に
GPUを有効にしてもめちゃくちゃ遅くて困っているので試して見るかもしれません。
(ただ学習データ生成に使うレンダリングエンジンのくせに依存する気がする。
 レンダリングエンジンにあまり詳しくないので勘ですが)

写真の低ISOノイズ除去ができないのは、この現象が物理的なもので
コンピュータ上でシミュレートするのが難しく教師データが自動生成できないからで
データさえ用意できれば多分できます。
0200名無しさん@お腹いっぱい。 (タナボタ Saff-77u/)
垢版 |
2016/07/07(木) 09:09:21.80ID:szfYQdRBa0707
あと以前AMDのGPU使ってたので、AMDのGPUでも動くとより嬉しい。


AMD、GPGPU向けの取り組み「ボルツマンイニシアチブ」を発表。CUDAとの互換性も提供
http://srad.jp/story/15/11/18/0657225/

> Heterogenous Compute Compiler(HCC)と名付けられた新しいコンパイラはLLVM Clang
> ベースでC++11/14や/C11、OpenMP4.0、そしてC++17で採用予定のParallel STLに対応。
> 1つのコンパイラでCPUとGPUのどちらにも使える。そのためGPU用のカーネルを別のソースに
> 記述する必要はなく、ラムダ式でSTL互換のアルゴリズムに述語引数として渡せばよい。

> Heterogeneous-compute Interface for Portability(HIP)はHCCで利用できるCUDA風のAPI。
> HIPで書かれたソースコードはHCCだけでなく、ヘッダーファイルを加えることでNVIDIAのCUDA向けコンパイラであるNVCCでもコンパイル可能となる。
> 従来のCUDAコードをHIPコードに変換するためのツールも用意されており、これによってHSA環境はソースコードレベルでCUDAとの互換性を有することになる。

使ったことはないけど、CUDAコードをAMD環境用のバイナリにするコンパイラとヘッダが
公開されているので、リコンパイルだけでAMD対応も可能かも知れません。
0206名無しさん@お腹いっぱい。 (タナボタ 4336-Bfmi)
垢版 |
2016/07/07(木) 19:28:52.61ID:N0EeMUi700707
>>205
ありがとうございます
UpRGBモデル使ってませんでした
ノイズ除去ありなしどちらも28秒切るところまで行きました
ほぼ同タイムで、ノイズ除去有の方がぱっと見てわかるすっきり具合でした
おかげさまでGPU購入をゆっくり検討できるようになりました
0207名無しさん@お腹いっぱい。 (ワッチョイ 5f89-Bfmi)
垢版 |
2016/07/07(木) 22:38:02.75ID:mFWhvyoA0
waifu2x-caffe 1.1.5 にて batch_size の件、対応ありがとうございます
batch_size は 2 と 4 と不正な指定しか試してなかったので 1 の場合は盲点でした


プライオリティを付けるなら超低めの一点要望です
cudnn_data の生成される場所を カレントディレクトリ あるいは waifu2x-caffe-cui.exe の
ある場所だけでなく model_dir のように指定可能にできないでしょうか
指定可能の方が個人的には嬉しいのと、waifu2x-caffe-cui.exe のある場所固定(優先)
にすると Program Files の下に置いている人はどーなるんだ、
等という話もあるかと思うので指定可能を推したいです

関連は無いかと思いますが、エラーログの出力先も waifu2x-caffe-cui.exe のある場所に
固定されるとそれはそれで個人的にションボリなので
 エラーログの出力先は exe の場所固定
 cudnn_data の生成場所は exe の場所固定あるいは指定
というパターンになるのであれば、現状維持となる
 エラーログの出力先はカレント
 cudnn_data の生成場所はカレント
のままの方がエラー発生をエラーログの有り無しから掴みやすいので有り難いです
0210名無しさん@お腹いっぱい。 (ワッチョイW 5ba4-oo3f)
垢版 |
2016/07/08(金) 02:30:16.54ID:EpDyhBMv0
スキャナで取り込んだ白黒写真もサイズが大きいと効果なし
スキャン時のゴミとかも鮮明になる
16年前に撮った100万画素のデジカメでも効果あり
人物と背景の境目や文字が一番効果ある
ただ塗り絵みたいになる
2kの50インチだが60インチの4kに変えれば200万画素でも効果あるの?
0213名無しさん@お腹いっぱい。 (スプー Sdbf-q6Qi)
垢版 |
2016/07/08(金) 16:24:04.54ID:LIOMaWBvd
繋がらない
0218名無しさん@お腹いっぱい。 (ワッチョイW 5ba4-oo3f)
垢版 |
2016/07/09(土) 00:33:43.51ID:UiHSYu5L0
人物写真100枚くらいレベル3で効果が大きいのは
文字>>>チェック柄などのライン>>人物と背景の境目のモスキートノイズ>肌のカラーノイズで修正できたのは全体の3分の1くらい。
文字が潰れた自炊コミックや小説が一番効果あるね
0219名無しさん@お腹いっぱい。 (ワイモマー MM9f-Bfmi)
垢版 |
2016/07/09(土) 06:03:12.82ID:N2XUaDTaM
オンライン版は何かパスワード入れろとか出て来たぞ
0223名無しさん@お腹いっぱい。 (ワッチョイ 23d2-0AkP)
垢版 |
2016/07/09(土) 12:43:20.65ID:1eYwCzvQ0
ページランクは明らかに高いと思うけど
頻繁に落ちたりドメインだったりでgoogleの評価が下がってるんだろうな

パスワードは,サーバーが落ちてEC2内でIPアドレスが再利用されて別のサイトに誘導されていただけです(こわい)

あと,noise0(これまでの一番弱いやつよりも弱い)を追加したのと,waifu2x.udp.jpのほうも新モデルに変えました.
前よりも不安定な印象なのでたまに謎のノイズが出たりがあるかもしれないですが,平均的には良いです.
noise0はJPEG品質85〜95(1回)くらいでnoise1や除去なしよりも良くなります.
見た目ノイズないのに拡大するとノイズが強調されて出てきたようなときに使えると思います.
0225名無しさん@お腹いっぱい。 (ワッチョイ 23d2-0AkP)
垢版 |
2016/07/09(土) 14:21:05.59ID:1eYwCzvQ0
>>224
GPU的には余裕ができると思うので扱える画像のサイズをでかくしました.2560x2560 -> 3000x3000まで.
ただ処理速度も重要ですが,転送量が多くてつっかえている感じがあるのであまり変わらない気がします.
画像が昔のモデムみたいな速度で上から次第に表示されていくことがあるのは処理速度ではなく帯域のせいです.
常時50〜120人くらいが同時に使っていて1リクエストで2MBくらいの画像を出力するので結構な量になります.
処理が速くなりでかい画像がより高速にやりとりされようになると逆につらくなるかもしれません.
たまに落ちるのは単に金銭的問題で毎月タワマンの家賃くらい払えば落ちなくなりますが,払っていないのでたまに落ちます.
(これは色んな話を断ったりしているのであまり言い訳にはできないんだけど)
0234名無しさん@お腹いっぱい。 (ワッチョイ 839d-Bfmi)
垢版 |
2016/07/11(月) 04:03:13.80ID:3xx0SzsG0
>>233
おお、ついにノイズレベル0が!

cui版で -n 0 のように noise_level 0 を指定すると

PARSE ERROR: Argument: -n (--noise_level)
Value '0' does not meet constraint: 1|2|3
(Brief USAGE 略)

って怒られてエラーになっちゃいます
GUI版で変換した noise_level 0 の画像と比較すると、noise_level 無指定の場合には
きちんとデフォルトの noise_level 0 になるようです(UpRGB)

ついでに --help を出しても noise_level に関しては 0 の無い 1.1.5 以前のままです
0235名無しさん@お腹いっぱい。 (ワッチョイ d325-Bfmi)
垢版 |
2016/07/11(月) 13:40:38.41ID:PaECKmpe0
拡大するとアニメ塗りの塗り壁になってしまう
人工知能のわりに頭が悪いな。本当に
人間より優れたシンギラなるんかと疑問点。

3次画像を拡大する専用の
Youjo2seXを早く出せよ、おい!
0243名無しさん@お腹いっぱい。 (ワッチョイ 69d2-ewdN)
垢版 |
2016/07/14(木) 09:38:42.50ID:kfj6dhpi0
スポットインスタンスは月単位で見ると安いのですが
たまに異常に価格が上がることがあるのでそういうことが起こるたびに落ちます.
今は1台あたりの鯖代が1時間$6.5まで価格が上がったので落ちました.
1時間$6.5で3台動かしていると1日放置で5万円くらいかかるので落ちてくれないと困る感じです.
許容範囲のところがあればそこで復活します.
0245名無しさん@お腹いっぱい。 (ワッチョイ 49a9-/weA)
垢版 |
2016/07/14(木) 13:39:09.41ID:FgL37a7K0
たぶん,誰か考えたと思うんですけれども,
例えば,元画像を4倍に拡大したいとして,

A.そのまま4倍に拡大する
B.半分に縮小した後,8倍に拡大する

を組み合わせた学習モデルって作れないですか?

解像度が低い画像を拡大しようとした時に,
Bだと近くのものは綺麗に拡大されるのですが,遠くのものが潰れてしまいます.
一方で,Aは全体的に綺麗なのですが,Bほど近くのものは綺麗にならない.

複雑で潰れそうな部分はAで,大雑把な部分はBのモデルを適用できれば,
画質がかなり改善されそうな気がするのですがいかがですか?
0246名無しさん@お腹いっぱい。 (ワッチョイ 3d25-8xJT)
垢版 |
2016/07/14(木) 13:51:27.47ID:AKBc/xAg0
これって輪郭検出のち内部を塗りつぶすソフト?ですか?
のぺ〜っと、、細かな情報が消えてしまう。
クスコ、 じゃねえランチョで拡大、のちw2でノイズ消しの
ほうがシャアぷに仕上がるようです少佐
0248名無しさん@お腹いっぱい。 (ワッチョイ bcd2-GuGR)
垢版 |
2016/07/14(木) 20:02:13.83ID:x6vqi83V0
>>245見てこれを思い出した
http://www.slideshare.net/nikuque/ss-52190439/1
これで画像のサイズや圧縮率、動画のビットレートの最適化ができたらいいな

最近思ってるのは画像に関して機械学習でノイズ除去や高解像度化ができるなら
音声に関してもできないかなと。個人的には画像よりこっちの方が興味ある。
0249名無しさん@お腹いっぱい。 (ワッチョイ 69d2-ewdN)
垢版 |
2016/07/15(金) 01:22:46.25ID:2zYLl84L0
>>248
音はいろんな人が言っているけど
音声(自然言語)って厳格だからちょっとミスって変になったらものすごく気になるように思う.
画像(絵)はちょっと変でもまあ仕方ないかで済むけど.
想像で言ってますが.
0253名無しさん@お腹いっぱい。 (ワッチョイ bcd2-GuGR)
垢版 |
2016/07/15(金) 14:43:45.51ID:lsrfj+NR0
>>249
音声っていっても声より音楽、オーディオデータ全般が目当てなんだよな
サンプリング周波数やビット深度が細かかったらこんな倍音が乗っていたはずだ(可聴域外でも)とか
クリップした波形の修復(これは機械学習以前からいろいろ研究されてる)とか
もしかしたらエフェクトの新しい概念が生まれるかもしれないし

画像でも綺麗にするだけじゃなくて積極的な加工に使える可能性はあると思う
やたら重いわりに得られるものが何だか分からなくてダメかもしれないけど
0257名無しさん@お腹いっぱい。 (ワッチョイ bb0f-L3Fl)
垢版 |
2016/07/16(土) 02:11:45.11ID:S43VbK8v0
         ,,ィニニヽ彡彡彡彡ミニ三ミ、
        ,ィミシ彡ミミ、゛彡彡彡三ミ、彡イ三;ヽ
       {彡y彡彡y彡ミ 彡彡三三彡Y彡三ミ}
       {ツ彡シィイイ彡ミ 彡三ミミシシヾミ三シ
       (彡彡イ/////ノ〃〃ハ;ヾヾミ三彡Y 三)
       {彡y///イ/     ミヾヾミ三彡Yシイ
        Y((( /       `ミミ三三彡イミ、
         !、,,,_     _,,,..---   ゛ミ,ィイi }ミ三;シ
          }T゛'tゝ .:´ ィ弋カ'-    Y/5 /i川イ
         !  ̄ .i :.   ̄ ...    ーノミト、シ
         ',:.:. ,' ::.    .:.:.:.:    iイミ三ソ
         ',  ヽ ー        !::ミミ三リ
          ヽ. ゛'三‐‐‐'`     ノ :::iーーー'
           `、      , '  : :',
             ` ー-┬‐ '     : :ヽ
                  |        : : \
              ___....l:: ::  __ , ---.ヽ

         シンディ・ルー (1984- インド )
0259名無しさん@お腹いっぱい。 (ワッチョイ 323f-EqXU)
垢版 |
2016/07/16(土) 14:03:31.11ID:E/RHyF4m0
ここに書いておいたら読んでもらえるかな
caffe版の1.1.6を使用しています
変換も早くなり、レベル0も実装されて気に入っていますが
ちょっとした不具合を見つけましたので連絡です

・「ノイズ除去と拡大」または「ノイズ除去」モードでノイズ除去レベルを
1以上から0にした時、ファイル名がLevel0にならない
変換モードを変えてから元のモードに戻るとファイル名がLevel0になるので、
レベル0ラジオボタンのクリック時にファイル名変更処理が抜けているのかも

・ノイズ除去の自動判別が効いていない?
元々選択されていた除去レベルで処理している感じ
0260名無しさん@お腹いっぱい。 (ワッチョイ ca89-8xJT)
垢版 |
2016/07/16(土) 18:09:29.57ID:hnFQHF9f0
>>259
『ノイズ除去(自動判別)と拡大』って readme によれば
『拡大を行います。入力がJPEG画像の場合のみノイズ除去も行います』
だから、もともと jpeg と png など混在した対象をまとめて変換する時用の
「”ノイズ除去適用対象を自動判別”と拡大」であって
「”ノイズ除去レベルを自動的に選択”と拡大」するという意図は
含まれていないような(実際そういう動作だし)

以前『自動判別』ってなにをどう? と思って readme 読んだ時にそう理解した
0261名無しさん@お腹いっぱい。 (ワッチョイ 3239-eb7y)
垢版 |
2016/07/16(土) 23:30:51.94ID:W/gd8pMi0
waifu2x-caffe ver 1.1.6.1
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.1.6.1

コマンドラインオプションでノイズ除去レベル0が指定できなかったバグを修正
GUI版でノイズ除去レベル0ラジオボタンを押した時に出力ファイル名サフィックスが変化しないバグを修正
中国語(簡体字)訳が正しく表示されなかったバグを修正
0264名無しさん@お腹いっぱい。 (ワッチョイ e6c4-BKa+)
垢版 |
2016/07/17(日) 16:28:14.30ID:5LD6v75S0
waifu2x-c-c-with-bat使ってみたけど
変換しようとするとidentifyがコマンドとして認識されていませんとかで動かない
そもそもhtaアイコンや起動後のGUIにD&Dも出来ない、なんか使い方が間違ってるのか?
0270名無しさん@お腹いっぱい。 (ワッチョイ 96a2-PsRz)
垢版 |
2016/07/20(水) 10:14:04.74ID:Cc0UAxz90
落ちてる?
[web.lua] Error in RequestHandler, thread: 0x40336bf0 is dead.
▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼▼
/home/ubuntu/torch/install/share/lua/5.1/md5.lua:0: attempt to index a nil value
stack traceback:
.../ubuntu/torch/install/share/lua/5.1/turbo/httpserver.lua:278: in function <.../ubuntu/torch/install/share/lua/5.1/turbo/httpserver.lua:255>
[C]: in function 'xpcall'
/home/ubuntu/torch/install/share/lua/5.1/turbo/iostream.lua:553: in function </home/ubuntu/torch/install/share/lua/5.1/turbo/iostream.lua:544>
[C]: in function 'xpcall'
/home/ubuntu/torch/install/share/lua/5.1/turbo/ioloop.lua:568: in function </home/ubuntu/torch/install/share/lua/5.1/turbo/ioloop.lua:567>
▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲▲
0271名無しさん@お腹いっぱい。 (ワッチョイ 69d2-ewdN)
垢版 |
2016/07/20(水) 12:16:35.37ID:Mmd6XeiM0
夜中にサーバーの1台がそのエラー出し続けていたけど今は直っているし謎です.
APIに使っているHTTP Serverがわりと怪しいのでメモリをぶっ壊して変になったあと落ちてupstartが再起動したのかもしれない.
0273名無しさん@お腹いっぱい。 (ワッチョイ 0325-iqWO)
垢版 |
2016/07/21(木) 13:55:35.59ID:9F1XqsII0
うちのPCじゃうごかないなあ
ヌーロンダブもどうなっとるんじゃ
0274名無しさん@お腹いっぱい。 (ワッチョイ ff39-0GON)
垢版 |
2016/07/25(月) 02:56:16.34ID:rCMzi4GJ0
githubで外国人の人も言ってたけど4倍拡大以上だとアーティファクトが出ることがあるね。
「4x and 8x are not fully supported because this is waifu2x」らしいからしょうがないけど。

元画像
http://www.pixiv.net/member_illust.php?mode=medium&;illust_id=57922779

UpRGB old 4倍
http://i.imgur.com/Hx51mML.png
UpRGB new 4倍
http://i.imgur.com/34szjiL.png
RGB 4倍
http://i.imgur.com/2u8aM7q.png
0276名無しさん@お腹いっぱい。 (アウアウ Sacf-GUDH)
垢版 |
2016/07/25(月) 14:52:40.14ID:ANO+1WFAa
忙しくて久しく見れてなかったけど更新されたようですね。
>>274の問題は、継続ですか。
こうなるとやはりディープラーニング+αが必要なように思えますね。
ディープラーニングは優秀だけど完璧というわけではないので、なんらかの補助手段は必要なように思います。
こちらでも時間のあるときに新バージョンのテストはしてみますが、はてさて。
0290名無しさん@お腹いっぱい。 (ワッチョイ 9cd2-okXX)
垢版 |
2016/07/30(土) 05:41:04.97ID:0EvlKLvb0
upconv_7の2xモデル更新しています。
>>274
とgithubで上げられている例はアーティファクトでなくなっています。(2倍においては)
まだ出るパターンはあるかもしれませんが、出にくくはなってると思います。

PSNRが高いほうが出てたりするので1/2にしたときに潰れてしまうメッシュ状の模様を
書き込んで復元しようとしていて、判断をミスった時にそういうアーティファクトとして出ているのだと思います。
ミスることがあっても平均的にはやったほうが良くなるみたいですが
平均より最悪が重要だと思うので、アーティファクトが出にくいパラメータを最終的に選ぶようにしました。
0292名無しさん@お腹いっぱい。 (ワッチョイ 9cd2-OJXh)
垢版 |
2016/07/30(土) 12:44:32.29ID:Jy30OL100
2倍や4倍のような拡大は実際めったにしないんだよなあ
様々な半端なサイズの元画像を、画面解像度の縦や横
(またはその2倍4倍など)を意識したサイズに拡大することがほとんど

waifu2xは学習モデルでの2倍拡大(場合によっては複数回処理)と
既存アルゴリズムでの拡大縮小を組み合わせてるんだっけ?
0299名無しさん@お腹いっぱい。 (ワッチョイ 9cd2-okXX)
垢版 |
2016/07/30(土) 19:15:15.90ID:0EvlKLvb0
新モデル(upconv_7)は構造上2の倍数にしか拡大できない。
最初のモデル(vgg_7)は任意サイズにBicubic等で拡大した結果を
CNNで修正するという形にすれば可変倍率にも対応できるけど
倍率固定して学習した時に精度で勝てないので、なら2倍にして縮小でいいのではと思ってる。
ただ縮小も気をつけないと縮小時にモアレやリンギングが出たりがある(これは一般的な話ではあるけど)。
0305名無しさん@お腹いっぱい。 (ワッチョイ 7925-oK17)
垢版 |
2016/08/01(月) 14:14:51.51ID:s/CT/hUD0
AIやシンギュラがこれだけ進歩したんだから画像処理も
単なる塗りつぶしじゃなくてもっと賢い方法が出ないかな。
昔の映画やレコード音源の修正でも同じ、劣化逸失した情報を
量子演算で取り戻すような、根本的なところでの革新が必要。
やぱり人間の脳みその性能上限に縛られてる?だろ
そういや水着の布地て体積の半分以上はすきまの空間であり
そこを通り抜けてくる光線は多量に存在するはず。
その軌跡を光学補正して美少女の素肌映像を再現する
すきま光線解析ソフトが出ないかな?
あの光線が再利用されず無駄に散逸してるのは残念
0312名無しさん@お腹いっぱい。 (ワッチョイ 9cd2-okXX)
垢版 |
2016/08/03(水) 10:29:08.49ID:muLCaGi+0
UpRGBはノイズ除去だけした時に一度拡大してから縮小していると聞きましたが
デフォルトにしまうとそこに不安がある気がします。
拡大縮小は結構劣化を生むと思うので、構造上難しいならいっそUpRGBでノイズ除去のみはエラーに倒してもいいように思っています。
一応JSON側にarch_name: upconv_7/vgg_7を入れてますが。
0313名無しさん@お腹いっぱい。 (ワッチョイW 6b1a-d+5h)
垢版 |
2016/08/06(土) 17:25:26.75ID:sO6XeMu60
最近になってcafeとmultiがあることに気づいたんだけど
これってどちらも性能は同じなのかな?
multiのほうが画像単体で複数変換できるから便利な気もしないでもないけど
どなたか細かな仕様の違いご存知でしょうか
0314名無しさん@お腹いっぱい。 (ワッチョイ 67d2-CqAC)
垢版 |
2016/08/06(土) 21:11:33.14ID:Yf7P2RxD0
waifu2x-caffe(最新版)はウェブ版(waifu2x.udp.jp)とほとんど同じはずです。
逆にそれ以外は使っているモデルが古いなどで細かく性能を測るとスコアは低いと思います。
https://triple-underscore.github.io/css-images/pixel-art-small.png
この画像をノイズ除去なし2倍で変換してみて
良し悪しに関わらず出てくる画像がウェブ版と異なる場合は
使っているwaifu2xのバージョンが古いです。
この画像はバージョンによって異なるアーティファクト(ノイズ)が出てくる呪いの画像なので
バージョンを調べるのに便利です。
0320名無しさん@お腹いっぱい。 (ワッチョイ 6f04-MLGp)
垢版 |
2016/08/08(月) 02:22:38.85ID:Ex+ktA6y0
今の限界の3倍くらいの大きさの画像も処理できるようになると嬉しいわ
0330Youjyo2Sex. exe→cute(笑 (ワッチョイ 4d25-MTuc)
垢版 |
2016/08/11(木) 15:59:39.98ID:Q9oi6RJK0
.
いまあるPIXdateからアニメ塗りではこれが限界な。
技術って上限があるんだね、カツワイルも宗教家のw
そういや、宇宙のホワイトノイズには宇宙人の美幼女動画8Kや
フル裸16Kも含まれているだろうしあれを受信して2chで実況中継
するのはどうかな?異星人の幼女ポルノだから法律の埒外だし
俺をタイホするのは越権行為だっ!警察は引っ込めッ!
0332名無しさん@お腹いっぱい。 (ワッチョイ 4331-Q7Yp)
垢版 |
2016/08/11(木) 20:56:01.57ID:NtL5iqif0
お騒がせのhulu入れないマンだが
新ver(Vivaldi.1.3.551.30.x64.exe)に更新したらやっと見れるようになったよ
IDパス入力するログイン画面もでず入れるようになったよ
これで人にも心置きなく薦められるよ
0339名無しさん@お腹いっぱい。 (ワッチョイ 5c32-lwVw)
垢版 |
2016/08/13(土) 01:53:04.42ID:9hSx5rj10
誤爆
0340名無しさん@お腹いっぱい。 (ワッチョイ fc5d-MTuc)
垢版 |
2016/08/13(土) 11:04:26.87ID:bUa0xV+O0
>>335
http://akiba-pc.watch.impress.co.jp/img/ah/docs/747/222/html/mdosv1604_b51.jpg.html

GeForce730辺りでも十分速くなるよ。750Tiだと760と其処まで大きな差は無くなるよ。
数千、数万(例えば動画などが該当する)と連続処理させるなら兎も角、
1回にせいぜい百枚くらいまでの作業なら1万程度の750tiがコスパ最強だと個人的には思う。
0345名無しさん@お腹いっぱい。 (ワッチョイ fc5d-MTuc)
垢版 |
2016/08/15(月) 17:35:49.02ID:mNG+BBBj0
750tiは消費電力はさほど気にしなくてもいい。大したことない。補助電も特に要らない。
2スロット分の厚みがいけるなら俺も使っているクロシコのGF-GTX750Ti-LE2GHDが良い感じ。
負荷時でも静かで熱も神経質にならなくてもいいレベル。もちロープロ対応。

1スロしか駄目な場合はELSAとかがあるがやや高くてこれはロープロダメ。
他の人の回答待ち。730とかならあるのかなー?
0346名無しさん@お腹いっぱい。 (ワッチョイ fc5d-MTuc)
垢版 |
2016/08/15(月) 17:43:08.47ID:mNG+BBBj0
帯域による減速は事実としてあるけど、そこまで大きな差は出にくいと推測してみる。
3Dグリグリと違い使用メモリも数GBとか使うわけでも無いし。
帯域を使用する一番の浪費はメモリでしょ。
嫁2xはPCIExpress帯域関連に神経質にならなくて良いと電波してみるよ。
0371名無しさん@お腹いっぱい。 (ワッチョイ 73f0-wh/5)
垢版 |
2016/09/05(月) 19:40:58.30ID:HkAh0Dw50
全層畳込みニューラルネットワークによるラフスケッチの自動線画化
http://hi.cs.waseda.ac.jp:8081/

使い方

1 「ファイルを選択」ボタンを押し、線画化したい画像を選択してください。
2 線画の簡略度を設定してください。
3 「線画化!」ボタンを押すと、線画化した結果が下の方に表示されます。

★システムの改善にご協力ください!★

現在のシステムはまだまだ発展途上であり、みなさんのラフスケッチをAIに学習させることでさらに精度が上がっていきます。ぜひシステムの改善にご協力ください。
0387名無しさん@お腹いっぱい。 (ワッチョイ d7d2-tQpF)
垢版 |
2016/09/23(金) 03:23:03.25ID:T/2Nhf4Y0
今のところwaifu2x.udp.jpの接続先をEC2からピクシブ様が提供されている環境に切り替えた以上の意味はないです。
githubのwebブランチからデプロイするようにして頂いています。(広告等は追加されるかもしれません)
サーバー代とたまに落ちる問題は解決したんじゃないかと思います。
回線やハードウェアも以前よりいいと思います。
0412名無しさん@お腹いっぱい。 (ワッチョイ 3b51-8qPS)
垢版 |
2016/10/16(日) 12:12:23.85ID:ZYUiLLZr0
tanakamura版使ってるんだけどCUDAで処理させようとするとこんなエラーが出るんだけど俺環?

Iteration #6(128->128)...(94.5009[ms], 310.326[GFLOPS], 1.07752[GB/s])
Iteration #7(128->3)...(10.8175[ms], 63.5389[GFLOPS], 4.81689[GB/s])
total : 0.218784[sec], 263.632[GFLOPS]
OpenCV Error: Unspecified error (could not find a writer for the specified extension) in imwrite_, file C:/OpenCV/sources/modules/imgcodecs/src/loadsave.cpp,
line 439
terminate called after throwing an instance of 'cv::Exception'
what(): C:/OpenCV/sources/modules/imgcodecs/src/loadsave.cpp:439: error: (-2) could not find a writer for the specified extension in function imwrite_
This application has requested the Runtime to terminate it in an unusual way.
Please contact the application's support team for more information.
0417名無しさん@お腹いっぱい。 (ワッチョイ 2199-b5os)
垢版 |
2016/10/22(土) 18:31:29.33ID:mx2PDzFg0
かなり久しぶりにみたら色々アップデートしててちょっと困惑してるんだが
bmpで出力する場合、以前は24bitだったが今のバージョンだと32bitになってるよね
これ前みたいに24bitのbmpで出力する方法ある?
0421名無しさん@お腹いっぱい。 (ワッチョイ 2199-b5os)
垢版 |
2016/10/22(土) 20:39:09.10ID:mx2PDzFg0
>>419-420
こっちで確認した結果はbmp入力→bmp出力だとほぼ確実に32bitになる
「ほぼ」というのはそうならないパターンもあったので

最初にjpg入力→bmp出力をやると24bitのbmpで出て
そのあと続けてbmp入力->bmp出力すると24bitのまま出た

最初からbmp入力→bmp出力だと32bitになる
分けわからん

あ、一応全部GUIでのwaifu2x-caffe使用によるもので、設定は以下の通り
出力拡張子「.bmp」
変換モード「ノイズ除去」
ノイズ除去レベル「レベル0」
モデル「2次元イラスト(RGBモデル)」
分割サイズ「128」
0423名無しさん@お腹いっぱい。 (ワッチョイ 2199-b5os)
垢版 |
2016/10/22(土) 21:01:39.50ID:mx2PDzFg0
ふむ、仕様かバグかしらんけどBMP→BMPでの24bit出力は無理そうかな
なんかコマンドラインからならオプションでできる、とかあったら知りたかったけどパッと見なさそうだし
大人しく出力後に別ソフトで変換するわ
0424名無しさん@お腹いっぱい。 (ワッチョイ 1c9c-7LPj)
垢版 |
2016/10/24(月) 01:50:33.33ID:ZlIEeXn30
そういやwaifu2x、派生版もMITやBSDライセンスが多いけれど
コレ使ったスマホアプリを有料や無料+広告で出しても大丈夫なんだろか
実用速度にするならPrismaのように外部専用鯖が必要になるから動画広告でも付けたいんだよね
0440名無しさん@お腹いっぱい。 (ワッチョイW ba8c-m5qj)
垢版 |
2016/11/09(水) 03:30:07.07ID:hyCn3erA0
GIGAZINEにも先日モノクロ写真を自然なカラー写真にしてくれる研究のってたな
こりゃ2020年までには女性の水着写真を入力→その人の全裸画像出力まで行くと思った
DMMのAVパッケージからの顔写真やFBの顔写真の検索サービス売ってる人もいたしな
倫理的にこれやっていいのかって画像処理、
データ処理、データベース化が出てくるだろうね
今のビッグデータでさえプライバシー倫理的にどうなのって話でもあるが
倫理的にアウトなやつはコードで配布って形になる予感
0441名無しさん@お腹いっぱい。 (ワッチョイ f7a1-WVKM)
垢版 |
2016/11/10(木) 19:03:16.68ID:dIlzLCb/0
今まで通り個人の範疇で何をしようがそりゃ個人の自由よww
メーカー側が売ることが出来るかできないかはそりゃコマーシャル方法によるだろうなw
「水着の女を裸にできます」なんてコマーシャルじゃ確実にアウトwww
0447名無しさん@お腹いっぱい。 (ワッチョイ 576a-teht)
垢版 |
2016/11/15(火) 16:17:39.32ID:0ngnQcTC0
今後はデコードでなく、補間に適した方法で圧縮した小サイズの画像を転送して
モバイル端末側で拡大処理をするようなサービスも出てくるかもね
バッテリー持ちと帯域とのトレードオフになるだろうけどw
0453名無しさん@お腹いっぱい。 (ワッチョイWW 4f7c-QaFr)
垢版 |
2016/11/16(水) 01:28:53.03ID:vMIkzin30
>>443
どこかでテストできるサイトはないのかな?
あるいはwaifu2xに「同じ写真のアップサンプリング版と高解像度版」のセットを学習に使用するの部分だけでも組み込んで、速度はともかく画質向上ができればとも思うけど
0459名無しさん@お腹いっぱい。 (ワッチョイW 1732-wOPQ)
垢版 |
2016/11/16(水) 19:55:59.77ID:HEIE/29H0
みんな論文読んだ?
読んだ範囲だと選択的に
デシタルフィルタで輪郭強調してるだけっぽいけど
表現力とかreceptive fieidはかなり
waifu2xの方が大きい

ただ家電組み込みとかは有利そう
0460名無しさん@お腹いっぱい。 (ワッチョイ bf6d-YIW3)
垢版 |
2016/11/16(水) 21:42:25.30ID:cC8uL87B0
昔からよくある超解像のエッジ強調でボケ低減重視した結果
テクスチャ成分が消えて油絵見たいになる奴だな
今までは反復で処理してたのを1回?なんで速度が速いみたいな
あとで元画像の高周波成分に応じたディザ加えると視覚上はそれっぽく見えるようなの
0464名無しさん@お腹いっぱい。 (アウアウエー Sa4f-GWT6)
垢版 |
2016/11/17(木) 22:15:42.90ID:naiHg0fia
>>457
論文のままやるのではなく、waifu2x流に 「同じ写真のアップサンプリング版」と「(今までのモデルデータと同じ)高解像度版」の2パターンのモデルデータを作成して、
それぞれで超解像処理したあとに部分ごとにいいとこ取りするとかではダメなの?
0468名無しさん@お腹いっぱい。 (ワッチョイ 0f39-lRaO)
垢版 |
2016/11/19(土) 14:18:38.38ID:GoobHDYL0
madVRスレに比較画像ありました

madVR Part8 ©2ch.net
http://potato.2ch.net/test/read.cgi/software/1469289290/404

404 名前:名無しさん@お腹いっぱい。[sage] 投稿日:2016/11/05(土) 22:15:28.64 ID:FYlCTwMn0
http://forum.doom9.org/showthread.php?p=1784964#post1784964
新アルゴリズムはまだ時間かかりそうだが、比較画像がでてきた
NG1がmadshiの新アルゴリズム、Waifu2xは比較用でリアルタイムでは使用できない
http://madshi.net/madVR/AmericanDad/AmericanDadOrg.png
http://madshi.net/madVR/AmericanDad/AmericanDadJinc.png
http://madshi.net/madVR/AmericanDad/AmericanDadNNEDI256SR4.png
http://madshi.net/madVR/AmericanDad/AmericanDadNG1.png
http://madshi.net/madVR/AmericanDad/AmericanDadWaifu2x.png
0470名無しさん@お腹いっぱい。 (ワッチョイ 6fd2-Dnyy)
垢版 |
2016/11/19(土) 16:15:24.16ID:FbdjsfyA0
Jincはぼやけすぎ
NNEDIはリンギングがひどい (ただ元の画像に入っているのでシャープにするときに強調してしまっているのかも)
NGUとwaifu2xはぱっと見同じに見えるけど線だけ見るとwaifu2xのほうくっきりしているのと
左の女性の口周りの色のにじみなどが消えているというのが自分の感想です。(このwaifu2xはノイズ除去あり?)
これでwaifu2xの100倍速いならすごくいいんじゃないでしょうか。

あと
>madVR v0.91.0
>* added new NGU (Next Generation Upscaling) algorithm
とあるのでもう入ってると思います。
0473名無しさん@お腹いっぱい。 (ワッチョイ 0f39-lRaO)
垢版 |
2016/11/21(月) 19:33:59.35ID:v70Y0tAf0
BSD100 x2

PSNR 28.599 SSIM 84.309 Lanczos3
PSNR 28.729 SSIM 83.971 NNEDI3
PSNR 29.721 SSIM 87.238 SRCNN
PSNR 30.071 SSIM 87.456 NGU
PSNR 30.081 SSIM 87.471 waifu2x_Photo
PSNR 30.292 SSIM 87.885 waifu2x_UpPhoto

評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に

思いのほかNGUのスコアが高くなって困惑
madVRの開発者がNGUはGoogle RAISRより優れていると豪語してたけどマジかもしれない
0475名無しさん@お腹いっぱい。 (ワッチョイ 0f39-lRaO)
垢版 |
2016/11/21(月) 20:43:35.85ID:v70Y0tAf0
>>474
> というか、静止画で手軽に試す手段とかあるの?

無いと思う。
MPC BEにpngを読み込ませてスクリーンショット撮影っていうのをひたすら繰り返した。
NNEDI3みたいにプラグイン形式で使うことが出来れば楽なのだが。
0477名無しさん@お腹いっぱい。 (ワッチョイ 6fd2-Dnyy)
垢版 |
2016/11/21(月) 22:56:47.72ID:69aqH2zp0
>>473
>評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に
超解像の論文でよく使われているPSNRと書かれている再現できない謎の評価指標は
輝度だけのPSNRなのですが
MATLABの実装由来で輝度を16-235の範囲の整数にしたあとにMSEを計算しているため通常のPSNRより高くなっています。
(また縮小に使うアルゴリズムはBicubicに固定します。
waifu2xのtools/benchmark.luaで-filter Catrom -range_bug 1にした時にこの評価指標を再現できます)
この評価指標を使っている場合は、BicubicのPSNRが高いので見分けが付きます。
RAISRはSRCNNよりもPSNRは低いと書いてあるのでNGUはRAISRよりも高いと思います。
0480473 (ワッチョイ bf39-Yhbf)
垢版 |
2016/11/25(金) 02:32:42.55ID:Bfwfyes20
>>477
詳しい説明ありがとうございます。
MATLABもLuaも導入難易度が高そうだったのでWindowsで簡単に扱えるソフトで良いものが無いか探したところ、FFmpegを使えばだいたい同じような値が出ることが分かりました。
これでデータセットの中に縮小済みの画像が入っているものに関しては割と近い感じの数字が出せるかもしれません。

BSD100 x2

Y-PSNR 29.553 bicubic
Y-PSNR 29.917 Lanczos3
Y-PSNR 30.066 NNEDI3
Y-PSNR 31.096 SRCNN
Y-PSNR 31.190 SelfExSR
Y-PSNR 31.397 NGU
Y-PSNR 31.417 waifu2x_Photo
Y-PSNR 31.627 waifu2x_UpPhoto
0481名無しさん@お腹いっぱい。 (ワッチョイ 77d2-CHYl)
垢版 |
2016/11/25(金) 22:57:57.27ID:wsdFYFZc0
>>480
Bicubic, waifu2x_Photo, waifu2x_UpPhotoのスコアは手元と大体同じです。(差が0.01程度)
SelfExSRは2年くらい前にstate of the artと言っていたものなので
処理時間の制限つけた上でそれを超えてるのはすごいですね
もっと遅くしてよいという条件でどこまで上げれるのか気になる
0486名無しさん@お腹いっぱい。 (ワッチョイ 716a-drn7)
垢版 |
2016/12/09(金) 15:57:16.96ID:dkacw0nd0
PSNR値は視覚及び脳内での判定と一致しないんだよな
元写真を縮小→拡大テストで見比べると、SRCNN等は微妙と言うか
人間的感性も数値化できればいいんだが

そいや市販ソフトのPIXEL MASTERは昔使ってみたが(性能は微妙なところ)
今は公式ツイッターさえSpamBOTにのっとられてる有様だなw
0487名無しさん@お腹いっぱい。 (ワッチョイ e5d2-jbjz)
垢版 |
2016/12/10(土) 00:19:42.16ID:hDKiBCZm0
PSNRを高くにするは、ほとんど同じ入力から拡大結果が異なるようなときに
それらの平均を出力したほうが有利で、平均というのは無難だけどどの正解にも近くないので違和感を感じやすいと言われています。
人の感覚に近いものとして、Perceptual LossやGANを使ったモデルが出ていて
これは、拡大結果の違和感は少ないけど、元画像とは近くならないです。
(PSNRは低い、ぼやけている部分を強調したり、元画像とは異なるテクスチャを追記したりする)
ただ写真ではかなりすごい結果が出ています。
https://arxiv.org/abs/1609.04802(画像だけでも見る価値があると思う)
0490名無しさん@お腹いっぱい。 (ワッチョイ dd44-drn7)
垢版 |
2016/12/10(土) 13:42:59.29ID:QUqj3HOP0
そこに書いてある
>24Mbps、29.97fpsのFHDを4kに拡大してみました。
>・インターレースソースの問題(プログレッシブ化)。
>・音声のずれ。
>・かえって画質が劣化した。
>と感じています。

これは数字から推測するにBSを録画したTSファイルやろな
0497名無しさん@お腹いっぱい。 (KIMWW a7b3-IzEV)
垢版 |
2016/12/12(月) 18:03:31.51ID:UNxRc+zn01212
madvrのNGUのベンチが思った以上に凄いから動画に関してはそっちで充分かな
waifu2xだと溶けるのがやっぱり残念なのと、動画のパンでは、境界線でジャギーみたいなのが発生するのも凄く気になる
あと結局は、エンコに凄く時間がかかるのがネックだなぁ
静止画でのベンチは素晴らしいんだけどね
0502名無しさん@お腹いっぱい。 (ワッチョイ dc39-sOSw)
垢版 |
2016/12/17(土) 23:32:04.49ID:2euhmd5j0
前々から思ってたんだけどノイズ除去の「最高」を精度とか品質が最高だと思ってどんな画像も最高で変換している人がいるような気がする。
例えばこの記事も元のjpgの品質が98くらいあるのに最高で変換している。

フルHDから4Kへ! Webのちからでプリキュアの壁紙を超高解像度化する|ギズモード・ジャパン
http://www.gizmodo.jp/2016/12/4k-precure-wall-paper.html
0507488 (ワッチョイW 8289-SvdB)
垢版 |
2016/12/18(日) 11:56:30.17ID:7XzIowgg0
>>505
必要ないならあえて強く掛けない方がいい気がするよな…上の画像なんて元からJPEG品質高いっぽいし

>>506
これなぁ
俺の環境では動画と音声の長さが合わなくて、音ズレしまくったんだよな
更新も止まってるっぽいし…
0509名無しさん@お腹いっぱい。 (ワッチョイ dc39-sOSw)
垢版 |
2016/12/18(日) 15:45:47.64ID:MQqRPQLB0
動画は可変フレームレートとか色々あるから音ズレしやすいんだよねえ……
一部のWMVも可変フレームレートだから普通にFFmpegで変換すると音ズレする。

>>507
コメント欄に「このソフトで変換すると音声がずれる動画がyoutubeなどにあったらurlを教えてください。」って書いてあるからサンプル提供するかMediainfoで調べた情報送ればいいんじゃないかな。
0517名無しさん@お腹いっぱい。 (ワッチョイ 9e4e-g1cW)
垢版 |
2016/12/22(木) 17:08:38.15ID:j+vsgrZa0
初心者新参なんだが、どれがおすすめ?

Windows10 Pro 32bit Core i5
メモリ4G
0519名無しさん@お腹いっぱい。 (ワッチョイ 9e4e-g1cW)
垢版 |
2016/12/23(金) 09:29:37.03ID:2mEiHi6o0
>>518
ありがとうございます!
トライしてみます!!
0531名無しさん@お腹いっぱい。 (ワッチョイ 34e1-t+3N)
垢版 |
2016/12/28(水) 17:41:29.27ID:08hGKA3e0
オンボのノートPCじゃこのソフト使えないんでしょうか?
1280×800の画像1枚を2倍にしたいだけなんですが実行ボタン押しても残り時間:不明って出てフリーズします。
ウェブ版は普通に使えます
0533名無しさん@お腹いっぱい。 (ワッチョイ a00f-G+7F)
垢版 |
2016/12/28(水) 17:51:02.58ID:6hOu5zQ90
とにかくColorProfile対応してくれることを望みます
ちょっとライトエフェクトとかある差分画像とか全体が全く違う色になって困り果ててしまうわ
これで動画のエンコなんてしたらもう…
0534名無しさん@お腹いっぱい。 (ワッチョイW 34e1-gWpm)
垢版 |
2016/12/28(水) 18:09:49.29ID:08hGKA3e0
>>532
ありがとうございます。ソフト名を書くのを忘れていました。
そのwaifu2x-caffeでフリーズしてしまうのです。
0539名無しさん@お腹いっぱい。 (ワッチョイW 34e1-gWpm)
垢版 |
2016/12/28(水) 19:59:06.13ID:08hGKA3e0
>>538
動作設定はCPUにしております。CPU使用率は80%以上でございます。Braswellでは非力すぎて動かないのかな
0545531 (ワッチョイW b2e1-EzRd)
垢版 |
2016/12/30(金) 14:31:11.67ID:tIIWopzb0
辛抱強く待ってたら一応完了したのですが出力先を見たら何もできていませんでした‥.

モデルのUpPhotoとphotoの違いは何でしょうか?
0546名無しさん@お腹いっぱい。 (ワッチョイ f2e1-Sa8B)
垢版 |
2016/12/30(金) 14:40:02.55ID:RVSItgrB0
出力先指定してあるの?違う所見てない? それか上書になってない?

無印は標準モデル
Up印は速度優先モデル(と言っても倍程度。出来上がりに大差はないけど物によっては気になるかもしれない)
0548名無しさん@お腹いっぱい。 (ワッチョイWW 6332-H1Ci)
垢版 |
2016/12/30(金) 18:12:22.39ID:X3KvqHdb0
cuDNNはNVIDIAが別で配布しているライブラリ
ディープラーニング用のAPIが入ってる

waifu2xはほとんどの処理時間は
コンボリューションで、cuDNNに
含まれるAPIなので恐らく速くなるはず

caffeeの自前実装のコンボリューションが
鬼のように最適化されてたら変わらんかも
しれんが比較したことないので知らん
0550名無しさん@お腹いっぱい。 (ワッチョイ 765e-4Ie9)
垢版 |
2016/12/30(金) 18:21:04.13ID:vUMlJ/xP0
cuDNN RGBモデル

| 分割サイズ | 処理時間 | VRAM使用量(MB) |
|:-----------|:-------------|:-------------------|
| 100 | 00:00:03.170 | 278 |
| 125 | 00:00:02.745 | 279 |
| 200 | 00:00:02.253 | 365 |
| 250 | 00:00:02.147 | 446 |
| 500 | 00:00:01.982 | 1110 |

CUDA RGBモデル

| 分割サイズ | 処理時間 | VRAM使用量(MB) |
|:-----------|:-------------|:-------------------|
| 100 | 00:00:06.192 | 724 |
| 125 | 00:00:05.504 | 724 |
| 200 | 00:00:04.642 | 1556 |
| 250 | 00:00:04.436 | 2345 |
| 500 | 計測不能 | 計測不能(6144以上) |
0572名無しさん@お腹いっぱい。 (ワッチョイ d1cf-dHfL)
垢版 |
2017/01/14(土) 04:19:51.80ID:AOMWwbEx0
このスレを見ている人間にとっては大嫌いなレガシー不可逆画像コーデックJPEGに新たなエンコーダが
ttp://gigazine.net/news/20170113-google-guetzli/
人間の目に最適化した極低速高圧縮JPEGエンコーダGuetzli

SSIM:             libjpeg比 14%悪化
PSNRHVS-M:        libjpeg比 14%悪化
butteraugli:         libjpeg比 30%良化
エンコード速度:       libjpeg比 10000%+悪化
同等画質サイズ:       libjpeg比 35%良化
同等画質転送レート:    libjpeg比 35%良化
ttps://translate.google.co.jp/translate?sl=en&tl=ja&u=http%3A%2F%2Fencode.ru%2Fthreads%2F2628
ttp://encode.ru/threads/2628

長すぎるエンコード時間(消費エネルギー)という元手・投資を取り返すには何回その画像ダウンロードされないといけないんだろうな
性能はたしかに良いからお試しあれ
0577名無しさん@お腹いっぱい。 (ワッチョイ 1339-5BG0)
垢版 |
2017/01/14(土) 16:10:52.71ID:cz8mjfgz0
>>575
自分もそう思ったんだけどbutteraugliのビルド方法がよく分からなくて断念したよ。
Googleがバイナリを配布してくれればいいんだけどね。

というかほぼGoogleしか使ってない指標でGoogleのエンコーダを評価されても性能が良く分からないよなと思う。
0579名無しさん@お腹いっぱい。 (ワッチョイWW 0932-744s)
垢版 |
2017/01/15(日) 09:56:09.63ID:0bystr9E0
waifu2xの後追いして遊んでるんだけど
作者氏、GAN使うの嫌がってるんだよね

とりあえずGAN、ResNet、PixelSuffle
実装してみたけど見た目SRCNN臭さは
だいぶとれるけどたくさん評価
してないので微妙

俺の本丸は計算量削減なんだけど
理論上計算量3割のはずなのに
3割しか早くならない

chainer、推論遅くないか
0584名無しさん@お腹いっぱい。 (ワッチョイ e1d2-suvD)
垢版 |
2017/01/15(日) 15:35:17.21ID:6WNzG8+M0
>>579
GANはPSNRをあまり下げずに使えるならいいですが
(ロス関数の重みの調節で出来ると思いますがトレードオフがあるのでGAN使う意味がなくなってきそう)
PSNRがBicubic以下になると
変換結果に不安があるため現在BicubcやLanczosが使われる領域での置き換えには使えないと思って避けています。
もちろんいくつかモデル作って選択できるようにすればいいだけですが
面倒なのでやっていない状態です。ResNetはdevブランチには入ってます。
0585名無しさん@お腹いっぱい。 (ワッチョイWW 4bc5-744s)
垢版 |
2017/01/15(日) 15:46:09.89ID:7I2qaVWZ0
>584
GANについては混合比率下げると
全くなしと見分けがつかないので
PSNRは必ず犠牲になる印象です

3dB近く悪くなるので受容できないで
しょうね

GANは学習すごく遅くなるので
つらいです

GANは学習回数多くしないとだめ
なのでもしかしたら今足りてない
可能性があるので後でしつこく
やってみます

作者さんも自分で実験するのが
めんどいと思うので結果はアップして
共有します
0586名無しさん@お腹いっぱい。 (ワッチョイ e1d2-suvD)
垢版 |
2017/01/15(日) 15:59:53.33ID:6WNzG8+M0
butteraugli というので本当に見た目の印象が定量評価できるならそれもあり思いますね。
僕が見た目の評価嫌う理由は、たいして見る目がない人がリンギングでまってくる画像を
くっきりしているからよいとか判定してしまうところにあるので。
0589名無しさん@お腹いっぱい。 (ワッチョイ e1d2-suvD)
垢版 |
2017/01/15(日) 20:38:29.02ID:6WNzG8+M0
SRGANはやろうとした人を何人も見ましたが
みんなうまくいっていないので
写真のモデルでcheckboard artifactを出さずに
論文の結果と似たような画像を生成できればそれだけで価値があると思いますよ
0590名無しさん@お腹いっぱい。 (ワッチョイ 0932-vSov)
垢版 |
2017/01/15(日) 21:26:01.39ID:0bystr9E0
SRGANはチャレンジですね。がんばってみます。
うまくいったら挑戦します。

butteraugli初耳だったんですが、スレ観たらビルドの仕方が
わからない人がいる模様。Linuxの開発したことのある人少ないんですかね。

Windows10のコマンドプロンプト開いて以下のコマンドで実行、

$ bash

コンパイラとライブラリインストール(zlibはpngと一緒に入る)、

$ sudo apt-get install gcc g++ make libjpeg-dev libpng-de

ソースコードのMakefileのあるディレクトリで

$ make

で実行ファイル作られます。bash上か他のLinuxマシンのみで動きます。

プログラマじゃない人も色々遊んでみてください。
0591名無しさん@お腹いっぱい。 (ワッチョイ 0932-vSov)
垢版 |
2017/01/15(日) 21:27:08.93ID:0bystr9E0
$ sudo apt-get install gcc g++ make libjpeg-dev libpng-dev

です。すんません。
0596名無しさん@お腹いっぱい。 (ワッチョイ e1d2-suvD)
垢版 |
2017/01/18(水) 15:39:56.54ID:xnw/jmuH0
やりたいことはYoutubeがすでやっている動画の再エンコと一緒じゃないかな
画質を改善するというより、苦情の少ない範囲で圧縮したいなので
運営としては通信量が減って嬉しいけどユーザーとしては以前よりも画質が悪くなるので
携帯事業者がやっていた「通信の最適化」と同じ考えだと思う
0599名無しさん@お腹いっぱい。 (ワッチョイW cf63-gIHQ)
垢版 |
2017/01/24(火) 00:16:40.73ID:RYhQuic60
>>598
Quadroの方が速いんじゃないですかねぇ?

↓の画像でXeon 16Core 3.6GHzで2分40秒ぐらい
CPU使用率は20%ほど XPx64環境で無理矢理実行したからちょっとアテにならないかもしれないけど
http://www.dotup.org/uploda/www.dotup.org1133523.jpg 変換元画像
http://www.dotup.org/uploda/www.dotup.org1133524.png 設定
0601599 (ワッチョイW cf63-gIHQ)
垢版 |
2017/01/24(火) 23:23:52.69ID:RYhQuic60
>>600
sampleのlogo.pngを2倍で16s、4倍で66s
sampleのphoto.pngを2倍で44s、4倍で200s
といった感じです

32倍をlogo.pngでやってみたら1876sとかかかったので、photo.pngの方は試してないですw
0603名無しさん@お腹いっぱい。 (ワッチョイWW 3332-z0uo)
垢版 |
2017/01/25(水) 21:02:31.59ID:idIVVLyq0
waifu2x研究家なんですけど
GANのPSNR問題解消しそうなので
週末画像出します

waifu2xと同じupモデルをこっちで
再現したものとの比較しますが
時間がかかるのでそれ以外との
比較は難しいです

何個かネタがあってそのマイルストーンです

3月に資料作るのでそのとき
リンク張ります
0604名無しさん@お腹いっぱい。 (ワッチョイ 4fd2-C7aL)
垢版 |
2017/01/26(木) 00:25:26.80ID:AnODLToW0
単純にはMSEとGANの出力を適当な割合で合成すればいいように思うけど
重くなるので学習の枠内でやれればいいですね

あとneural-enhanceの人も最近waifu2x的なやつをやろうとしているみたいです
https://twitter.com/madebyollin/status/823652970440986624
これは別の人の結果だけど、たしかに線はくっきりしているけど余計なことをしすぎているように見える
0605名無しさん@お腹いっぱい。 (ワッチョイ 2b32-xu7M)
垢版 |
2017/01/26(木) 06:13:14.86ID:9CM3n4Bd0
>604
適当な割合で合成すればいいんですけどふたつ問題があって

1. 適切な混合比率がタスクによって違う
2. 結果が不安定でうまくいってるエポックとそうでないエポックのばらつきが大きい

なので、前者については二乗誤差に対して何%GANを反映するのかって
コントロールを入れています。

GANが余計なことをするのは誤差のGANの項が正解データとの比較を
しないからじゃないかってことで正解データと比較するGANをは
考えてみました。

GANなしに比べてSSIM、PSNRは同等、butteraugliはかなり良くなってます。
正解データと比較する時点でGANの解釈がかなり変わるんですが
(評価中なので正確な値は週末出します)
0606名無しさん@お腹いっぱい。 (ワッチョイ 2b32-xu7M)
垢版 |
2017/01/26(木) 06:33:06.18ID:9CM3n4Bd0
わかる人がまわりにいないので、ここに書いてあれなんですけど、

従来のGAN)
Discriminatorで本物らしさを判定して誤差に反映

自分の手法)
本物らしさを学習したDiscriminatorの中間層の出力を
本物と生成データで比較、となります。

Discriminatorの中間層は通常の二乗誤差で比較するのと比べて
大幅に大きい情報量で比較するのと、Discriminator自体が
誤差関数になるので普通の二乗誤差と比べると複雑、高度な比較になります。

Twitterが出してる論文は物体認識を学習させたモデルで中間層の出力で
比較しろ、と書いてあって、これがコンテンツロスなんですが、
コンテンツロスの適用部分はGANに対してやった方がいいのでは
というのが自分の意見です。
0608名無しさん@お腹いっぱい。 (ワッチョイ 4fd2-C7aL)
垢版 |
2017/01/26(木) 13:58:06.91ID:AnODLToW0
イラストの超解像でperceptual lossにImageNetの学習済みモデルを使うのがよくないのは明らかなので
Discriminatorが使えるならそれは同じ解像度のイラストで学習しているわけだからよさそうですね
ただDiscriminatorは学習中に動くので不安定そうですが
GAN自体がそういうものなので動く感じでしょうか
0609名無しさん@お腹いっぱい。 (JP 0H73-xu7M)
垢版 |
2017/01/26(木) 14:51:03.26ID:owYC7mKIH
どうも、wiafu2x研究家の人です。

Twitter社の論文読んだとき、コンテンツロスがめちゃくちゃ
めんどくさいので俺はあきらめました(コンテンツロスのために
物体認識のタスクもやらないといけなくなるので大いに藪蛇)。

SRGANがみんなうまくいかない原因はsoftmax、softplusを
そのまま誤差にするから結果が不安定で調整が難しい、
のが大きなところかと思います。

そもそものDCGAN自体も論文の趣旨がうまく生成できる
パラメータが見つかりましたって部分ですからね。

ちなみに自分はSRCNNは勉強会の発表ネタなので、8月に
一か月実験したのと3月の発表があるのでそれで今だけ
やってるだけなので、先行技術のサーベイが非常に
あやしい(何も知らない)のでご教授いただけると幸いです。

今のところもう一個ネタがあって、画像ごとに重要度マップを
作って誤差に重み付けする方法を考えています。
多分来月前半には実験してると思います。
0610名無しさん@お腹いっぱい。 (ワッチョイ 4fd2-C7aL)
垢版 |
2017/01/26(木) 16:22:50.49ID:AnODLToW0
物体認識の学習済みモデルは配布されているので自前で学習する必要はないです(再現させる場合)。
generatorの出力とgroundtruthそれぞれをそのネットワークに入力して
適当な層(convの2,3層目)の出力が同じになるようにMSEを最小化するのがperceptual loss(コンテンツロス)で
それとdiscriminatorを使ったadversarial lossで
loss = perceptual_loss * perceptual_loss_weight + adversarial_loss * adversarial_loss_weight
を最小化するように拡大前の画像を入力とするgeneratorを学習するのがSRGANという認識です。
なので違いはコンテンツロスに使うモデルを変えているところだと思いました。
自分もGANはやったことがないので違ってるかもしれません。
0611名無しさん@お腹いっぱい。 (オッペケ Srbf-ITqy)
垢版 |
2017/01/26(木) 16:48:26.18ID:j7MEo8mlr
説明ありがとうございます
認識合わせできました

自分の場合は再現に興味がなく、
それは単に遊んでいるだけなので
学術的なアプローチはどうでもいいから何ですが

なのでさっさと自分の手法に取り込みたかったんですが
イラストに関しては分類器新たに
学習しないといけなさそうなので
めんどくさいなあと思ったんです

それとは完全に独立してganが
課題があったのでそれを考えてたら
最終的に元論文のやり方を捻る
方法になりました
0612名無しさん@お腹いっぱい。 (オッペケ Srbf-ITqy)
垢版 |
2017/01/26(木) 17:17:12.53ID:j7MEo8mlr
ganのloss_weightがセンシティブで
小さいと効かないし、大きいと
学習が発散するし、ギリギリねらうと
エポックごとに結果違うし、
学習データ変えると定数変わるしってのが
現状のsrganだと思います 

学習が重いのでいじっていると
疲れてくるので自分は安定した方法を
求めてます

自分の提案手法は安定してます
効果の評価ができてなくて
4倍拡大とかどうなるかわかりません
2倍だと良いんじゃないかなあと思います

後でスレの人に厳しいデータ教えてもらおうと思います
0618名無しさん@お腹いっぱい。 (ワッチョイ a239-WSvd)
垢版 |
2017/01/28(土) 15:35:09.06ID:iZRmUjsJ0
>>615
着色の精度はまだまだだけど、とても面白かったです。
学習が進めばもっとよくなると思うとすごい期待できます。
0619名無しさん@お腹いっぱい。 (ワッチョイ 4725-AZYz)
垢版 |
2017/01/30(月) 14:56:45.57ID:pPztTfPj0
あいかわらず
塗りつぶしになっちゃうよ
進歩がないなあ
AIダメっぽい
0625名無しさん@お腹いっぱい。 (アタマイタイーW 7a39-cbEw)
垢版 |
2017/02/02(木) 17:45:47.99ID:HLUwrrpx00202
waifu2xcaffeで600dpiの画像を2倍に変換したら
96dpiになったのですが、これは仕様ですか?
てっきり倍にしたのだから300dpiになるのかと思っていました。
0627名無しさん@お腹いっぱい。 (アタマイタイー 56d2-2lTc)
垢版 |
2017/02/02(木) 18:58:49.86ID:J3/O+Al000202
>>625
dpiは入出力デバイスの設定なのでwaifu2xの処理はそこに関与しません。
画像のメタデータに特に気を使っていないので印刷サイズには既定値が入っているのだと思います。
印刷や入稿等で必要なら別の方法で再設定出来ると思います。
0628名無しさん@お腹いっぱい。 (ワッチョイ 7a39-BdZd)
垢版 |
2017/02/03(金) 10:31:32.28ID:GXC4yUrd0
>>626
>>627
ありがとうございます。
実感としてきれいに見ることができているので少し疑問に思い質問させていただきました。
dpiについてwaifu2xはいじっていないのですね。
dpiやppiのデータ上の数字は気にしないことにします。
(印刷とかはしないので)
0635名無しさん@お腹いっぱい。 (ワイモマー MM1a-1ST5)
垢版 |
2017/02/05(日) 23:27:16.44ID:LHzxPccgM
madVRにおけるNGU pixart特化版のテスト中みたい
NGU無印やwaifu2xと比較するとやや眠くなるものの、例のジャギー問題もこっちなら出なさそう
旧来のNNEDIを正統進化させたような画になってて、処理負荷は低い

Original     ttp://madvr.com/mario/org.png
waifu2x     ttp://madvr.com/mario/waifu2x.png
NGU VH    ttp://madvr.com/mario/NGUveryHigh.png
NGUpixart VH ttp://madvr.com/mario/NGUpixartVeryHigh.png
NNEDI256   ttp://madvr.com/mario/nnedi256.png
0644名無しさん@お腹いっぱい。 (ワッチョイ 263b-P6gz)
垢版 |
2017/02/10(金) 19:41:32.41ID:jEc7Edve0
9日に緊急のWindows UpdateとやらでGeforceのドライバが更新されて
Waifu2x-caffeを使うと「CUDAドライバーがインストールされていない〜」状態になった

一応、システムの復元で元に戻したけど....作者さん助けて(もう見てないかねぇ)
Windows10は勝手にアプデかかるから困った
0649名無しさん@お腹いっぱい。 (ワッチョイ e932-oA82)
垢版 |
2017/02/11(土) 20:36:55.90ID:Kr/JTqjP0
butteraugliの値は低い方がいいはず
なので俺の手法の方が良い

俺の手法は主に計算量をwaifu2x/UPモデルより計算量を1/4にしていますが8層です。
実質的に層の数が多いのが効いてる可能性もありますが不明です。

すみませんがこちらの都合でアルゴリズムは非公開です。
ここで話が出ていた俺手法のGANについては今再試験中です。
0652名無しさん@お腹いっぱい。 (ワッチョイ e932-3CwI)
垢版 |
2017/02/12(日) 11:08:12.78ID:ra0YTrEG0
どうも、wiafu2x研究家の人です。

評価結果以下に置いてあります。
2000エポック学習させた最終100エポックの画像も付けているのでデータでかいです。
評価できる人がいたらみてやってください。

https://remoteplace-my.sharepoint.com/personal/t-matsu_office_remoteplace_net/_layouts/15/guestaccess.aspx?docid=0eb33501796144cb0abeadc2dd87b74d3&;authkey=AbBvhLq0ewcbScMYwVYIx4c&expiration=2017-03-14T02:04:18.000Z
0654名無しさん@お腹いっぱい。 (ワッチョイ e6d2-0UxM)
垢版 |
2017/02/12(日) 18:47:05.95ID:T/zbW8Mv0
>>648
その値は画像数百枚の平均ですか、1枚だけですか。
waifu2xと書いてあるものはネットワークの定義だけ持ってきて独自に学習したものですか。(そうだと予測)

元画像を探してきてLanczosで1/2にしたあとにwaifu2x配布モデルで拡大すると明らかに結果が違います。
http://ccsaku.moe.hm/gyazo/data/18eac1728b714cfe64b7843ae5a91499.png
左が評価に使用されている超解像/waifu2xモデル/model_u01999.pkl.pngで、右がwaifu2xの配布モデルの拡大結果です。
左はかなりぼやけていて
PSNRも 超解像/waifu2xモデル: 27.717, waifu2x配布モデル: 31.771
と4dBも差があります。ちなみにLanczosが26.449です。
waifu2xと書く場合はこちらの配布モデルと比較して欲しいです。
学習データは、2012年に作ったものなのでそれよりも新しい画像は使われていません。

添付の結果については、見た目はほとんど違いが分かりませんが
GANありは顎のラインと鳥の下の髪あたりにcheckboard artifactが出ています。
各エポックで結果が揺れるならエポックごとにvalidationしてそれで一番よい値の時だけ
パラメータ保存しておけばいいと思います。
0656名無しさん@お腹いっぱい。 (JP 0H09-3CwI)
垢版 |
2017/02/13(月) 12:19:52.07ID:BMiBMFwmH
>654
確認ありがとうございます!!!
waifu2xと書くのは問題ありそうなのでいい呼び方があったら教えてください。

waifu2xと直接比較しないのは、不明な工夫(学習データ、アウギュメンテーションなど)
がたくさんあり、それを見切れないので比較しようがないというのがあります。
条件を合わせているのは層の数、チャンネル数だけです。
そちらの方としてはあまり変わったことはやってないかもしれませんが、
こちらはそれがわかりません。

とりあえずこれでいい結果が出る手法が発見されればwaifu2xにバックポートすれば
性能上がるのかなと思います。

PNSRなどは2000エポックのうち最後の1000エポックの平均です。
画像を複数枚評価するのは時間的に厳しいのでできていません。

アーティファクトについてはしらなかったのでそういう指摘は助かります。
GANは2000エポックで収束してないというか収束しそうにないので
俺手法のGANの効果については今のところ自分も懐疑的です。
0657名無しさん@お腹いっぱい。 (ワッチョイ e6d2-0UxM)
垢版 |
2017/02/13(月) 15:10:31.44ID:eYxsvRKA0
>>656
waifu2xはごちゃごちゃやっていることが多いですがそこまで影響していないと思うので
4dBも違うのは教師データの位置がずれてるか学習の方法かハイパーパラメータが悪いのではないかと思います。
最初に近い精度までは持って行かないとなにか間違いやバグがある可能性があり信頼できなくなります。
waifu2xは写真データで既存手法と同じくらいの結果が出るところまでは調節しています。

waifu2xの学習の基本的なところは、
- 入力画像のランダムな位置から96x96の領域(patch)を切り取り(y)
- それを48x48に縮小(x), 縮小アルゴリズムはBox(平均画素法)とlanczosをランダムに使う
- CNNにxを入力して82x82の出力を取得(zero paddingがないため(96-14)^2になる)
- 出力とyのピクセル位置が合うようにyを82x82に切り取り
- (x-y)^2 誤差を計算してパラメータを更新
で、実際には、画像単位で縮小してその中から64領域を切り取って、xと対応するyもあらかじめ作りながら
画像数*64の(x, y)ペアを作った後にシャッフルしてbatch_size=16, optimizer=Adam(alpha=0.00025)で学習を回しています。
64領域のサンプリングは2エポック毎に行っています(ランダムな位置から再度作り直す)
patch_size, batch_size, Adamの設定は結果への影響が大きいです。

>画像を複数枚評価するのは時間的に厳しいのでできていません。
学習に使わない画像を100枚くらい外しておいて
学習済みのモデルでベンチマークするコードを書いておけば実行は5分もかからないと思います。

>>655
反映されているようです。ウェブ版にICCプロファイルの対応入れています。
0658名無しさん@お腹いっぱい。 (JP 0H09-3CwI)
垢版 |
2017/02/13(月) 17:35:47.49ID:BMiBMFwmH
4dB問題は知ってたんですけどいくら確認してもおかしいところが
見つからないのでwaifu2xが何かやってるんだろうととりあえず放置していました。

そちらからみておかしい、とのことですのでもっとしっかりデータ確認します。

ありうるのはサブピクセルレベルでのピクセルずれ(縮小時に奇数ピクセル数だとずれるとか)が
ありうるかと思いますが、そちらで情報開示してもらったのでそれに合わせてやってみます。

縮小フィルタの特性を学習してしまう問題も知ってるんですけど、そういう回避方法は
考えていませんでした。やってみます。
0660名無しさん@お腹いっぱい。 (ワッチョイ e6d2-0UxM)
垢版 |
2017/02/14(火) 00:43:58.37ID:9afuuku60
>>82x82
upconv_7の出力は68x68でした。(96-14*2)
>縮小時に奇数ピクセル数だとずれるとか
これは必須です。もし対策していなければこのせいじゃないかと思います。
waifu2xは学習画像読み込み時点で4の倍数になるようにしています。(4xもあるため)
またpatchを切り取る位置も元画像側の位置が奇数になると縮小側の位置がズレます。
0661名無しさん@お腹いっぱい。 (ワッチョイ 7332-K3GY)
垢版 |
2017/02/17(金) 20:31:02.69ID:ISS8P0MC0
超解像頑張り中の人です。

とりあえずwaifu2xのソースコード読んでコンボリューションの初期値あわせてみたり、
変な処理をしていたのを直したり色々やったところ1dB改善しました (PSNR=28.5dB)。
視覚的には大幅な画質向上があります。

AdamのAlphaは小さくしたほうが確かに学習安定します(当たり前)。

言われたところは全部直したつもりなんですが、誤差関数が何かやってる様子。
よくわかりません。HunberLossも使っているのか使ってないのかわかりませんし...。

とりあえず1バッチ=12画像、1エポック=100バッチで2000エポックで学習が
収束しきってないのでがんばればPSNR=29dBまでは行くと思うんですが
31dBかかなり厳しいです。30dB行ったら諦めます。

俺的には学習データ数が少ない、augumentationがまずいってところかなあと思います。
学習データはすごく重要なんですけど、俺にはそこに情熱がない...。

こっちの学習データは250枚、augumentationは上下、左右反転、45度ローテーション、
ノイズ付加、画像縮小です。

ほんまwaifu2xはエンジニアリングの塊なので一朝一夕には追いつけませぬ。
(諦めてるので追いつく気なし)
0662名無しさん@お腹いっぱい。 (ワッチョイ f7d2-ZUJW)
垢版 |
2017/02/17(金) 22:19:08.74ID:AmcVWIz30
>>661
HuberLossは使っていますが多分それほど関係ないです。(というかMSEのほうがPSNRは高くなると思います)
誤差はノイズ除去で色が劣化しているのを直すときに
下げれる誤差に限界があるので、YUVのYの重み(0.299 × R + 0.587 × G + 0.114 × B)にあわせて
チャンネルごとの誤差の重みを調節しているだけなので、拡大の場合はそれほど関係と思います。
学習データが少ないのはあるかもしれないですが、今はパッチを切り出さずに画像単位でforward/backwadしているでしょうか?
小さなパッチを切り出してからシャッフルして小さいminibatchで学習するのはとても重要です。
画像単位だと例えば1280x720だった、出力が86万個の変数になって
この平均誤差をbackwardすることになるので、画像内のある小さな領域内で誤差が大きかった場合でも平均されて消えてしまいます。
特にイラストの場合は何もない背景が多くて、そこは誤差がほぼゼロになるため平均されて誤差が消失しやすいです。
(waifu2xはパッチを切り出した後パッチ内が単色背景の場合は50%くらいの確率で捨てるような処理も入っています)
また学習データ少ない場合でも、たとえば96x96のパッチだと画像1枚から70万通りくらいの切り出し位置があるのでデータ増加にもなります。
0663名無しさん@お腹いっぱい。 (ワッチョイ f7d2-ZUJW)
垢版 |
2017/02/17(金) 22:33:15.43ID:AmcVWIz30
>AdamのAlphaは小さくしたほうが確かに学習安定します(当たり前)。
あと書いていませんでしたが、0.00025から初めて最終的にその1/10くらいになるように減らしていっています。
Adamは学習率が自動調節されるようなことが書かれていることがありますが
パラメータの要素単位の正規化をやっているだけなのでalphaを減らすのは意味があります。
なので最終的なエポックで1/10くらいになるようにalphaをスケジュールしたほうがPSNRは高くなります。
調節が難しければ、80%くらい進んだ後で1/10にして残り20%を回すくらいでも十分意味があると思います。
0664名無しさん@お腹いっぱい。 (ワッチョイ 7332-K3GY)
垢版 |
2017/02/17(金) 23:47:35.21ID:ISS8P0MC0
画像は教えてもらったパッチサイズに分割しています
当然シャッフルしています

SGDなんかでは学習率を減衰する正則化は普通ですけど
Adamでも効果あるんですね。というかそんなに小さな学習率で
PSNR向上するのか...。
0669名無しさん@お腹いっぱい。 (ワッチョイ 7332-K3GY)
垢版 |
2017/02/19(日) 20:45:41.75ID:Io/fs1qe0
超解像で遊んでいる人です。

waifu2xの方の話を聞いてて自分の中で結論が出たのはSRCNNの
画質はずばり精度で決まるということですね。

学習率が異様に小さいのが納得していなかったのですが、
多分SRCNNの重みの調整は超絶微細な学習です。
なので高めの学習率で荒い調整したら細かい調整がいるのかなと思います。

例えるなら7層のネットワークの調整は7枚のレンズの焦点を
あわせるようなもんかなあと思います。

なので処理の過程で精度を落とすような処理は厳禁ですし、
学習データも多い方が明らかに有利です。
なのでかなり気をつかった実装が必要かなと思います。

PSNRは改善してきましたが、やはりノウハウの塊であるwaifu2xを
越えるのは難しいかなと思います。自分はアルゴリズムの方に
興味があるのでそっちがんばります。

自分とwaifu2xの作者の方は目指しているところがまったく逆なので
競合しなかったのが救いです。
0670名無しさん@お腹いっぱい。 (ワッチョイ 7332-K3GY)
垢版 |
2017/02/19(日) 20:46:05.85ID:Io/fs1qe0
先日専門家の方からsaliency mapという手法を教えてもらったので
視覚ベースの高精度化の実験やってます。定量化が難しいですけど
なんとなくbutteraugliは向上しそうな気がします。

あとGANの識別器から重要な画素の情報を計算する方法も考えたので
それも実験中です。

手垢が付いてない分野なので色々新しい手法が見つかります。
0675名無しさん@お腹いっぱい。 (ワッチョイ 7fe5-WLWd)
垢版 |
2017/02/25(土) 22:33:37.42ID:lgzXMqNX0
>>674
動画とブログに書きましたが、速度はこのソフトを使ったほうが早くなります。
画質には普通に拡大した場合と比較して違いはありません。
0679名無しさん@お腹いっぱい。 (ワッチョイ 6fd2-zPQB)
垢版 |
2017/02/26(日) 22:12:33.57ID:Xy6B3Z1p0
面白いな。素材がとにかく低ノイズじゃないと差分がいい具合にならない気はする。
実写だとどうだろうなぁ。実写動画でいろいろ拡大絡みのことはやってみたいと思ってるんだけど。
0680名無しさん@お腹いっぱい。 (ワッチョイ 7fe5-WLWd)
垢版 |
2017/02/26(日) 22:41:32.17ID:uRk4b+bo0
>>679
閾値の値を調整すれば程度は対応できますが、
完成した時にブロックノイズが現れることがあるので調整が難しいですね。
0684名無しさん@お腹いっぱい。 (ワッチョイ 3a44-kj3l)
垢版 |
2017/03/04(土) 17:25:09.45ID:RVxD/uAR0
>>682
学習データの蒐集方法が謎w
0688名無しさん@お腹いっぱい。 (ワッチョイ 6dd2-b6g9)
垢版 |
2017/03/06(月) 14:05:04.79ID:gas2tGQp0
マジレスすると、モザイクの範囲や解像度は入力によって異なるので復元を学習するのはなかなか難しいと思う。
モザイクの顔が復元できるよみたいなデモは
入力が8x8のモザイクで出力も位置合わせされた顔しかありえないなど限定された条件の結果なのでまだ実用的ではない。
0693名無しさん@お腹いっぱい。 (ワッチョイ e339-KHUK)
垢版 |
2017/03/12(日) 06:36:21.76ID:hZc07GQB0
>>696
何でわざわざそんな古いバージョンを…
20160101が最新だよ
http://d.hatena.ne.jp/w_o/20150629/1451664048

あと最近、海外の人が作った派生もある
https://github.com/DeadSix27/waifu2x-converter-cpp/releases

同梱されているモデルのバージョンが新しい
ノイズ除去レベル3が追加されている(なぜかレベル0は追加されていないが)
今後も更新がありそう
などのメリットがある
0696名無しさん@お腹いっぱい。 (ワッチョイ e3c6-bLfO)
垢版 |
2017/03/15(水) 01:31:35.13ID:NMYyqaAt0
>695
koroshellフォルダに「waifu2x-converter」サブフォルダ作って、
「waifu2x-converter_x64.exe」にリネームすれば、使えますよ。
ノイズ除去は、なし(Lv0)、弱(Lv1)、強(Lv2)までしか選べないので、
Lv3使えないけど。
0697名無しさん@お腹いっぱい。 (ワッチョイ 3a82-bHoN)
垢版 |
2017/03/17(金) 17:24:03.19ID:FhgIFmLg0
自分用にこういうの作ったから良かったらどうぞ
基本的にただのフロントエンドなので元のソフトの機能しか使えないですが
http://i.imgur.com/6j4XHEy.png
https://www.dropbox.com/sh/0y9scaml78otum2/AAAs4sTIHQWn_UfYCwwC95VKa?dl=0

https://www.virustotal.com/ja/file/67cc556ad135c2ab85d83b4bd92e6735b873904ff42a38f9022719435996d9e9/analysis/
https://www.virustotal.com/ja/file/c06ba95ca00297f0d7e8892bb350899337d50f7c30a5f9e104e58e8ba96107d7/analysis/

かなり強引な方法ではあるけど、フォルダも処理出来る(多分)ので>>673フソフトとも連携できるはず
0699名無しさん@お腹いっぱい。 (ワッチョイ 3a82-bHoN)
垢版 |
2017/03/17(金) 23:37:27.66ID:FhgIFmLg0
>>698
基本的にはそういう感じですが使い勝手は異なるのでどちらが良いかは人によるかと思います。
具体的には画像をドラッグ&ドロップしただけでは変換が始まらないので何枚もポンポン放る使い方をする方はkoroshellのほうが良いかもしれません。

koroshellより優れていると思うところは

フォルダをサブフォルダごと処理出来る(多分)
同梱モデルが新しい
最初からtanakamura氏のwaifu2x-converter-cppを同梱をしてあるので差し替える必要がない
イラスト用モデルと写真用モデルの切り替えができる
ノイズ除去レベル 0〜3まで使用可能

ですかね。
0710名無しさん@お腹いっぱい。 (ワッチョイ 29f6-SPHJ)
垢版 |
2017/04/03(月) 23:08:06.81ID:X2+lQHyy0
ドライバ更新したらCUDA変換できた

>ある程度大きい画像だと違いはあまり感じられないのね
画像によるけどフォトショ等で一旦縮小してからやると綺麗になったりする時もあるよ
0711名無しさん@お腹いっぱい。 (アンパン d146-YuVY)
垢版 |
2017/04/04(火) 06:54:31.05ID:IKEv3bLo00404
ん、GUIで高さ指定の場合に入力値が横幅として処理されちゃってる?
横幅指定は正しく横幅になり、縦x横指定の場合もその通りになる
ファイル名の付き方は指定の通りになってる
0712名無しさん@お腹いっぱい。 (ワッチョイ 3720-+TA9)
垢版 |
2017/04/08(土) 18:15:39.34ID:rclrmZXV0
>>711
致命的バグが修正されませんね。
0718名無しさん@お腹いっぱい。 (ワッチョイ 8b54-XZJj)
垢版 |
2017/05/02(火) 15:42:24.70ID:JQ04n9gT0
これすげえ。

ディープネットワークによる
シーンの大域的かつ局所的な整合性を考慮した画像補完
http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/ja/

様々なシーンの画像補完(Places2データセット)
http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/images/results/results.png
顔画像の補完(CelebAデータセット)
0734名無しさん@お腹いっぱい。
垢版 |
2017/05/10(水) 10:54:53.09ID:9A/riYfT0
仕事で衛星写真系の超解像を齧ってるんだが
既存のアルゴリズムだとなかなか思ったようにはいかないものだな
学習ベース(元画像から縮小)は現状数十万件あることは有るのだが
0737名無しさん@お腹いっぱい。 (ワッチョイ 13ec-bQOW)
垢版 |
2017/05/11(木) 16:24:41.03ID:SMDSeqjX0
衛生写真の超解像ってセンサ的に撮れないものを出そうとしているならそれは無理なので
検出したい物体だけ小さくても周りの状態や別の情報から検出できるようにするとか問題設定を変えたほうがいい気がする
最近kaggleでも衛生写真の領域分割(車、道などの分類)や位置合わせなどやっていたよ
0739名無しさん@お腹いっぱい。 (ワッチョイ 3f3a-+8ye)
垢版 |
2017/05/13(土) 15:49:39.24ID:FAb2LKwd0
>>692
これの導入が間違ったのかな
waifu2x_koroshellが本体?
waifu2x_koroshellのwaifu2x-converterフォルダにwaifu2x-converter_x64_0629_02の中身上書きしたら応答停止になった

つかwaifu2x_koroshellオリジナルが2分半かかったけどtanakamuraオリジナルは30秒未満だったよw
0756名無しさん@お腹いっぱい。 (ワッチョイ 0fec-YwAU)
垢版 |
2017/05/26(金) 17:05:25.15ID:8jEqXNTn0
まともな画質になる範囲なら大アリだと前から思ってたけど
読みながら拡大じゃ遅すぎるから
買ってダウンロードした直後か読む前に全ページ拡大かねえ
それにしたって時間かかるな
画像部分と写植部分のデータを分けて文字はリアルタイムレンダリングなら理想じゃねって思ってる
フォントは必要に応じてダウンロードされる想定
0770名無しさん@お腹いっぱい。 (ワッチョイ f7f9-nEVa)
垢版 |
2017/06/27(火) 02:19:37.15ID:QcSZqwrU0
米尼から買った1080Tiを1060に追加して(学習ベース構築の段階)24時間回してるんだが
工業扇が50wくらい食ってるが、1月あたりの電気代が6千円→1万越えにw 

ガレージ設置で計測機が別系統なのでわかりやすい・・・設置するまでは基本料金に収まってたのよね
0783名無しさん@お腹いっぱい。 (アウーイモ MM3a-waq5)
垢版 |
2017/07/17(月) 22:45:44.84ID:oOoQzt3uM
>>782
というより、ほかのソフト開発者なり開発会社が未だに参入してこないことに不自然さを感じる。
本家自体も最近動きがないところを見ると、何かしらの根本的な問題でも抱えているのだろうか?
最近madvrの拡大処理の進展具合を見ていないからわからんが、あちらのほうが未来があるのだろうか?
0789名無しさん@お腹いっぱい。 (ワッチョイ aef9-QOkd)
垢版 |
2017/07/18(火) 01:45:26.20ID:PfbLynbe0
大手企業かつ政府支援プロジェクトともなると
ASIC/FPGAにも詳しいエンジニアも容易に自社調達できる良い環境だなぁ
最適化したコードかつ、自社生産のカスタムASICを利用した電算機にとか羨ましい

個人趣味で汎用コンピュータを使っている以上、電気代も馬鹿にならん
ライブラリ構築だけでも面倒クセぇ、処理能力レンタルするとこれまたコストが
0803名無しさん@お腹いっぱい。 (ニククエ beec-QFBF)
垢版 |
2017/07/29(土) 21:22:36.12ID:ZE6rDzLe0NIKU
waifu2xのサーバーが外部のアプリから使用されていて開発者が使うのやめる気ないようなのと
そこからのアクセスが多すぎて処理できないのでreCAPTCHAを導入しました。
クソメンドイですがご了承下さい。
表示されない場合はリロードすると出てくると思います。
0808名無しさん@お腹いっぱい。 (ワッチョイ beec-QFBF)
垢版 |
2017/07/30(日) 14:47:13.09ID:CvwU+lTS0
実行ボタンの上のreCAPTCHAという領域にチェックをつけていると動くと思います。
回答の再利用はできないので、1画像変換ごとにチェックを付ける必要があります。
reCAPTCHA自体が動いていないなどありましたら、実行環境を書いておいて下さい。
0810名無しさん@お腹いっぱい。 (ワッチョイ beec-QFBF)
垢版 |
2017/07/30(日) 15:16:43.84ID:CvwU+lTS0
分かりにくいので、チェックがついていない時は実行/ダウンロード押せないようにしました。
またページをチェックを付けれていても答えが間違っていると(?)たまに認証に失敗することもあるようです。
チェックだけ済むのは、疑われていないとき?で
何度もやっていると、画像の問題に答えないと通らなくなる気がします。
0816名無しさん@お腹いっぱい。 (アウーイモ MM9f-xPEB)
垢版 |
2017/07/31(月) 22:34:04.82ID:5UmyApl0M
webベースでのサービスは、常に不安定さとの戦いになる。
しかし本家がwebベースでの公開にこだわる以上、ユーザーサイドではどうしようもない。
caffeが唯一の救いではあるが、本家とcaffeの作者それぞれに依存する度合いが高いので、この状態も安定しているとは言い難い。
Gimpのプラグインのような形式にして、ソースコードをオープンにとかならば、誰か頑張るとかで継続性はやや向上するだろうけど。
0825名無しさん@お腹いっぱい。 (ワッチョイ beec-QFBF)
垢版 |
2017/08/02(水) 16:23:33.11ID:fcBUe8KN0
ウェブのサーバーは GRID K520 を 4つ使っています。
混んでいる時間帯でなければそれなりに速いと思います。
reCAPTCHAをいれてから連続アクセスしにくくなったからか体感的にはかなり速くなっています。
0827名無しさん@お腹いっぱい。 (ワッチョイW e3d2-KhZc)
垢版 |
2017/08/02(水) 18:09:49.64ID:I8D/7zTO0
すごい助かってる
さんきゅ
0829名無しさん@お腹いっぱい。 (ワッチョイW 3b89-OC4/)
垢版 |
2017/08/03(木) 14:35:42.81ID:gWZ+CKtM0
初めて書き込みます。
本家もmulti?も繋がらない…

しばらく待つしかありませんか?
0837名無しさん@お腹いっぱい。 (ワッチョイ 8101-/FH4)
垢版 |
2017/08/08(火) 00:30:49.74ID:MEpIWrBJ0
FFGの勢いは近年すごい気がしたけど、18の一軒で一気に地に落ちたな。
今まで敵をたくさん作ったので、連合を作ってFFGの牙城を崩すなら今しかないのかな。
といっても九州地銀の弱腰経営陣には無理か。あの18が負けてもないのにFFGに下ろうとしたくらいだからなぁw
ちゃんと将来考えて動いてくれよ経営陣w
0847名無しさん@お腹いっぱい。 (ワッチョイ 4eec-62b8)
垢版 |
2017/08/14(月) 16:02:00.01ID:vUUbKi4a0
>>832
データセットは公開されているので http://groups.csail.mit.edu/graphics/fivek_dataset/
対応を学習することはできますけど
写真の後処理を機械学習で自動でやろうとか実際考えるものでしょうか?
そこは写真作りで一番重要なところだから自分でやりたいと思うんだけど
そこにあまり興味ない人には自動でできたら便利なのかな
0848名無しさん@お腹いっぱい。 (アウーイモ MMc7-rsxG)
垢版 |
2017/08/14(月) 21:02:10.99ID:xdKrTCwJM
>>847
どの程度の処理までさせるか次第なのでは?
元画像よりコントラスト比なども含めた変化まで強制的にお仕着せになるならば困るけれど、リンク先が言うレタッチ的な要素が
waifu2xで発生する例の輪郭の不自然さを旨く手直しするような作用をしてくれるのならば、やる価値はあるかと。
いいところだけ旨く流用できれば一番いいのでは?
0850名無しさん@お腹いっぱい。 (オイコラミネオ MM06-AZXx)
垢版 |
2017/08/15(火) 14:43:30.10ID:Rjv4SHNTM
そこら辺のプログラマでもネタで
深層学習一発ネタやってるし、
まともなプログラマなら誰でもできる
ようになってるんだが

waifu2xのツール類が充実してるのは
基本的な考え方が簡単なのはあるよ

waifu2xがすぐれてるのはそういうところじゃない
ノウハウや学習データセットの
作成だと思うよ

やってみたらわかるけど同じ性能出すの
かなり困難
0857名無しさん@お腹いっぱい。 (ワッチョイ b187-4mbe)
垢版 |
2017/08/21(月) 12:11:16.37ID:fEWkVfat0
>>835
それの中身-----------

よくある質問

どのような技術で使用されています?
最新の深い畳込みニューラルネットワークを用いた。それは知的に品質を失うことなく彼らを大きくする絵の中の雑音とセレーションを減らします。例示の写真を見る

違いは何ですか?
PSのような他のソフトウェアで、絵はまだファジールックを拡大、
および可視ブラーと雑音があります。
当社の製品は絵の線と色のために調整された特別なアルゴリズムとニューラルネットワークを使用し、
この拡大効果が優れている。色はよく保たれており、ほぼ格子または倍増は見えません。
もっと重要なのは、雑音、品質に重大な影響を及ぼすことができない結果、
イメージで見られる。

拡大するのに最適な画像は何ですか?
アニメ/ファンアートの写真は最高です。
0858名無しさん@お腹いっぱい。 (ワッチョイ b187-4mbe)
垢版 |
2017/08/21(月) 12:11:39.99ID:fEWkVfat0
画像の限界は何ですか?
現在3000x3000解像度をアップロードすることができ、10MB以下の写真。

スピードはどうですか?
スタート後予想の処理時間が表示されます。
よっの倍率と画像サイズ、増幅時間が異なり、数分から数十分不等。
実際には予想時間が少し短い時間が少し短い。

なぜ失敗拡大?
ネットワーク環境と同時に受けサーバー使用人数の影響があって、
とても小さい確率が増幅して失敗すること。
もしあなたがこのような状況に会ったら、数分でもう一度試してみてください。

拡大を開始している間はブラウザーを開いたままにする必要がありますか?
もしあなたは登録が、そんなにずっと保持ブラウザを開いて、
さもなくば紛失増幅のピクチャー。
もしあなたは登録したが、それがブラウザを閉じ、支持拡大オフライン、
壱時間またダウンロードできますよ。

自分の歴史記録をどう見る?
登録後、記録と自分の歴史記録を調べて。

もっと写真を拡大するには?
このツールのサーバーの支出を維持するため、有料の拡大サービスを提供します。
有料のアップグレード口座後使え独立の高性能サーバ、拡大写真をより速く、より多く、より安定した

--------------

日本語おかしすぎなwww
0863名無しさん@お腹いっぱい。 (ワッチョイ 578e-nhGI)
垢版 |
2017/09/08(金) 13:05:18.06ID:R3L5IwMm0
ノイズっていうか輪郭周りの不自然さ問題は、今の手法のままで対策するとなると、音声の処理でよく用いるオーバーサンプリング処理的な
考え方で攻めたほうが解決しやすいのではないかとも思う。
つまり、現状は縦横2倍(画像情報量で言うと4倍)に拡大をストレートに行っているけど、どうしても丸目誤差の問題が出るし目につきやすい。
(TTLモードで、画像を回転させる手法で幾分の軽減はされるが、根本的な解決手法ではない)

ならば、サンプル画像の確保が大変にはなるが、8倍オーバーサンプリングとでもいうか、内部処理的に縦横8倍(画像情報量で64倍)にすることを
前提に設計し、拡大後に縦横2倍(画像情報量で4倍)までダウンスケール、つまり縮小すれば、丸目誤差に伴うノイズというか荒らは気にならなく
なるのではないかと思う。
情報量が従来の計算に比べ16倍にはなるけれど、TTLモードを使うことを考えたら結局時間的には大差ないのではないかと思わなくはない。

ただし、縦横8倍の差をディープラーニングするためのサンプル画像がかなり大きなサイズの画像が必要になることがネックだろうと思われる。
このあたり、作者氏の手間の問題になってくるから、ユーザーがどうこう言いにくいところではあるのだが。
0864名無しさん@お腹いっぱい。 (ワッチョイ 0b87-xkdj)
垢版 |
2017/09/08(金) 18:43:51.46ID:WUxLR/XY0
>>863
TTAモードのことを言ってるんだろうけど、それとリサイズのアルゴリズムは根本的に関係ないんじゃないの
ダウンサンプリングすればいいと言うけど、それはどんな手法を使うんだい?

画像処理のコストはめちゃくちゃ下がってるし、waifu2xにしても自分で用意したデータセットで学習する手引もされてる
具体的なアイデアがあるなら試してみるといいよ
0878sage (ワッチョイ e5ec-6smv)
垢版 |
2017/10/03(火) 18:49:13.53ID:1vKvOmgu0
>>877
reCAPTCHAの認証に失敗すると出てます。
全体の3%くらいでそんなに出ていないので
それ以上の確率で発生しているなら環境か回答に原因があると思いますがよく分かってないです。
判定には、reCAPTCHAの入力(マウスの軌道,画像問題が出たならその回答)、端末のIPアドレスが使われてます。
0882名無しさん@お腹いっぱい。 (ワッチョイ b625-P+uR)
垢版 |
2017/10/10(火) 02:22:10.25ID:PBW0sxG70
waifu2x-caffeで縦横幅両方指定すると横だけ指定した場合に比べてかなり時間かかるけど、
縦横幅両方指定だと単純に2の累乗倍して縮小するだけじゃない何か別の処理してるのかな
0885名無しさん@お腹いっぱい。 (ワッチョイ b625-P+uR)
垢版 |
2017/10/11(水) 16:33:54.83ID:t/Umntra0
色々試してみたが、(自分の場合)どうも一定以上縦長の画像を拡大してみたときに縦横幅両方指定/横だけ指定で処理時間に差が出るようだ
例えば500x1000の画像を横幅800pxで拡大したときと800x1600で拡大したときとか
処理時間だけでなく結果も明らかに違う
0887名無しさん@お腹いっぱい。 (ワイモマー MMfa-wbjw)
垢版 |
2017/10/11(水) 21:01:30.37ID:M5faF1lLM
例えば500x1000の画像を横幅800pxで拡大したときと800x1600で拡大したときとか
処理時間だけでなく結果も明らかに違う

横幅のみは 1.6倍 プロファイル使って1回
両方指定は 2.0倍 4分割から縮小

と違う経路になってるかと。 886の時間差的にそれっぽい
0900名無しさん@お腹いっぱい。 (ワッチョイ 698e-ORd8)
垢版 |
2017/11/01(水) 16:47:19.17ID:gUHZ+jN20
・ガビガビの低解像度写真を高解像度な写真に変換できる「EnhanceNet-PAT」が登場
https://gigazine.net/news/20171101-algorithm-low-resolution-images/

この研究の前は、最先端の超解像技術でさえ、画像の中にぼやけた部分やざらざらした部分を持っていました。
その理由は、『高精細な画像になるようにオリジナル写真を再構成させる』などのニューラルネットワークでは実現不可能なことを、ニューラルネットワークに要求していたからです。
そのため、超解像技術で作成された画像は、一部がぼやけていたそうです。
そこで、我々はニューラルネットワークにより高精細なテクスチャーを作成してもらう、という異なるアプローチを取りました。
この手法ではニューラルネットワークが画像全体を見て、領域を検出し、意味情報を使ってより高精細なテクスチャーを作成し、高解像度の画像を作成します」

能書きはいいから早く一般人が利用できるようにしてくれ!
0908名無しさん@お腹いっぱい。 (ワッチョイWW 928e-KgVj)
垢版 |
2017/11/02(木) 21:19:44.34ID:I7cvRq4a0
ゾンビ化以外は、従来版よりいいね。
従来版の輪郭が溶ける問題は発生していないから、ゾンビ程度ならペイント程度でも局所的に簡単に手直しできそうだし。
(輪郭が溶けるほうは、ペイントで簡単に手直しとはいかないし)
0913名無しさん@お腹いっぱい。 (ワイモマー MM62-Q/5A)
垢版 |
2017/11/03(金) 18:36:36.38ID:VfeW0NTrM
同一画像については変換パラメータ変更での再処理は○回まで無料とかは欲しいが
利用量(枚数、サイズ)に応じた従量制課金かプリペイド制のサービスになると利用しなくなる法則

オンライン変換サービスしてる人も課金モデルでその部分指摘してたな
0916名無しさん@お腹いっぱい。 (ワイモマー MM62-Q/5A)
垢版 |
2017/11/03(金) 23:10:14.26ID:VfeW0NTrM
画像系ディープラーニングの学習データの量はニューラルネットワークで定義されてる係数やフィルタの数で固定される
学習サンプルが多いとデータが増えるわけではなく、固定サイズの学習データの質がサンプルの内容に応じて最適化されていくだけ
0917名無しさん@お腹いっぱい。 (ワッチョイ c26c-7v9/)
垢版 |
2017/11/06(月) 03:18:01.70ID:FH+Fgmgp0
ここのサイト結構性能いいかも
ちょっと誰か試して

Let's Enhance – free online image upscale and enhancement with neural networks
https://letsenhance.io/

原画像
http://i.imgur.com/mxp9Q2J.png
http://i.imgur.com/TGaT3oX.png

waifu2x
http://i.imgur.com/s4jE2hO.png
http://i.imgur.com/UZsH9uj.png

Let’s Enhance
http://i.imgur.com/fu6PEWJ.png
http://i.imgur.com/SVpsLwH.png

紹介記事
This Website Uses AI to Enhance Low-Res Photos, CSI-Style
https://petapixel.com/2017/10/31/website-uses-ai-enhance-photo-csi-style/
0918名無しさん@お腹いっぱい。 (ワッチョイ c26c-7v9/)
垢版 |
2017/11/06(月) 05:34:47.22ID:FH+Fgmgp0
>>917のサイトのやつSRGANを参考に作っているらしい
ボケずに拡大出来るけど模樣なんかが元の画像と違った感じになる

原画像
https://i.imgur.com/Xs8E2hZ.png
waifu2x
https://i.imgur.com/4D0rzHC.png
Let’s Enhance
https://i.imgur.com/2elNRSJ.png

SRGANに関してはここの説明が分かりやすかった
https://elix-tech.github.io/ja/2017/02/06/gan.html#papers
0923917 (ワッチョイ 7f6c-+eVz)
垢版 |
2017/11/09(木) 08:10:48.38ID:ejxgnOxl0
紹介の仕方をミスった感が強いけど>>917のサイトは写真の種類によってはそれなりに有用だと思う。
waifu2x UpPhoto x4 ノイズ除去無しとの比較。

http://upup.bz/j/my27960IRCYtBJQmxSGzyUg.jpg
http://upup.bz/j/my27961gChYtd_bPU81wFWU.png
http://upup.bz/j/my27962YLrYtQJyJmWv6uSE.png

http://upup.bz/j/my27966jlmYtbo37ME0ayCU.jpg
http://upup.bz/j/my27967AwAYtbo37ME0ayCU.png
http://upup.bz/j/my27968lFCYtbo37ME0ayCU.png
0924名無しさん@お腹いっぱい。 (ワッチョイ df8e-0ibl)
垢版 |
2017/11/10(金) 11:40:25.71ID:uNZAv5Jo0
>>923
どれがどれかくらい書いてアップしろよ、常考・・・
上から
・原画
・UpPhoto x4
・waifu2x(ノイズ除去無し)
だな。

■草刈正雄画像
一見すると確かにUpPhoto x4の仕上がりは良好に見える。
が、ブルーのクッションのうち右側のほうに着目すると、少しコントラスト比が変動してしまい
眠たくなってしまっている。
原画ではもう少しだけコントラスト感がある。

■女性画像
草刈正雄画像と同様に、黒い服?のコントラスト感が若干弱まり眠たくなってしまっている。

この程度の画像でコントラスト変動が出る(全体にではなく一部にというのが問題)のは、学習に用いている画像の枚数が少なすぎるのではないか?

前の>>916でもそうだけど、学習量が少なすぎるから、少ない学習データの中で一番近そうなのはこれしかないんです状態に感じられて仕方がない。
少なくとも今の学習量の8倍は学習させたほうがいい。

あと、一度拡大した画像自体を縮小して、元画像との変化が出ているところを再度調整しなおすような仕組み(フィードバック補償)があってもよいのかもしれない。
ゾンビ化の画像とかもそうだが、フィードバックしていればあのまま出てくることはないはず。
一度きりの結果に満足するなかれ。
0925名無しさん@お腹いっぱい。 (ワッチョイ 7f6c-+eVz)
垢版 |
2017/11/10(金) 12:57:12.20ID:1rKnYbnJ0
>>924
ごめん、どれがどれか書き忘れた。
上から原画像、waifu2x UpPhoto x4 ノイズ除去無し、Let's Enhanceの順です。

あとレビューありがとう。
自分は画像処理の専門家じゃないしそんなに目も良くないので意見を言ってくれると助かります。
学習量については一週間毎にモデルを更新していく予定とのことなのでそれで改善されるかも。
0926名無しさん@お腹いっぱい。 (ワッチョイ df8e-0ibl)
垢版 |
2017/11/10(金) 13:18:06.57ID:uNZAv5Jo0
>>925
>上から原画像、waifu2x UpPhoto x4 ノイズ除去無し、Let's Enhanceの順です。
これマジ?
だとしたらLet's Enhanceが一番ぼけてることになるのだが。
輪郭線などの具合から、てっきり3番目がwaifu2xかと思っていたのだが。
0928名無しさん@お腹いっぱい。 (ワッチョイ 5f35-JIcl)
垢版 |
2017/11/10(金) 14:56:28.62ID:oFJM5zAg0
>>926
Let's Enhanceぼかしたままのところとディテールを加えるところのメリハリがあるね
髪の毛や肌は明らかにLet's Enhanceの方が情報量が多い(存在しない情報を付加している)
メガネのエッジなんかもLet's Enhanceの方がくっきりしてる
0930名無しさん@お腹いっぱい。 (ワッチョイ df8e-0ibl)
垢版 |
2017/11/10(金) 16:46:38.70ID:uNZAv5Jo0
なぜかリンク貼るとエラーになるのでリンク先で画像見つけてほしいが

■JPEGノイズ除去のbefore/after(左右で比較できる画像)
tmpimg1711101329n220171110135958928.jpg
やはりコントラストが変動しているな。

■拡大のbefore/after(鉄塔の画像)
before
tmpimg1711101340n120171110140051020.jpg

after
tmpimg1711101341n120171110140114527.jpg
拡大後の鉄塔の赤色や右側の塔の上部のオレンジ、クレーンの青、背景等をみると、同様に変動している。
輪郭周りの処理はwaifu2xよりうまいけど、まだまだ問題点が多い。
0934名無しさん@お腹いっぱい。 (ポキッー df8e-0ibl)
垢版 |
2017/11/11(土) 11:12:56.96ID:K8wJXMCa01111
>>933
今は無料で試せるみたいだから自分で試してみたら。

閑話休題。
Let’s Enhance、これもGPUの力がないと演算に時間がかかるタイプなのかな?
来年早々にIntel CPU+Radeon GPUなCPUをIntelが出すみたいだし、AMD系含めオフライン環境でも実行できるようになればいいのだが。
動画を連番画像で書き出してアップさせようとするとすさまじい枚数になるので、時間はかかってもいいがオフラインで実行できないと死ぬ。
0935名無しさん@お腹いっぱい。 (ワッチョイ 7f6c-+eVz)
垢版 |
2017/11/12(日) 00:45:44.32ID:uaMsUrr60
>>933
Let's EnhanceのTwitterアカウントの人がWe are trained on photos, not anime ) Waifu2x has a clear leadership here )って言ってるからあんまり向いてないんじゃないかな
Google翻訳 私たちはアニメではなく写真で訓練されています)Waifu2xはここで明確なリーダーシップを持っています)
0936名無しさん@お腹いっぱい。 (ワッチョイ 7f6c-+eVz)
垢版 |
2017/11/12(日) 11:50:55.45ID:uaMsUrr60
>>584でGANはPSNRが下がる懸念があると言われていたので気になって調べてみました。
一応bicubicと同程度はあるようです。

BSD100 x4 Y-PSNR
25.976 bicubic
26.085 Let’s Enhance
27.094 waifu2x Photo
27.196 waifu2x UpPhoto

ベンチマークに使った画像もUPしておきます。
https://www.dropbox.com/sh/i5b2old7vqgtvyv/AADb8UIqZel9LTDaFuwDdLwda?dl=0
0938名無しさん@お腹いっぱい。 (ワッチョイ df8e-0ibl)
垢版 |
2017/11/12(日) 13:47:37.01ID:dNH6kcXn0
追記
Let’s Enhanceは、コントラストが変動する問題が解決すれば、基本的には今の状態でも使えなくはないのだが(バケる問題は学習量を増やせば落ち着くかと思われるので)、なぜにあんなにコントラスト変動が起こるのかが解せないんだよね。
0939名無しさん@お腹いっぱい。 (ワッチョイ df8e-0ibl)
垢版 |
2017/11/12(日) 13:59:45.49ID:dNH6kcXn0
再度追記
>>936の画像を見ていると、苦手な画像が少しわかってきた。
小さな三角形のような形が含まれる画像が変形しやすいように見える。
ヒョウ柄とか動物の目のまわりとか、そういう画像をたくさん学習させるとかなり改善されるような気がする。
0940名無しさん@お腹いっぱい。 (ワッチョイWW 7f8e-D8hg)
垢版 |
2017/11/13(月) 11:19:04.01ID:TPyOarub0
Let’s Enhanceについてさらに評価と要望

・アンチJPEG
JPEG画像などに見られるブロックノイズを解像感を落とさずに除去
→この考え方を応用して、スキャナで取り込んだ画像に発生するモアレを、解像感を落とさずにモアレだけ除去できるような
「アンチモアレ」機能に発展させてもらうことはできないのだろうか?
現状、モアレ除去を試みると、どうしても解像感が犠牲になるのと、素材ごとに手動で最適な設定値を見出さなければならない状況になるが、
自動的に最適な状態で除去してくれたら、印刷物の取り込みが大幅に楽になる。
ついでに、オプションで印刷物取り込み画像はコントラストが眠くなりがちです、取り込み後にガンマをいじくったりして補正しなければならないケースが多いので、
印刷物のコントラスト補正最適化モードも自動的に実行されるオプションがあればなおよいのだけど。

・ボーリング
省略

・マジック
アンチJPEGを実行後に拡大しているようなのだが、アンチJPEGをオフにして拡大だけするモードをつけられないのだろうか?
サンプル画像を見ていると、アンチJPEGによる副作用なのか、妙にノッペリして見える箇所が見受けられるので。
0941名無しさん@お腹いっぱい。 (ワッチョイ 7f8e-0ibl)
垢版 |
2017/11/13(月) 14:30:14.38ID:TPyOarub0
waifu2xとの比較画像含め作成してみました。
https://www.axfc.net/u/3862416
※700MB程度zipファイルです。時間のある時にお試しください。
今夜2時までの公開です。
(著作権があるので、テスト目的のみで使用してください)

※元画像がAdobe-RGBの画像については、ICCプロファイルの引継ぎがされていないため、正しい色味で表示されませんが、これはwaifu2xの初期と同じく、プロファイルの編集をすれば正しく表示されます。

なお、変換した画像について
・いつもの画像
waifu2xのテストでよく使用していた画像です。
pngファイルにつき、anti-jpegは出力されていません。
ノイズ除去を適用したくなければ、pngファイルでアップするとよいのかもしれないです。
waifu2xとの比較ですが、boolin(2次元向き)よりmagic(実写向き)のほうが精細感や透明感があり好ましいように思います。
ただし、川の右側の欄干の処理がもう一歩な感じはするけど、縦横4倍!でこの状態はすごい。
(試す前まで、waifuと同じ縦横2倍だと思ってました・・・)
ただし、川の左側の石の護岸壁が元画像とコントラストが異なるのは気になるところ。

他の画像はjpgですので、anti-jpegあり。
参考程度にどうぞ。
(ノイズ除去なしになるか試そうと、jpg⇒pngした画像をアップしようとしたら枚数上限に達したので、また次回試してみます)
0943名無しさん@お腹いっぱい。 (ワッチョイ df8e-N3p8)
垢版 |
2017/11/15(水) 12:26:10.44ID:+/WZXxMd0
>>942
また時間のあるときにでもアップしてみます。

なお、開発元からメールが届き、やはりpngでアップした場合はJPEGのノイズ除去はしないで拡大だけするようです。
その状況を確認しようと再度アップを試みたところ、前回のアップからすでに1日以上経過しているにもかかわらず、
上限枚数に達したと表示されアップできない状態。
どうも不安定なようす。
0944名無しさん@お腹いっぱい。 (ワッチョイ 0263-RuWE)
垢版 |
2017/11/21(火) 11:15:49.96ID:GGDYSobV0
今までグラボに負荷がかからないように、ゲームやるときでもGPU LOADをなるべく30%以内に抑えてきたんだが、
waifu2x-caffeだと常時100%使うんだな   (((( ;゚Д゚)))ガクガクブルブル
まあ、すぐ慣れるか・・・
0954名無しさん@お腹いっぱい。 (アークセーT Sxbd-SZ7f)
垢版 |
2017/12/01(金) 00:27:17.53ID:JRCbfq5qx
これUPした画像はサーバにずっと保存されるの?それとも一定期間で削除?
0959名無しさん@お腹いっぱい。 (ワッチョイ 973e-zy4u)
垢版 |
2017/12/13(水) 19:36:00.62ID:azBr58UQ0
>Let’s Enhanceは、コントラストが変動する問題が解決すれば
GANの原理的に元の数値自体を見てないから形状とか以外は
ごっつり変わる可能性があるんだよね
0961名無しさん@お腹いっぱい。 (ワッチョイ 926c-ncc0)
垢版 |
2017/12/20(水) 11:03:38.82ID:Nd23KCWC0
PSNRを高くしていく方向性の超解像は原画像とかけ離れた結果にはなりにくいが溶けたりぼやけたりする
PSNRを無視して自然に見える画像を作り出そうとする方向性の超解像はくっきりしているけど原画像とかけ離れた結果になるリスクが有る

ジレンマみたいな感じで難しいね
今後はどっちの超解像が主流になるのかな
0967名無しさん@お腹いっぱい。 (ワイモマー MMea-FiVz)
垢版 |
2018/01/01(月) 10:47:23.44ID:Hh7i7mWtM
アンチエイリアス、ジャギ取り用の深層学習のソフトってないだろうか

学習させるとしたら、ジャギっている大きな画像を大量に用意し
ニアレストネイバーで縮小したジャギっている画像と
適当なフィルタで縮小してスムージングされた画像を学習させる形になるのかな
0968名無しさん@お腹いっぱい。 (ワッチョイWW 6f67-LuW1)
垢版 |
2018/01/01(月) 15:11:31.18ID:jOvnUDDx0
waifu2xって元画像がジャギって
ゆがんでても補正してくれるんだけど
ソース読むと縮小フィルタを
ランダムに選択して学習してるので
ジャギがあってもなくてもうまくいく
設計なんだよね

964の100パーセントGANによる
超解像だけど、画質的にはwaifu2x
には遙かに及ばないけど
劣化画像と理想画像が全く別の
画像でもいいので、大量のスマホの写真と
一眼レフの画像があればスマホの画像を
一眼レフに変換できる
0970名無しさん@お腹いっぱい。 (ワイモマー MMea-FiVz)
垢版 |
2018/01/01(月) 20:24:27.50ID:Hh7i7mWtM
>>969
言葉足らずで申し訳ないですが、こちらとしては処理対象のジャギーっている画像とは
よくある斜めの色の境界に中間色がなく1ドットのギザギザが見える状態を想定しています

ジャギってない画像=色の境界付近に中間色がある画像をニアレストネイバーで縮小すると
縮小画像の境界線上で元画像の境界付近の中間色を抽出してしまう箇所が出て来ますし
それを拡大すると、ジャギっている部分が1ドットではなく拡大倍ドットとなりまので
想定のジャギー画像とは異なるものが出力されます

ニアレストネイバーで縮小⇒拡大した画像を元の画像に向けるというのは
ニアレストネイバーの性質上、実質的にwaifu2xの拡大に近いものと思われますが
現状のwaifu2xには上記で想定しているジャギーはあまり取れません

彩色等の関係で最終的に必要な物より高解像度かつアンチエイリアスが掛かってない画像を用意して、
その後に縮小することで中間色を生成させジャギってない状態にするというのは良くある手法ですので
その辺の効果により、前述の方法で学習できるのではないかなと考えていました
0974名無しさん@お腹いっぱい。 (ワッチョイWW db8e-pBWh)
垢版 |
2018/01/01(月) 22:20:48.47ID:lYo0ZpOi0
>>971
本来的には新スレを立てるべきだが、この板、古いスレが残ったままになるからいつまでも鬱陶しい状況が続くのがなんとも…
しかもスレタイの数字をわざわざ全角にしてるとか頭悪すぎて嫌になるのだが、再利用してさっさと消化したほうがいいのかもと思わなくもない
0977名無しさん@お腹いっぱい。 (オッペケ Srcf-F1OP)
垢版 |
2018/01/06(土) 19:51:14.90ID:OealWOcAr
>975
年末に実装して実験中
とりあえずwaifu2xの画質は絶対にぬけないのは理屈上
わかってるので

画質的にはlanczosよりまし程度
写真の場合はいけてるんじゃないかと
思うが学習用写真が集まってない

カメラ固有の最適化が可能
0980名無しさん@お腹いっぱい。 (ワッチョイ bb8e-nOrU)
垢版 |
2018/01/08(月) 15:39:19.53ID:6xLoPyaT0
・AMD、HBM2搭載のモバイルGPU「Radeon Vega Mobile」
「NVIDIAで言えばcuDNNに対応するライブラリとしてオープンソースのMIOpenを利用し、NVIDIAで言えばCUDAに相当するプログラミング言語としてはオープンソースのHIPを活用しているの。
AMDは、CUDAのコードをHIPに移植するツールとして「HIPfy」という自動変換ツールを用意しており、それを利用してCUDAベースのアプリケーションを、
HIPに変換してRadeon Instinct上で機械学習/深層学習の学習や推論を行なうことができるようになっている。」
期待していいのか?
0999名無しさん@お腹いっぱい。 (ワッチョイ 0b71-GP+B)
垢版 |
2018/01/24(水) 00:36:37.13ID:/NC95LKA0
caffe作者さんへ。caffeってOpenCL(radeon)に対応予定はないの?
VEGA搭載のRyzen 5 2400Gを購入したいけどソレだけが二の足を踏む理由。
RYZEN G買ってWaifuの為だけにGeForce乗っけるのもなぁーチラチラッ
対応をもう一度検討してみて下さい。

converter-cppやcl-waifu2xも更新2年以上無いし・・・
10011001
垢版 |
Over 1000Thread
このスレッドは1000を超えました。
新しいスレッドを立ててください。
life time: 624日 0時間 45分 30秒
10021002
垢版 |
Over 1000Thread
5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php
レス数が1000を超えています。これ以上書き込みはできません。

ニューススポーツなんでも実況