【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net
レス数が1000を超えています。これ以上書き込みはできません。
画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。
--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/
・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436
・waifu2xとその派生ソフト一覧
※リンクがNGワードに！
・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437
・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/
・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html
・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html
VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured >>919
ちょっと画像の例が悪かったかもしれない
元の1/4に縮小して拡大してあるから細部の情報なんて全く残ってないのよ >>920
EnhanceNet-PATは、そこまで酷くない。
今更出来の悪いものは必要ない。 >>923
どれがどれかくらい書いてアップしろよ、常考・・・
上から
・原画
・UpPhoto x4
・waifu2x（ノイズ除去無し）
だな。
■草刈正雄画像
一見すると確かにUpPhoto x4の仕上がりは良好に見える。
が、ブルーのクッションのうち右側のほうに着目すると、少しコントラスト比が変動してしまい
眠たくなってしまっている。
原画ではもう少しだけコントラスト感がある。
■女性画像
草刈正雄画像と同様に、黒い服？のコントラスト感が若干弱まり眠たくなってしまっている。
この程度の画像でコントラスト変動が出る（全体にではなく一部にというのが問題）のは、学習に用いている画像の枚数が少なすぎるのではないか？
前の>>916でもそうだけど、学習量が少なすぎるから、少ない学習データの中で一番近そうなのはこれしかないんです状態に感じられて仕方がない。
少なくとも今の学習量の8倍は学習させたほうがいい。
あと、一度拡大した画像自体を縮小して、元画像との変化が出ているところを再度調整しなおすような仕組み（フィードバック補償）があってもよいのかもしれない。
ゾンビ化の画像とかもそうだが、フィードバックしていればあのまま出てくることはないはず。
一度きりの結果に満足するなかれ。 >>924
ごめん、どれがどれか書き忘れた。
上から原画像、waifu2x UpPhoto x4 ノイズ除去無し、Let's Enhanceの順です。
あとレビューありがとう。
自分は画像処理の専門家じゃないしそんなに目も良くないので意見を言ってくれると助かります。
学習量については一週間毎にモデルを更新していく予定とのことなのでそれで改善されるかも。 >>925
＞上から原画像、waifu2x UpPhoto x4 ノイズ除去無し、Let's Enhanceの順です。
これマジ？
だとしたらLet's Enhanceが一番ぼけてることになるのだが。
輪郭線などの具合から、てっきり3番目がwaifu2xかと思っていたのだが。 >>917
ここの最新エントリにLet’s Enhanceの使い方から処理の違いとか詳しいのある
digibibo.com >>926
Let's Enhanceぼかしたままのところとディテールを加えるところのメリハリがあるね
髪の毛や肌は明らかにLet's Enhanceの方が情報量が多い(存在しない情報を付加している)
メガネのエッジなんかもLet's Enhanceの方がくっきりしてる >>927
さすがに記事書き慣れてる人は紹介が上手いねｗ
自分だけではしゃいで魅力を説明できない自分とは大違いだわ なぜかリンク貼るとエラーになるのでリンク先で画像見つけてほしいが
■JPEGノイズ除去のbefore/after（左右で比較できる画像）
tmpimg1711101329n220171110135958928.jpg
やはりコントラストが変動しているな。
■拡大のbefore/after（鉄塔の画像）
before
tmpimg1711101340n120171110140051020.jpg
after
tmpimg1711101341n120171110140114527.jpg
拡大後の鉄塔の赤色や右側の塔の上部のオレンジ、クレーンの青、背景等をみると、同様に変動している。
輪郭周りの処理はwaifu2xよりうまいけど、まだまだ問題点が多い。 追記
ただし、ノイズ除去の精度はかなり高い。
これ、デジタル放送のノイズ除去や、調整次第ではVHSの3倍モードのノイズに効用がありそうな気はする。 確かに非常に良くなる画像とディテールが崩れる画像がある印象。
だけどまさに魔法と呼びたくなるほど凄い処理がされる画像もあったよ。 イラスト系の比較画像がほしいな
実写はもともとwaifu2x苦手なの分かってるし >>933
今は無料で試せるみたいだから自分で試してみたら。
閑話休題。
Let’s Enhance、これもGPUの力がないと演算に時間がかかるタイプなのかな？
来年早々にIntel CPU＋Radeon GPUなCPUをIntelが出すみたいだし、AMD系含めオフライン環境でも実行できるようになればいいのだが。
動画を連番画像で書き出してアップさせようとするとすさまじい枚数になるので、時間はかかってもいいがオフラインで実行できないと死ぬ。 >>933
Let's EnhanceのTwitterアカウントの人がWe are trained on photos, not anime ) Waifu2x has a clear leadership here )って言ってるからあんまり向いてないんじゃないかな
Google翻訳 私たちはアニメではなく写真で訓練されています）Waifu2xはここで明確なリーダーシップを持っています） >>584でGANはPSNRが下がる懸念があると言われていたので気になって調べてみました。
一応bicubicと同程度はあるようです。
BSD100 x4 Y-PSNR
25.976 bicubic
26.085 Let’s Enhance
27.094 waifu2x Photo
27.196 waifu2x UpPhoto
ベンチマークに使った画像もUPしておきます。
https://www.dropbox.com/sh/i5b2old7vqgtvyv/AADb8UIqZel9LTDaFuwDdLwda?dl=0 >>936
PSNRで20台半ばか。
ただ、そもそも超解像のような処理の場合、PSNRが評価指標として適切かという問題はある。
以下を読むと参考になるかと。
・MSE/PSNR vs SSIM の比較画像紹介
https://qiita.com/yoya/items/510043d836c9f2f0fe2f
SSIMで比較してみるといいのかもしれない。 追記
Let’s Enhanceは、コントラストが変動する問題が解決すれば、基本的には今の状態でも使えなくはないのだが（バケる問題は学習量を増やせば落ち着くかと思われるので）、なぜにあんなにコントラスト変動が起こるのかが解せないんだよね。 再度追記
>>936の画像を見ていると、苦手な画像が少しわかってきた。
小さな三角形のような形が含まれる画像が変形しやすいように見える。
ヒョウ柄とか動物の目のまわりとか、そういう画像をたくさん学習させるとかなり改善されるような気がする。 Let’s Enhanceについてさらに評価と要望
・アンチJPEG
JPEG画像などに見られるブロックノイズを解像感を落とさずに除去
→この考え方を応用して、スキャナで取り込んだ画像に発生するモアレを、解像感を落とさずにモアレだけ除去できるような
「アンチモアレ」機能に発展させてもらうことはできないのだろうか？
現状、モアレ除去を試みると、どうしても解像感が犠牲になるのと、素材ごとに手動で最適な設定値を見出さなければならない状況になるが、
自動的に最適な状態で除去してくれたら、印刷物の取り込みが大幅に楽になる。
ついでに、オプションで印刷物取り込み画像はコントラストが眠くなりがちです、取り込み後にガンマをいじくったりして補正しなければならないケースが多いので、
印刷物のコントラスト補正最適化モードも自動的に実行されるオプションがあればなおよいのだけど。
・ボーリング
省略
・マジック
アンチJPEGを実行後に拡大しているようなのだが、アンチJPEGをオフにして拡大だけするモードをつけられないのだろうか？
サンプル画像を見ていると、アンチJPEGによる副作用なのか、妙にノッペリして見える箇所が見受けられるので。 waifu2xとの比較画像含め作成してみました。
https://www.axfc.net/u/3862416
※700MB程度zipファイルです。時間のある時にお試しください。
今夜2時までの公開です。
（著作権があるので、テスト目的のみで使用してください）
※元画像がAdobe-RGBの画像については、ICCプロファイルの引継ぎがされていないため、正しい色味で表示されませんが、これはwaifu2xの初期と同じく、プロファイルの編集をすれば正しく表示されます。
なお、変換した画像について
・いつもの画像
waifu2xのテストでよく使用していた画像です。
pngファイルにつき、anti-jpegは出力されていません。
ノイズ除去を適用したくなければ、pngファイルでアップするとよいのかもしれないです。
waifu2xとの比較ですが、boolin（2次元向き）よりmagic（実写向き）のほうが精細感や透明感があり好ましいように思います。
ただし、川の右側の欄干の処理がもう一歩な感じはするけど、縦横４倍！でこの状態はすごい。
（試す前まで、waifuと同じ縦横2倍だと思ってました・・・）
ただし、川の左側の石の護岸壁が元画像とコントラストが異なるのは気になるところ。
他の画像はjpgですので、anti-jpegあり。
参考程度にどうぞ。
（ノイズ除去なしになるか試そうと、jpg⇒pngした画像をアップしようとしたら枚数上限に達したので、また次回試してみます） >>942
また時間のあるときにでもアップしてみます。
なお、開発元からメールが届き、やはりpngでアップした場合はJPEGのノイズ除去はしないで拡大だけするようです。
その状況を確認しようと再度アップを試みたところ、前回のアップからすでに1日以上経過しているにもかかわらず、
上限枚数に達したと表示されアップできない状態。
どうも不安定なようす。 今までグラボに負荷がかからないように、ゲームやるときでもGPU LOADをなるべく30%以内に抑えてきたんだが、
waifu2x-caffeだと常時100%使うんだな (((( ；ﾟДﾟ)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ
まあ、すぐ慣れるか・・・ Let's Enhance、月払いと年払いのサブスクリプションプランを作ったみたいだね。
無料版は制限きつすぎ。 waifu2xも運営費の捻出に苦労している中ビジネスモデルが成功するのか興味がある そもそも一般的な使い道が思い付かない
防犯カメラ画像の解析とか？ AIが解析した監視カメラ映像は法的な証拠能力があるのだろうか >>947
オフラインで使えるようになった？
GPU使って大量にやりたい どこをどう読んだらオフラインで使えるようになったように読めるのか… また繋がらない
モチベが無くなる前に復旧してくれー これUPした画像はサーバにずっと保存されるの？それとも一定期間で削除？ Tensor演算性能110TFLOPSなTitan Vが出たけど、waifu2xどれくらい速くなるんけ？ waifu2x、iOSのSafariからやるとGoogle reCaptureクリアしてもInvalid Requestが出てしまうのですがどうしたらいいですか？ >Let’s Enhanceは、コントラストが変動する問題が解決すれば
GANの原理的に元の数値自体を見てないから形状とか以外は
ごっつり変わる可能性があるんだよね PSNRを高くしていく方向性の超解像は原画像とかけ離れた結果にはなりにくいが溶けたりぼやけたりする
PSNRを無視して自然に見える画像を作り出そうとする方向性の超解像はくっきりしているけど原画像とかけ離れた結果になるリスクが有る
ジレンマみたいな感じで難しいね
今後はどっちの超解像が主流になるのかな >>961
PSNR無視型＝Let's Enhance
で輝度信号（Y）だけ処理して
PSNR重視型＝waifu2x（RGB処理）で処理した画像の輝度信号（Y）だけ差し替え
とか無理か コントラストが変わらなくて
元画像を参照するGANを思いついたので
近いうち実装する
写真向け手法 >>964
waifu2x-markⅡか？
頑張れ、にぃちゃん >>701
かなり遅レスになりますがD&Dモード的なものを実装しました アンチエイリアス、ジャギ取り用の深層学習のソフトってないだろうか
学習させるとしたら、ジャギっている大きな画像を大量に用意し
ニアレストネイバーで縮小したジャギっている画像と
適当なフィルタで縮小してスムージングされた画像を学習させる形になるのかな waifu2xって元画像がジャギって
ゆがんでても補正してくれるんだけど
ソース読むと縮小フィルタを
ランダムに選択して学習してるので
ジャギがあってもなくてもうまくいく
設計なんだよね
964の100パーセントGANによる
超解像だけど、画質的にはwaifu2x
には遙かに及ばないけど
劣化画像と理想画像が全く別の
画像でもいいので、大量のスマホの写真と
一眼レフの画像があればスマホの画像を
一眼レフに変換できる >>967
学習が可能だとしたら、用意するのはジャギってない画像だろ
そこからニアレストネイバーで縮小＆拡大して同サイズのジャギってる画像を生成する
正解データの質は重要と思われ >>969
言葉足らずで申し訳ないですが、こちらとしては処理対象のジャギーっている画像とは
よくある斜めの色の境界に中間色がなく1ドットのギザギザが見える状態を想定しています
ジャギってない画像＝色の境界付近に中間色がある画像をニアレストネイバーで縮小すると
縮小画像の境界線上で元画像の境界付近の中間色を抽出してしまう箇所が出て来ますし
それを拡大すると、ジャギっている部分が1ドットではなく拡大倍ドットとなりまので
想定のジャギー画像とは異なるものが出力されます
ニアレストネイバーで縮小⇒拡大した画像を元の画像に向けるというのは
ニアレストネイバーの性質上、実質的にwaifu2xの拡大に近いものと思われますが
現状のwaifu2xには上記で想定しているジャギーはあまり取れません
彩色等の関係で最終的に必要な物より高解像度かつアンチエイリアスが掛かってない画像を用意して、
その後に縮小することで中間色を生成させジャギってない状態にするというのは良くある手法ですので
その辺の効果により、前述の方法で学習できるのではないかなと考えていました ところで次スレどうする？
荒らしが立てたスレ再利用する？
あ、もし新しくスレ立てるんなら
>>2のアルファチャンネルの情報は古いから消しといてね。 >>970
画像用意が大変だから最初はベクター画像を教師とするのが良いかとジャギーは後処理で作れるし
フォントレンダラーで文字ベースでやれば適度な曲線や払いの先鋭化が学習できるかも >>972
確かにそうですね
既存のソフトがないなら、その方向性で考えてみます >>971
本来的には新スレを立てるべきだが、この板、古いスレが残ったままになるからいつまでも鬱陶しい状況が続くのがなんとも…
しかもスレタイの数字をわざわざ全角にしてるとか頭悪すぎて嫌になるのだが、再利用してさっさと消化したほうがいいのかもと思わなくもない ところで、>>964の件は、もう実装済みなんだろうか？ そもそも実装したとしても一般人が気軽に試せる形になるのだろうか？ ＞975
年末に実装して実験中
とりあえずwaifu2xの画質は絶対にぬけないのは理屈上
わかってるので
画質的にはlanczosよりまし程度
写真の場合はいけてるんじゃないかと
思うが学習用写真が集まってない
カメラ固有の最適化が可能 ＞978
ちがうよ
深層学習の超解像のアルゴリズムの
開発は最近は割とだれでもできる ・AMD、HBM2搭載のモバイルGPU「Radeon Vega Mobile」
「NVIDIAで言えばcuDNNに対応するライブラリとしてオープンソースのMIOpenを利用し、NVIDIAで言えばCUDAに相当するプログラミング言語としてはオープンソースのHIPを活用しているの。
AMDは、CUDAのコードをHIPに移植するツールとして「HIPfy」という自動変換ツールを用意しており、それを利用してCUDAベースのアプリケーションを、
HIPに変換してRadeon Instinct上で機械学習/深層学習の学習や推論を行なうことができるようになっている。」
期待していいのか？ つまり、CUDAで出来る事をRadeon上でも出来る様になるの？ >>966
ホンマに実装してくれたんか！有難う！！ 動画版waifu2x がどうとか言ってたけど今はビットコイン取引BOTを改良して必要資金貯めてるとか GT1030でもcuDNNで変換できるんだな
今までCPUで数分かかってた変換がほんの数秒で終わって感動した >>985
そりゃそうだ
VRAMありゃ分割数増やせる 1030はNVENC削られてるうえにcompute capabilityのリストからもハブられてるよね……
cudaだけは使えるからこのツール使ううえでは困らんけど 1050Ti でぶん回してるけどパラメータ上げてもGPU使用率50％にも届かないから全く問題なさそう 原因はわからないけどwaifu2ｘcafeで拡大すると変色する画像がある
皆はこういうの無いの？色が反転したように変わる 画像ファイルが CMYK 、ICCプロファイル付きだったりすると結構変わる
でも、反転というほどまでは行かない気がするので外してるかな ICCプロファイルの種類によっては結構変わるみたいね
例えばこのサイトの画像なんかは激しく変色する
Is your system ICC Version 4 ready?
http://www.color.org/version4html.xalter
現状だとweb版しかICCプロファイルに対応してないからweb版使うといい ICCプロファイルが原因ならば、前スレに書いた修正手順を試せばいい ２年前に後出重複で立ってかっそ過疎なのにまだ残ってるのがまだあるけどそっち使うの？
でもなんかお古すぎてアレだな・・とは思う人も居るのかしらかしら caffe作者さんへ。caffeってOpenCL（radeon）に対応予定はないの？
VEGA搭載のRyzen 5 2400Gを購入したいけどソレだけが二の足を踏む理由。
RYZEN G買ってWaifuの為だけにGeForce乗っけるのもなぁーチラチラッ
対応をもう一度検討してみて下さい。
converter-cppやcl-waifu2xも更新2年以上無いし・・・ caffe作者さんへ。OpenCLなんかには対応する必要ないよ。 このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 624日 0時間 45分 30秒 レス数が1000を超えています。これ以上書き込みはできません。
