【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net

レス数が950を超えています。1000を超えると書き込みができなくなります。
画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要:二次元画像を拡大したいと思ったことはありませんか? (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
※リンクがNGワードに!

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ![212]嫁を拡大する人工知能/GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html
VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

>>900
これ試せるところないの?

無いよ

金積めば研究データ使わせてくれるかも

有料でいいからソフト化してくれ

同一画像については変換パラメータ変更での再処理は○回まで無料とかは欲しいが
利用量(枚数、サイズ)に応じた従量制課金かプリペイド制のサービスになると利用しなくなる法則

オンライン変換サービスしてる人も課金モデルでその部分指摘してたな

テクスチャを学習するってことは、本格的に学習すると
データの容量が凄いことになるのかな

学習するサンプルも多いだろう

画像系ディープラーニングの学習データの量はニューラルネットワークで定義されてる係数やフィルタの数で固定される
学習サンプルが多いとデータが増えるわけではなく、固定サイズの学習データの質がサンプルの内容に応じて最適化されていくだけ

ここのサイト結構性能いいかも
ちょっと誰か試して

Let's Enhance – free online image upscale and enhancement with neural networks
https://letsenhance.io/

原画像
http://i.imgur.com/mxp9Q2J.png
http://i.imgur.com/TGaT3oX.png

waifu2x
http://i.imgur.com/s4jE2hO.png
http://i.imgur.com/UZsH9uj.png

Let’s Enhance
http://i.imgur.com/fu6PEWJ.png
http://i.imgur.com/SVpsLwH.png

紹介記事
This Website Uses AI to Enhance Low-Res Photos, CSI-Style
https://petapixel.com/2017/10/31/website-uses-ai-enhance-photo-csi-style/

>>917のサイトのやつSRGANを参考に作っているらしい
ボケずに拡大出来るけど模樣なんかが元の画像と違った感じになる

原画像
https://i.imgur.com/Xs8E2hZ.png
waifu2x
https://i.imgur.com/4D0rzHC.png
Let’s Enhance
https://i.imgur.com/2elNRSJ.png

SRGANに関してはここの説明が分かりやすかった
https://elix-tech.github.io/ja/2017/02/06/gan.html#papers

元の画像から変わりすぎ

>>919
ちょっと画像の例が悪かったかもしれない
元の1/4に縮小して拡大してあるから細部の情報なんて全く残ってないのよ

>>920
EnhanceNet-PATは、そこまで酷くない。
今更出来の悪いものは必要ない。

予想外の結果になりそうで面白い

923917 (ワッチョイ 7f6c-+eVz)2017/11/09(木) 08:10:48.38ID:ejxgnOxl0
紹介の仕方をミスった感が強いけど>>917のサイトは写真の種類によってはそれなりに有用だと思う。
waifu2x UpPhoto x4 ノイズ除去無しとの比較。

http://upup.bz/j/my27960IRCYtBJQmxSGzyUg.jpg
http://upup.bz/j/my27961gChYtd_bPU81wFWU.png
http://upup.bz/j/my27962YLrYtQJyJmWv6uSE.png

http://upup.bz/j/my27966jlmYtbo37ME0ayCU.jpg
http://upup.bz/j/my27967AwAYtbo37ME0ayCU.png
http://upup.bz/j/my27968lFCYtbo37ME0ayCU.png

>>923
どれがどれかくらい書いてアップしろよ、常考・・・
上から
・原画
・UpPhoto x4
・waifu2x(ノイズ除去無し)
だな。

■草刈正雄画像
一見すると確かにUpPhoto x4の仕上がりは良好に見える。
が、ブルーのクッションのうち右側のほうに着目すると、少しコントラスト比が変動してしまい
眠たくなってしまっている。
原画ではもう少しだけコントラスト感がある。

■女性画像
草刈正雄画像と同様に、黒い服?のコントラスト感が若干弱まり眠たくなってしまっている。

この程度の画像でコントラスト変動が出る(全体にではなく一部にというのが問題)のは、学習に用いている画像の枚数が少なすぎるのではないか?

前の>>916でもそうだけど、学習量が少なすぎるから、少ない学習データの中で一番近そうなのはこれしかないんです状態に感じられて仕方がない。
少なくとも今の学習量の8倍は学習させたほうがいい。

あと、一度拡大した画像自体を縮小して、元画像との変化が出ているところを再度調整しなおすような仕組み(フィードバック補償)があってもよいのかもしれない。
ゾンビ化の画像とかもそうだが、フィードバックしていればあのまま出てくることはないはず。
一度きりの結果に満足するなかれ。

>>924
ごめん、どれがどれか書き忘れた。
上から原画像、waifu2x UpPhoto x4 ノイズ除去無し、Let's Enhanceの順です。

あとレビューありがとう。
自分は画像処理の専門家じゃないしそんなに目も良くないので意見を言ってくれると助かります。
学習量については一週間毎にモデルを更新していく予定とのことなのでそれで改善されるかも。

>>925
>上から原画像、waifu2x UpPhoto x4 ノイズ除去無し、Let's Enhanceの順です。
これマジ?
だとしたらLet's Enhanceが一番ぼけてることになるのだが。
輪郭線などの具合から、てっきり3番目がwaifu2xかと思っていたのだが。

>>917
ここの最新エントリにLet’s Enhanceの使い方から処理の違いとか詳しいのある
digibibo.com

>>926
Let's Enhanceぼかしたままのところとディテールを加えるところのメリハリがあるね
髪の毛や肌は明らかにLet's Enhanceの方が情報量が多い(存在しない情報を付加している)
メガネのエッジなんかもLet's Enhanceの方がくっきりしてる

>>927
さすがに記事書き慣れてる人は紹介が上手いねw
自分だけではしゃいで魅力を説明できない自分とは大違いだわ

なぜかリンク貼るとエラーになるのでリンク先で画像見つけてほしいが

■JPEGノイズ除去のbefore/after(左右で比較できる画像)
tmpimg1711101329n220171110135958928.jpg
やはりコントラストが変動しているな。

■拡大のbefore/after(鉄塔の画像)
before
tmpimg1711101340n120171110140051020.jpg

after
tmpimg1711101341n120171110140114527.jpg
拡大後の鉄塔の赤色や右側の塔の上部のオレンジ、クレーンの青、背景等をみると、同様に変動している。
輪郭周りの処理はwaifu2xよりうまいけど、まだまだ問題点が多い。

追記

ただし、ノイズ除去の精度はかなり高い。
これ、デジタル放送のノイズ除去や、調整次第ではVHSの3倍モードのノイズに効用がありそうな気はする。

確かに非常に良くなる画像とディテールが崩れる画像がある印象。
だけどまさに魔法と呼びたくなるほど凄い処理がされる画像もあったよ。

イラスト系の比較画像がほしいな
実写はもともとwaifu2x苦手なの分かってるし

934名無しさん@お腹いっぱい。 (ポキッー df8e-0ibl)2017/11/11(土) 11:12:56.96ID:K8wJXMCa01111
>>933
今は無料で試せるみたいだから自分で試してみたら。

閑話休題。
Let’s Enhance、これもGPUの力がないと演算に時間がかかるタイプなのかな?
来年早々にIntel CPU+Radeon GPUなCPUをIntelが出すみたいだし、AMD系含めオフライン環境でも実行できるようになればいいのだが。
動画を連番画像で書き出してアップさせようとするとすさまじい枚数になるので、時間はかかってもいいがオフラインで実行できないと死ぬ。

>>933
Let's EnhanceのTwitterアカウントの人がWe are trained on photos, not anime ) Waifu2x has a clear leadership here )って言ってるからあんまり向いてないんじゃないかな
Google翻訳 私たちはアニメではなく写真で訓練されています)Waifu2xはここで明確なリーダーシップを持っています)

>>584でGANはPSNRが下がる懸念があると言われていたので気になって調べてみました。
一応bicubicと同程度はあるようです。

BSD100 x4 Y-PSNR
25.976 bicubic
26.085 Let’s Enhance
27.094 waifu2x Photo
27.196 waifu2x UpPhoto

ベンチマークに使った画像もUPしておきます。
https://www.dropbox.com/sh/i5b2old7vqgtvyv/AADb8UIqZel9LTDaFuwDdLwda?dl=0

>>936
PSNRで20台半ばか。
ただ、そもそも超解像のような処理の場合、PSNRが評価指標として適切かという問題はある。
以下を読むと参考になるかと。

・MSE/PSNR vs SSIM の比較画像紹介
https://qiita.com/yoya/items/510043d836c9f2f0fe2f

SSIMで比較してみるといいのかもしれない。

追記
Let’s Enhanceは、コントラストが変動する問題が解決すれば、基本的には今の状態でも使えなくはないのだが(バケる問題は学習量を増やせば落ち着くかと思われるので)、なぜにあんなにコントラスト変動が起こるのかが解せないんだよね。

再度追記
>>936の画像を見ていると、苦手な画像が少しわかってきた。
小さな三角形のような形が含まれる画像が変形しやすいように見える。
ヒョウ柄とか動物の目のまわりとか、そういう画像をたくさん学習させるとかなり改善されるような気がする。

Let’s Enhanceについてさらに評価と要望

・アンチJPEG
JPEG画像などに見られるブロックノイズを解像感を落とさずに除去
→この考え方を応用して、スキャナで取り込んだ画像に発生するモアレを、解像感を落とさずにモアレだけ除去できるような
「アンチモアレ」機能に発展させてもらうことはできないのだろうか?
現状、モアレ除去を試みると、どうしても解像感が犠牲になるのと、素材ごとに手動で最適な設定値を見出さなければならない状況になるが、
自動的に最適な状態で除去してくれたら、印刷物の取り込みが大幅に楽になる。
ついでに、オプションで印刷物取り込み画像はコントラストが眠くなりがちです、取り込み後にガンマをいじくったりして補正しなければならないケースが多いので、
印刷物のコントラスト補正最適化モードも自動的に実行されるオプションがあればなおよいのだけど。

・ボーリング
省略

・マジック
アンチJPEGを実行後に拡大しているようなのだが、アンチJPEGをオフにして拡大だけするモードをつけられないのだろうか?
サンプル画像を見ていると、アンチJPEGによる副作用なのか、妙にノッペリして見える箇所が見受けられるので。

waifu2xとの比較画像含め作成してみました。
https://www.axfc.net/u/3862416
※700MB程度zipファイルです。時間のある時にお試しください。
今夜2時までの公開です。
(著作権があるので、テスト目的のみで使用してください)

※元画像がAdobe-RGBの画像については、ICCプロファイルの引継ぎがされていないため、正しい色味で表示されませんが、これはwaifu2xの初期と同じく、プロファイルの編集をすれば正しく表示されます。

なお、変換した画像について
・いつもの画像
waifu2xのテストでよく使用していた画像です。
pngファイルにつき、anti-jpegは出力されていません。
ノイズ除去を適用したくなければ、pngファイルでアップするとよいのかもしれないです。
waifu2xとの比較ですが、boolin(2次元向き)よりmagic(実写向き)のほうが精細感や透明感があり好ましいように思います。
ただし、川の右側の欄干の処理がもう一歩な感じはするけど、縦横4倍!でこの状態はすごい。
(試す前まで、waifuと同じ縦横2倍だと思ってました・・・)
ただし、川の左側の石の護岸壁が元画像とコントラストが異なるのは気になるところ。

他の画像はjpgですので、anti-jpegあり。
参考程度にどうぞ。
(ノイズ除去なしになるか試そうと、jpg⇒pngした画像をアップしようとしたら枚数上限に達したので、また次回試してみます)

重すぎてダウンロード出来ない

>>942
また時間のあるときにでもアップしてみます。

なお、開発元からメールが届き、やはりpngでアップした場合はJPEGのノイズ除去はしないで拡大だけするようです。
その状況を確認しようと再度アップを試みたところ、前回のアップからすでに1日以上経過しているにもかかわらず、
上限枚数に達したと表示されアップできない状態。
どうも不安定なようす。

今までグラボに負荷がかからないように、ゲームやるときでもGPU LOADをなるべく30%以内に抑えてきたんだが、
waifu2x-caffeだと常時100%使うんだな   (((( ;゚Д゚)))ガクガクブルブル
まあ、すぐ慣れるか・・・

俺100%にならないぞ
性能が低いからか?

ディープラーニングのすごさを体験! 人工知能で画像を加工できるツール5選
http://news.mynavi.jp/articles/2017/11/22/ai/

Let's Enhance、月払いと年払いのサブスクリプションプランを作ったみたいだね。
無料版は制限きつすぎ。

waifu2xも運営費の捻出に苦労している中ビジネスモデルが成功するのか興味がある

そもそも一般的な使い道が思い付かない
防犯カメラ画像の解析とか?

AIが解析した監視カメラ映像は法的な証拠能力があるのだろうか

>>947
オフラインで使えるようになった?
GPU使って大量にやりたい

どこをどう読んだらオフラインで使えるようになったように読めるのか…

953名無しさん@お腹いっぱい。 (ニククエ a76c-+taN)2017/11/29(水) 14:08:33.74ID:LjzMHann0NIKU
また繋がらない
モチベが無くなる前に復旧してくれー

954名無しさん@お腹いっぱい。 (アークセーT Sxbd-SZ7f)2017/12/01(金) 00:27:17.53ID:JRCbfq5qx
これUPした画像はサーバにずっと保存されるの?それとも一定期間で削除?

速攻削除じゃないの?保存する意味あるかな?

ぐへへ

Tensor演算性能110TFLOPSなTitan Vが出たけど、waifu2xどれくらい速くなるんけ?

waifu2x、iOSのSafariからやるとGoogle reCaptureクリアしてもInvalid Requestが出てしまうのですがどうしたらいいですか?

959名無しさん@お腹いっぱい。 (ワッチョイ 973e-zy4u)2017/12/13(水) 19:36:00.62ID:azBr58UQ0
>Let’s Enhanceは、コントラストが変動する問題が解決すれば
GANの原理的に元の数値自体を見てないから形状とか以外は
ごっつり変わる可能性があるんだよね

新着レスの表示
レス数が950を超えています。1000を超えると書き込みができなくなります。
レスを投稿する