【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net

レス数が900を超えています。1000を超えると表示できなくなるよ。
画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要:二次元画像を拡大したいと思ったことはありませんか? (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
※リンクがNGワードに!

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ![212]嫁を拡大する人工知能/GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html
VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

waifu2x-caffe ver 1.1.8.4
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.1.8.4
cuDNN v7に対応

今回の場合cudnn-8.0-windows7-x64-v7.zip/cuda/bin/cudnn64_7.dllかな
このへん本当に分かりにくいよなあ
前提となるCUDAやGeForceドライバのバージョンもあったかもしれない

CPU用はまだ? AVX2とかSSE4.2とかで1/10のスピードにならんかな←遅くてもいいからって意味で

>>868
CPUならtanakamuraさんの派生のやつが早いと思うよ

ハイブリッド、キタコレ

・ 低解像度画像からでも高解像度画像を生成できる「PixelNN」
http://gigazine.net/news/20170926-pixelnn/

すごい
おれの落書きを写真にしてほしい

写真とそれを落書きにしたイラスト2000枚を学習させればええだけやで

>>870
waifu2xの欠点を克服できたら神

874名無しさん@お腹いっぱい。 (ニククエ 236c-omH/)2017/09/29(金) 23:10:14.54ID:BSunbs8Y0NIKU
iOS版のwaifu2xなんてものが出来てた

imxieyi/waifu2x-ios: iOS Core ML implementation of waifu2x
https://github.com/imxieyi/waifu2x-ios

どんだけエンコ時間かかんだよ

>>869
thx、更新止まってるみたいでげんなり

invalid requestって何が原因?頻発するんだが

878sage (ワッチョイ e5ec-6smv)2017/10/03(火) 18:49:13.53ID:1vKvOmgu0
>>877
reCAPTCHAの認証に失敗すると出てます。
全体の3%くらいでそんなに出ていないので
それ以上の確率で発生しているなら環境か回答に原因があると思いますがよく分かってないです。
判定には、reCAPTCHAの入力(マウスの軌道,画像問題が出たならその回答)、端末のIPアドレスが使われてます。

>>878
なるほど。実行ボタン押せても回答が間違ってる場合があるってことかな
ここ数日で急に出てくるようになったんだよね
ちょっと注意してreCAPTCHAやってみます

前にノイズが云々言った者だがもう直ったみたいだな
前までは本当に素人が分かるレベルの汚いノイズが出てたんだ
マルチの方が未だに直ってないようなんで使ってみれば分かる

ウェブでの処理は1年以上変更していないですよ

waifu2x-caffeで縦横幅両方指定すると横だけ指定した場合に比べてかなり時間かかるけど、
縦横幅両方指定だと単純に2の累乗倍して縮小するだけじゃない何か別の処理してるのかな

指定値のどちらかが元サイズの2倍数を超えているとか
128->256(2倍), 128->257(4倍後縮小)と境界がある

>>882
テストしたけど変わらないわ

883のケースじゃないかね

色々試してみたが、(自分の場合)どうも一定以上縦長の画像を拡大してみたときに縦横幅両方指定/横だけ指定で処理時間に差が出るようだ
例えば500x1000の画像を横幅800pxで拡大したときと800x1600で拡大したときとか
処理時間だけでなく結果も明らかに違う

>>885
その条件でテストしたら確かに違いを確認したわ

横幅のみ指定 20秒
横幅、縦幅指定 90秒

例えば500x1000の画像を横幅800pxで拡大したときと800x1600で拡大したときとか
処理時間だけでなく結果も明らかに違う

横幅のみは 1.6倍 プロファイル使って1回
両方指定は 2.0倍 4分割から縮小

と違う経路になってるかと。 886の時間差的にそれっぽい

>>887
1.6倍かどうかは関係ないかも
900x1800でも一緒だった

1.6倍の意味を理解してないと思われ

>>870
お試し環境はないの?

フォトショにもAIアップスケールだって

https://pc.watch.impress.co.jp/docs/news/1087038.html
>人工知能を活かした画像拡大機能で、ディテールやテクスチャを保持しつつ画像サイズを変更でき、劣化が抑えられるという。

>>891
リンク先の画像だと、画像サイズが小さくてわかりにくいが、確かに髪の表現や顔の血管やシワが強調されてはいる。
まだプレビュー扱いのようではあるが。
しかし、Photoshop高いからな…

Lightroom付いて月1000円は安いと思うけど

・・・数年でいくらになるかと言うと

"(((( ´,,_ゝ`))))

文字などの拡大結果がwaifu2xっぽいらしいですね
(CNN系はどれも似たような特徴がでる)

>>894
買い切り時代の値段で8年くらい使える訳だけど
確かにまともに使わない人には高いか

休みの日のお絵かき用途に毎月1000円も出したくないな

Photoshopでお絵かきなんてするやついるのか

月180万……
いまだに運営費の問題は健在か

・ガビガビの低解像度写真を高解像度な写真に変換できる「EnhanceNet-PAT」が登場
https://gigazine.net/news/20171101-algorithm-low-resolution-images/

この研究の前は、最先端の超解像技術でさえ、画像の中にぼやけた部分やざらざらした部分を持っていました。
その理由は、『高精細な画像になるようにオリジナル写真を再構成させる』などのニューラルネットワークでは実現不可能なことを、ニューラルネットワークに要求していたからです。
そのため、超解像技術で作成された画像は、一部がぼやけていたそうです。
そこで、我々はニューラルネットワークにより高精細なテクスチャーを作成してもらう、という異なるアプローチを取りました。
この手法ではニューラルネットワークが画像全体を見て、領域を検出し、意味情報を使ってより高精細なテクスチャーを作成し、高解像度の画像を作成します」

能書きはいいから早く一般人が利用できるようにしてくれ!

こんな事が出来るようになったのに、何でデインターレースは上手く出来ないのか

デインターレースはやりたがる人が少ないんじゃないか
あとリアルタイム動作を考えると難しいとかあるかも

>>900
これ、デジタル放送のブロックノイズ対策やモザイク除去にも使えそうだな

凄いんだけど、失敗例だと化物みたいになっちゃうな

http://i.imgur.com/PXVKiei.png

ゾンビで学習しちゃったみたいな?

奥の人と融合して別の学習済みの何かとザ・フライしたな

ハゲの再現度は高いな

ゾンビ化以外は、従来版よりいいね。
従来版の輪郭が溶ける問題は発生していないから、ゾンビ程度ならペイント程度でも局所的に簡単に手直しできそうだし。
(輪郭が溶けるほうは、ペイントで簡単に手直しとはいかないし)

>>900
これ試せるところないの?

無いよ

金積めば研究データ使わせてくれるかも

有料でいいからソフト化してくれ

同一画像については変換パラメータ変更での再処理は○回まで無料とかは欲しいが
利用量(枚数、サイズ)に応じた従量制課金かプリペイド制のサービスになると利用しなくなる法則

オンライン変換サービスしてる人も課金モデルでその部分指摘してたな

テクスチャを学習するってことは、本格的に学習すると
データの容量が凄いことになるのかな

学習するサンプルも多いだろう

画像系ディープラーニングの学習データの量はニューラルネットワークで定義されてる係数やフィルタの数で固定される
学習サンプルが多いとデータが増えるわけではなく、固定サイズの学習データの質がサンプルの内容に応じて最適化されていくだけ

ここのサイト結構性能いいかも
ちょっと誰か試して

Let's Enhance – free online image upscale and enhancement with neural networks
https://letsenhance.io/

原画像
http://i.imgur.com/mxp9Q2J.png
http://i.imgur.com/TGaT3oX.png

waifu2x
http://i.imgur.com/s4jE2hO.png
http://i.imgur.com/UZsH9uj.png

Let’s Enhance
http://i.imgur.com/fu6PEWJ.png
http://i.imgur.com/SVpsLwH.png

紹介記事
This Website Uses AI to Enhance Low-Res Photos, CSI-Style
https://petapixel.com/2017/10/31/website-uses-ai-enhance-photo-csi-style/

>>917のサイトのやつSRGANを参考に作っているらしい
ボケずに拡大出来るけど模樣なんかが元の画像と違った感じになる

原画像
https://i.imgur.com/Xs8E2hZ.png
waifu2x
https://i.imgur.com/4D0rzHC.png
Let’s Enhance
https://i.imgur.com/2elNRSJ.png

SRGANに関してはここの説明が分かりやすかった
https://elix-tech.github.io/ja/2017/02/06/gan.html#papers

元の画像から変わりすぎ

>>919
ちょっと画像の例が悪かったかもしれない
元の1/4に縮小して拡大してあるから細部の情報なんて全く残ってないのよ

>>920
EnhanceNet-PATは、そこまで酷くない。
今更出来の悪いものは必要ない。

予想外の結果になりそうで面白い

923917 (ワッチョイ 7f6c-+eVz)2017/11/09(木) 08:10:48.38ID:ejxgnOxl0
紹介の仕方をミスった感が強いけど>>917のサイトは写真の種類によってはそれなりに有用だと思う。
waifu2x UpPhoto x4 ノイズ除去無しとの比較。

http://upup.bz/j/my27960IRCYtBJQmxSGzyUg.jpg
http://upup.bz/j/my27961gChYtd_bPU81wFWU.png
http://upup.bz/j/my27962YLrYtQJyJmWv6uSE.png

http://upup.bz/j/my27966jlmYtbo37ME0ayCU.jpg
http://upup.bz/j/my27967AwAYtbo37ME0ayCU.png
http://upup.bz/j/my27968lFCYtbo37ME0ayCU.png

>>923
どれがどれかくらい書いてアップしろよ、常考・・・
上から
・原画
・UpPhoto x4
・waifu2x(ノイズ除去無し)
だな。

■草刈正雄画像
一見すると確かにUpPhoto x4の仕上がりは良好に見える。
が、ブルーのクッションのうち右側のほうに着目すると、少しコントラスト比が変動してしまい
眠たくなってしまっている。
原画ではもう少しだけコントラスト感がある。

■女性画像
草刈正雄画像と同様に、黒い服?のコントラスト感が若干弱まり眠たくなってしまっている。

この程度の画像でコントラスト変動が出る(全体にではなく一部にというのが問題)のは、学習に用いている画像の枚数が少なすぎるのではないか?

前の>>916でもそうだけど、学習量が少なすぎるから、少ない学習データの中で一番近そうなのはこれしかないんです状態に感じられて仕方がない。
少なくとも今の学習量の8倍は学習させたほうがいい。

あと、一度拡大した画像自体を縮小して、元画像との変化が出ているところを再度調整しなおすような仕組み(フィードバック補償)があってもよいのかもしれない。
ゾンビ化の画像とかもそうだが、フィードバックしていればあのまま出てくることはないはず。
一度きりの結果に満足するなかれ。

>>924
ごめん、どれがどれか書き忘れた。
上から原画像、waifu2x UpPhoto x4 ノイズ除去無し、Let's Enhanceの順です。

あとレビューありがとう。
自分は画像処理の専門家じゃないしそんなに目も良くないので意見を言ってくれると助かります。
学習量については一週間毎にモデルを更新していく予定とのことなのでそれで改善されるかも。

>>925
>上から原画像、waifu2x UpPhoto x4 ノイズ除去無し、Let's Enhanceの順です。
これマジ?
だとしたらLet's Enhanceが一番ぼけてることになるのだが。
輪郭線などの具合から、てっきり3番目がwaifu2xかと思っていたのだが。

>>917
ここの最新エントリにLet’s Enhanceの使い方から処理の違いとか詳しいのある
digibibo.com

>>926
Let's Enhanceぼかしたままのところとディテールを加えるところのメリハリがあるね
髪の毛や肌は明らかにLet's Enhanceの方が情報量が多い(存在しない情報を付加している)
メガネのエッジなんかもLet's Enhanceの方がくっきりしてる

>>927
さすがに記事書き慣れてる人は紹介が上手いねw
自分だけではしゃいで魅力を説明できない自分とは大違いだわ

なぜかリンク貼るとエラーになるのでリンク先で画像見つけてほしいが

■JPEGノイズ除去のbefore/after(左右で比較できる画像)
tmpimg1711101329n220171110135958928.jpg
やはりコントラストが変動しているな。

■拡大のbefore/after(鉄塔の画像)
before
tmpimg1711101340n120171110140051020.jpg

after
tmpimg1711101341n120171110140114527.jpg
拡大後の鉄塔の赤色や右側の塔の上部のオレンジ、クレーンの青、背景等をみると、同様に変動している。
輪郭周りの処理はwaifu2xよりうまいけど、まだまだ問題点が多い。

追記

ただし、ノイズ除去の精度はかなり高い。
これ、デジタル放送のノイズ除去や、調整次第ではVHSの3倍モードのノイズに効用がありそうな気はする。

確かに非常に良くなる画像とディテールが崩れる画像がある印象。
だけどまさに魔法と呼びたくなるほど凄い処理がされる画像もあったよ。

イラスト系の比較画像がほしいな
実写はもともとwaifu2x苦手なの分かってるし

934名無しさん@お腹いっぱい。 (ポキッー df8e-0ibl)2017/11/11(土) 11:12:56.96ID:K8wJXMCa01111
>>933
今は無料で試せるみたいだから自分で試してみたら。

閑話休題。
Let’s Enhance、これもGPUの力がないと演算に時間がかかるタイプなのかな?
来年早々にIntel CPU+Radeon GPUなCPUをIntelが出すみたいだし、AMD系含めオフライン環境でも実行できるようになればいいのだが。
動画を連番画像で書き出してアップさせようとするとすさまじい枚数になるので、時間はかかってもいいがオフラインで実行できないと死ぬ。

>>933
Let's EnhanceのTwitterアカウントの人がWe are trained on photos, not anime ) Waifu2x has a clear leadership here )って言ってるからあんまり向いてないんじゃないかな
Google翻訳 私たちはアニメではなく写真で訓練されています)Waifu2xはここで明確なリーダーシップを持っています)

>>584でGANはPSNRが下がる懸念があると言われていたので気になって調べてみました。
一応bicubicと同程度はあるようです。

BSD100 x4 Y-PSNR
25.976 bicubic
26.085 Let’s Enhance
27.094 waifu2x Photo
27.196 waifu2x UpPhoto

ベンチマークに使った画像もUPしておきます。
https://www.dropbox.com/sh/i5b2old7vqgtvyv/AADb8UIqZel9LTDaFuwDdLwda?dl=0

>>936
PSNRで20台半ばか。
ただ、そもそも超解像のような処理の場合、PSNRが評価指標として適切かという問題はある。
以下を読むと参考になるかと。

・MSE/PSNR vs SSIM の比較画像紹介
https://qiita.com/yoya/items/510043d836c9f2f0fe2f

SSIMで比較してみるといいのかもしれない。

追記
Let’s Enhanceは、コントラストが変動する問題が解決すれば、基本的には今の状態でも使えなくはないのだが(バケる問題は学習量を増やせば落ち着くかと思われるので)、なぜにあんなにコントラスト変動が起こるのかが解せないんだよね。

再度追記
>>936の画像を見ていると、苦手な画像が少しわかってきた。
小さな三角形のような形が含まれる画像が変形しやすいように見える。
ヒョウ柄とか動物の目のまわりとか、そういう画像をたくさん学習させるとかなり改善されるような気がする。

Let’s Enhanceについてさらに評価と要望

・アンチJPEG
JPEG画像などに見られるブロックノイズを解像感を落とさずに除去
→この考え方を応用して、スキャナで取り込んだ画像に発生するモアレを、解像感を落とさずにモアレだけ除去できるような
「アンチモアレ」機能に発展させてもらうことはできないのだろうか?
現状、モアレ除去を試みると、どうしても解像感が犠牲になるのと、素材ごとに手動で最適な設定値を見出さなければならない状況になるが、
自動的に最適な状態で除去してくれたら、印刷物の取り込みが大幅に楽になる。
ついでに、オプションで印刷物取り込み画像はコントラストが眠くなりがちです、取り込み後にガンマをいじくったりして補正しなければならないケースが多いので、
印刷物のコントラスト補正最適化モードも自動的に実行されるオプションがあればなおよいのだけど。

・ボーリング
省略

・マジック
アンチJPEGを実行後に拡大しているようなのだが、アンチJPEGをオフにして拡大だけするモードをつけられないのだろうか?
サンプル画像を見ていると、アンチJPEGによる副作用なのか、妙にノッペリして見える箇所が見受けられるので。

waifu2xとの比較画像含め作成してみました。
https://www.axfc.net/u/3862416
※700MB程度zipファイルです。時間のある時にお試しください。
今夜2時までの公開です。
(著作権があるので、テスト目的のみで使用してください)

※元画像がAdobe-RGBの画像については、ICCプロファイルの引継ぎがされていないため、正しい色味で表示されませんが、これはwaifu2xの初期と同じく、プロファイルの編集をすれば正しく表示されます。

なお、変換した画像について
・いつもの画像
waifu2xのテストでよく使用していた画像です。
pngファイルにつき、anti-jpegは出力されていません。
ノイズ除去を適用したくなければ、pngファイルでアップするとよいのかもしれないです。
waifu2xとの比較ですが、boolin(2次元向き)よりmagic(実写向き)のほうが精細感や透明感があり好ましいように思います。
ただし、川の右側の欄干の処理がもう一歩な感じはするけど、縦横4倍!でこの状態はすごい。
(試す前まで、waifuと同じ縦横2倍だと思ってました・・・)
ただし、川の左側の石の護岸壁が元画像とコントラストが異なるのは気になるところ。

他の画像はjpgですので、anti-jpegあり。
参考程度にどうぞ。
(ノイズ除去なしになるか試そうと、jpg⇒pngした画像をアップしようとしたら枚数上限に達したので、また次回試してみます)

重すぎてダウンロード出来ない

>>942
また時間のあるときにでもアップしてみます。

なお、開発元からメールが届き、やはりpngでアップした場合はJPEGのノイズ除去はしないで拡大だけするようです。
その状況を確認しようと再度アップを試みたところ、前回のアップからすでに1日以上経過しているにもかかわらず、
上限枚数に達したと表示されアップできない状態。
どうも不安定なようす。

今までグラボに負荷がかからないように、ゲームやるときでもGPU LOADをなるべく30%以内に抑えてきたんだが、
waifu2x-caffeだと常時100%使うんだな   (((( ;゚Д゚)))ガクガクブルブル
まあ、すぐ慣れるか・・・

俺100%にならないぞ
性能が低いからか?

新着レスの表示
レス数が900を超えています。1000を超えると表示できなくなるよ。
レスを投稿する