【超解像】画像拡大ソフト総合スレ2【waifu2x】 [無断転載禁止]©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。
--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/
・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436
・waifu2xとその派生ソフト一覧
※リンクがNGワードに！
・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437
・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/
・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html
・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html
VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured >>446
その2次元絵もアプコンでは境界線が溶けてて使い物にならないんだけどな
RAISRのベンチ次第では本格的にいらない子になるわ >>448
画像(動画)であれば全て対応可能な点と
マシンラーニング結果で精度の向上が見込める点か 処理速度が発表通りなら確かに動画のアプコンも現実的な範疇かな これweb版はpixivのサーバーで動いてるんだな >>443
どこかでテストできるサイトはないのかな？
あるいはwaifu2xに「同じ写真のアップサンプリング版と高解像度版」のセットを学習に使用するの部分だけでも組み込んで、速度はともかく画質向上ができればとも思うけど 2030年、日本人がモザイクを無修正にする技術を発明する >>453
Set5,14の結果が論文に載っているけどwaifu2xの写真モデルよりだいぶ低いです。
Bicubicよりマシな結果で速度に特化している感じだと思う。 写真で言えば、現状木の葉の重なりとか
同系色の小石及や砂漠の処理が難しいな
サンプル食わせても、思ったように描画してくれない みんな論文読んだ？
読んだ範囲だと選択的に
デシタルフィルタで輪郭強調してるだけっぽいけど
表現力とかreceptive fieidはかなり
waifu2xの方が大きい
ただ家電組み込みとかは有利そう 昔からよくある超解像のエッジ強調でボケ低減重視した結果
テクスチャ成分が消えて油絵見たいになる奴だな
今までは反復で処理してたのを1回?なんで速度が速いみたいな
あとで元画像の高周波成分に応じたディザ加えると視覚上はそれっぽく見えるようなの あぁwaifuより溶けてねーかと思ったのはあながち間違ってなかったのか >>457
論文のままやるのではなく、waifu2x流に 「同じ写真のアップサンプリング版」と「(今までのモデルデータと同じ)高解像度版」の2パターンのモデルデータを作成して、
それぞれで超解像処理したあとに部分ごとにいいとこ取りするとかではダメなの？ koroshellのコンバータをcppに変えたら速くなった！
気がする madVRにNGU (Next Generation Upscaling)というのが入ったらしいので
動画に詳しい方はレポートをおねがいします。 Jincはぼやけすぎ
NNEDIはリンギングがひどい (ただ元の画像に入っているのでシャープにするときに強調してしまっているのかも)
NGUとwaifu2xはぱっと見同じに見えるけど線だけ見るとwaifu2xのほうくっきりしているのと
左の女性の口周りの色のにじみなどが消えているというのが自分の感想です。（このwaifu2xはノイズ除去あり?)
これでwaifu2xの100倍速いならすごくいいんじゃないでしょうか。
あと
>madVR v0.91.0
>* added new NGU (Next Generation Upscaling) algorithm
とあるのでもう入ってると思います。 >>469
実写だとこれ
http://forum.doom9.org/showthread.php?p=1785599#post1785599
NGUは輝度のみの拡大で、色差はBicubic60で拡大している模樣
面白そうだけどうちの低スペPCじゃmadVRは無理だなあ 動画のキレイな拡大ならMPDNてのもオススメ。openclに対応してる。 BSD100 x2
PSNR 28.599 SSIM 84.309 Lanczos3
PSNR 28.729 SSIM 83.971 NNEDI3
PSNR 29.721 SSIM 87.238 SRCNN
PSNR 30.071 SSIM 87.456 NGU
PSNR 30.081 SSIM 87.471 waifu2x_Photo
PSNR 30.292 SSIM 87.885 waifu2x_UpPhoto
評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に
思いのほかNGUのスコアが高くなって困惑
madVRの開発者がNGUはGoogle RAISRより優れていると豪語してたけどマジかもしれない NGU、恐ろしい子！
ただ原理的なことがさっぱりわからんけど。
というか、静止画で手軽に試す手段とかあるの？ >>474
> というか、静止画で手軽に試す手段とかあるの？
無いと思う。
MPC BEにpngを読み込ませてスクリーンショット撮影っていうのをひたすら繰り返した。
NNEDI3みたいにプラグイン形式で使うことが出来れば楽なのだが。 さすがに画質ではwaifu2xにはあと1歩及ばないけど
動画をリアルタイムに拡大処理可能な速度でこれは凄いな >>473
>評価コードのせいか相変わらずPSNRの数値が論文のものとは違うので参考程度に
超解像の論文でよく使われているPSNRと書かれている再現できない謎の評価指標は
輝度だけのPSNRなのですが
MATLABの実装由来で輝度を16-235の範囲の整数にしたあとにMSEを計算しているため通常のPSNRより高くなっています。
(また縮小に使うアルゴリズムはBicubicに固定します。
waifu2xのtools/benchmark.luaで-filter Catrom -range_bug 1にした時にこの評価指標を再現できます)
この評価指標を使っている場合は、BicubicのPSNRが高いので見分けが付きます。
RAISRはSRCNNよりもPSNRは低いと書いてあるのでNGUはRAISRよりも高いと思います。 NGUの演算時間を延ばしていいから、もっと高精度に演算させるオプションとかないものなのか？
あるいは先日の例に習って
従来型waifu2xとNGUのいいとこ取りとか >>477
詳しい説明ありがとうございます。
MATLABもLuaも導入難易度が高そうだったのでWindowsで簡単に扱えるソフトで良いものが無いか探したところ、FFmpegを使えばだいたい同じような値が出ることが分かりました。
これでデータセットの中に縮小済みの画像が入っているものに関しては割と近い感じの数字が出せるかもしれません。
BSD100 x2
Y-PSNR 29.553 bicubic
Y-PSNR 29.917 Lanczos3
Y-PSNR 30.066 NNEDI3
Y-PSNR 31.096 SRCNN
Y-PSNR 31.190 SelfExSR
Y-PSNR 31.397 NGU
Y-PSNR 31.417 waifu2x_Photo
Y-PSNR 31.627 waifu2x_UpPhoto >>480
Bicubic, waifu2x_Photo, waifu2x_UpPhotoのスコアは手元と大体同じです。(差が0.01程度)
SelfExSRは2年くらい前にstate of the artと言っていたものなので
処理時間の制限つけた上でそれを超えてるのはすごいですね
もっと遅くしてよいという条件でどこまで上げれるのか気になる 読唇術もコンピュータ処理の時代か
インチキ読唇術者ざまあ PSNR値は視覚及び脳内での判定と一致しないんだよな
元写真を縮小→拡大テストで見比べると、SRCNN等は微妙と言うか
人間的感性も数値化できればいいんだが
そいや市販ソフトのPIXEL MASTERは昔使ってみたが(性能は微妙なところ)
今は公式ツイッターさえSpamBOTにのっとられてる有様だなｗ PSNRを高くにするは、ほとんど同じ入力から拡大結果が異なるようなときに
それらの平均を出力したほうが有利で、平均というのは無難だけどどの正解にも近くないので違和感を感じやすいと言われています。
人の感覚に近いものとして、Perceptual LossやGANを使ったモデルが出ていて
これは、拡大結果の違和感は少ないけど、元画像とは近くならないです。
（PSNRは低い、ぼやけている部分を強調したり、元画像とは異なるテクスチャを追記したりする）
ただ写真ではかなりすごい結果が出ています。
https://arxiv.org/abs/1609.04802（画像だけでも見る価値があると思う） そこに書いてある
＞24Mbps、29.97fpsのFHDを4kに拡大してみました。
＞・インターレースソースの問題（プログレッシブ化）。
＞・音声のずれ。
＞・かえって画質が劣化した。
＞と感じています。
これは数字から推測するにBSを録画したTSファイルやろな 中学生ぐらいが作ったサイトっぽいな（俺も作ったわぁ） >>492
ノートン先生は落としたファイルの利用者が少ないとなんでもかんでも有害認定する池沼だぞ ノートン先生は引退して画商になった。今のノートン先生はレプタリアンが化けてる。 うちのノートン先生は利用者が少ないファイルでウイルスの疑いがないならそういう風に注意だけ出してくれるけど違う先生なの？ madvrのNGUのベンチが思った以上に凄いから動画に関してはそっちで充分かな
waifu2xだと溶けるのがやっぱり残念なのと、動画のパンでは、境界線でジャギーみたいなのが発生するのも凄く気になる
あと結局は、エンコに凄く時間がかかるのがネックだなぁ
静止画でのベンチは素晴らしいんだけどね NGUがどう進化するか次第だと思う。
waifu2xのいいところと、NGUのいいところが、うまくミックスできると最強なんだろうけど。 500 Internal Server Error madVRスレでも言われていたけどNGUはジャギーが稀に出る事があるのでそこが改善されると嬉しい。
ちなみにwaifu2xで拡大すると綺麗に拡大されるのでやはり優秀だなあと思う。 前々から思ってたんだけどノイズ除去の「最高」を精度とか品質が最高だと思ってどんな画像も最高で変換している人がいるような気がする。
例えばこの記事も元のjpgの品質が98くらいあるのに最高で変換している。
フルHDから4Kへ！ Webのちからでプリキュアの壁紙を超高解像度化する｜ギズモード・ジャパン
http://www.gizmodo.jp/2016/12/4k-precure-wall-paper.html >>505
必要ないならあえて強く掛けない方がいい気がするよな…上の画像なんて元からJPEG品質高いっぽいし
>>506
これなぁ
俺の環境では動画と音声の長さが合わなくて、音ズレしまくったんだよな
更新も止まってるっぽいし… 動画は可変フレームレートとか色々あるから音ズレしやすいんだよねえ……
一部のWMVも可変フレームレートだから普通にFFmpegで変換すると音ズレする。
>>507
コメント欄に「このソフトで変換すると音声がずれる動画がyoutubeなどにあったらurlを教えてください。」って書いてあるからサンプル提供するかMediainfoで調べた情報送ればいいんじゃないかな。 caffeの最新と同等の動画用があるといいんだけどな まあそれが理想だなぁ
w2xcも更新が止まっちゃったし >>488のやつは内部にwaifu2x-caffe使ってる
導入も簡単だし、音ズレ対策やその他諸々の機能追加されたら使い勝手良くなるから頑張って欲しい caffe使ったvapoursynthのプラグインがあるだろ 導入することさえ出来ればVapourSynth-Waifu2x-caffeが品質も処理速度も最高だと思うけど導入難易度高いね。 初心者新参なんだが、どれがおすすめ？
Windows10 Pro 32bit Core i5
メモリ4G >>517
32bitのWindowsだとtanakamura氏のwaifu2x-converter-cppかな。
64bitのWindowsなら今でも更新が続いているwaifu2x-caffeがいいんだけどね。
今だとcaffe版にしか付いてない機能も多いし >>518
ありがとうございます！
トライしてみます！！ Sharper Scaling
http://a-sharper-scaling.com/
Bicubic interpolation
http://a-sharper-scaling.com/2b.jpg
Photoshop Preserve Details
http://a-sharper-scaling.com/2pd.jpg
A Sharper Scaling
http://a-sharper-scaling.com/2ass.jpg 👀
Rock54: Caution(BBR-MD5:0be15ced7fbdb9fdb4d0ce1929c1b82f) 今使ってるグラボがGTX670なんだけど、1060や1050にしたら処理早くなりますかね？
80枚のイラストを3.0倍、ノイズ除去1 jpgでやると20分位掛かっちゃうんです >>522
早くなると思います。
gtx1060＠6gbならばvramを最大限活用すれば間違いなく体感できる差を得られるでしょう。 >>526
ttaの有無、分割サイズ、変換する画像の大まかなサイズなど詳しく教えていただければ自分のpcで走らせてみますがどうでしょう？
多少なりとも参考になると思います。 AMDから今度出るGPUが深層学習向けらしいけど
このソフトでも早くなるのかな >>509
さっき覗いたら更新来てた
音ズレ検証してみたけど解消してるわ
これはいいで オンボのノートPCじゃこのソフト使えないんでしょうか？
1280×800の画像１枚を２倍にしたいだけなんですが実行ボタン押しても残り時間：不明って出てフリーズします。
ウェブ版は普通に使えます waifu2x-caffeなら時間かかるが動くんじゃね とにかくColorProfile対応してくれることを望みます
ちょっとライトエフェクトとかある差分画像とか全体が全く違う色になって困り果ててしまうわ
これで動画のエンコなんてしたらもう… >>532
ありがとうございます。ソフト名を書くのを忘れていました。
そのwaifu2x-caffeでフリーズしてしまうのです。 >>534
残り時間不明のまま一見なにも起きない（裏でちゃんとうごいてる）
のは仕様だと思いますが。CPU使用率を見てれば動いてるかどうか
分かるよ 初期設定だとCUDAで変換するようになってるけど環境がCUDAに対応しているかチェックする時に躓いているのかな
動作設定で使用プロセッサーをCPUにすれば動くと思うけど >>538
動作設定はCPUにしております。CPU使用率は80%以上でございます。Braswellでは非力すぎて動かないのかな >>539
時間がかかるだけで変換出来ないって事はないと思うんだけどね
あと気をつけないといけないと思うのは分割サイズを大きくしすぎるとメモリを食ってOSごとフリーズする事くらいかな あの進捗、ファイル数なんだよなぁ(´･ω･`) 大漁のファイル掘り込めばバー動くけど
オンボろノートで1280×800を2倍拡大だと数分掛かるんじゃね？ 辛抱強く待ってたら一応完了したのですが出力先を見たら何もできていませんでした‥.
モデルのUpPhotoとphotoの違いは何でしょうか？ 出力先指定してあるの？違う所見てない？ それか上書になってない？
無印は標準モデル
Up印は速度優先モデル(と言っても倍程度。出来上がりに大差はないけど物によっては気になるかもしれない) 1060が届いたので試してみました
･･････････あまり変わっていない？
分割サイズを128から240にしたけど、う〜ん
後cuDNNってなんぞ？ cuDNNはNVIDIAが別で配布しているライブラリ
ディープラーニング用のAPIが入ってる
waifu2xはほとんどの処理時間は
コンボリューションで、cuDNNに
含まれるAPIなので恐らく速くなるはず
caffeeの自前実装のコンボリューションが
鬼のように最適化されてたら変わらんかも
しれんが比較したことないので知らん ■ このスレッドは過去ログ倉庫に格納されています
