【超解像】画像拡大ソフト総合スレ5【waifu2x】

2020/07/23(木) 23:18:39.57

!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured

2020/07/25(土) 00:53:23.22

DainAppの事もここに書き込んでいいんですかね？

2020/07/25(土) 00:54:04.65

多分srmdの問題というよりWaifu2x-Extension-GUIの実装の問題だろうね
srmdはscaleオプションが2、3、4の3種類あるから目当ての拡大倍率するための組み合わせがややこしくなる

2020/07/25(土) 10:54:25.36

997 名前:名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ 1302-8Xcr) :2020/07/24(金) 21:49:54.94 ID:az/GEmcQ0
>>996
自分が今まで試した感じでは手軽にフリーで使えて捏造無しならRealSRが実写向けで一番だと思うよ。
できた映像にシャープかけたらブロック目立つからブロックノイズの除去は上手くできてないような気がする。
先にブロック軽減機能があるソフトでエンコードして超解像してシャープかけたらいいかも？
でも最初の低解像度画像にブロック軽減をかけると上手く拡大できないかもしれないし、なかなか万能というわけにはいかないようだね。
私的ランキングは
1番がRealSR
2番手にＳＲ１００×１００
3番目がwaifu2x

998 名前:名無しさん＠お腹いっぱい。 (ﾜｯﾁｮｲ 4138-n1qw) [sage] :2020/07/25(土) 00:13:35.44 ID:YDmYrtVw0
>>997
realsr＞srmd＞waifu>LUCIFER

2020/07/25(土) 13:00:20.55

てすと

2020/07/26(日) 17:33:18.60

Alexkral/AviSynthAiUpscale: An AviSynth+ implementation of some Super-Resolution Convolutional Neural Networks.
https://github.com/Alexkral/AviSynthAiUpscale
https://i.imgur.com/7sMi7eW.png

PSNRやSSIMはwaifu2xのUpPhotoモデルより高いみたい
https://forum.doom9.org/showthread.php?p=1919165#post1919165

2020/07/26(日) 17:39:10.86

新人参入？

2020/07/26(日) 17:46:16.48

2400Gで1280x720の動画を2.3fpsくらいで処理出来たからwaifuよりずっと速いはず

2020/07/26(日) 21:36:51.14

>>11
明らかに解像感が違いますね

2020/07/26(日) 22:22:34.97

てすと

2020/07/26(日) 22:23:31.97

>>11
使い方が解からないんだけども・・・

2020/07/26(日) 22:26:13.40

>>9
人の顔とか肌はSR100が良くてそれ以外だとRealSRやwaifu2xがいいみたいだね。

2020/07/27(月) 11:32:33.96

avisynth+ってCUDAとか使えたっけNEOとかは使ってないからよく分からない

2020/07/27(月) 12:18:12.68

>>16
そのうちExtension-GUIに含まれそうな雰囲気

2020/07/27(月) 19:50:30.32

セガ公式アカウントがwaifu2xの紹介してはる
https://twitter.com/SEGA_OFFICIAL/status/1287565799616425984
https://twitter.com/5chan_nel (5ch newer account)

2020/07/27(月) 20:43:25.96

いいからさっさと酒井智史をクビにしろ

2020/07/27(月) 22:19:32.52

nihuiさんてなんなの？美少女なの？

2020/07/28(火) 00:52:46.10

>>11参入で画質番付表は変わるのかね？

2020/07/28(火) 17:21:07.54

変換中の残り時間が減ったと思えばカウントすぐ増えての繰り返しにヤキモキ…

2020/08/01(土) 14:56:09.05

>>11
早いし綺麗だけどどうやら1コアしか使えないぽい、GPU使わないのが気になるなぁ
waifu2xのcunetの1000倍は処理的に軽そうだからGPGPUなりCUDA対応したらリアルタイム高画質再生余裕で出来そうだし、完全にゲームチェンジャーになると思う。

2020/08/01(土) 20:12:01.33

ん？GPU使ってない？
こっちはタスクマネージャーで使用率100%になるけど

2020/08/01(土) 23:13:58.06

AviSynthは色々古いからVapourSynthの方に移植してほしいなぁ

2020/08/02(日) 01:55:13.58

>>26
あっそうなんだありがとう。ファンも鳴らないしGPUZで適当に確認しただけだから全然違う所見てたみたい…

2020/08/02(日) 01:56:25.47

グラボがないとかのオチは

2020/08/02(日) 08:39:18.48

AiUpscale
AviSynth+ 3.6.1 (r3300, 3.6 x64) で一応動いた。
SetFilterMTMode("Shader.dll", ???????? )の mt-modeは？
1 or 2 or 3
どれなんでしょう？

2020/08/08(土) 01:51:21.35

・「Diablo II」のゲームプレイ動画をAIで4Kに拡大するとどうなる
https://pc.watch.impress.co.jp/docs/news/yajiuma/1270071.html

2020/08/10(月) 23:41:09.50

どこかの同盟国がアメリカと戦い始めたから

2020/08/11(火) 19:10:05.91

なんかもういろいろ派生が出ててよくわからんな
一番処理が早いのはcaffe？

2020/08/11(火) 20:50:52.23

処理の速さより品質でしょ

2020/08/11(火) 22:06:05.08

対応GPUの広さも重要だと思う
使える人が多ければより知見を深められるし共有しやすくなる
現状AMD/Intel/NVIDIA GPUに対応してるのがwaifu2x-ncnn-vulkanくらいしかないが

2020/08/11(火) 22:22:53.54

AnimeGAN.js: Photo Animation for Everyone
https://animegan.js.org/

2020/08/11(火) 23:04:16.77

>>34
動画エンコしてるから速さを優先したい

2020/08/12(水) 00:00:47.14

>>37
vulkan

2020/08/12(水) 00:41:04.02

早さならFP16でやってるvulkanが最速だろうね
品質はcaffe

2020/08/12(水) 07:07:00.88

FP16早いな
ありがとう

2020/08/12(水) 11:58:03.74

>>37
動画なら今流行りのavisynthAiUpscaleでいいじゃん
若干ノイジーだけど、自分の環境だとvulkanなcunetより10倍程度早いと思う

2020/08/13(木) 00:09:20.45

導入のしかたがさっぱり

2020/08/13(木) 01:01:51.61

・NVIDIAが8月31日にコンシューマ向け新GPUを発表か?
https://pc.watch.impress.co.jp/docs/news/1270392.html

「各誌の憶測どおりであれば、今回NVIDIAは当時としては先進的だったGeForce 256を引用しており、よほどの自信を持って新GPUを発表するということになるだろう。
GeForce RTX 20シリーズの登場からおよそ2年が経過しているということも含め、NVIDIAからの続報に期待したい。」

見せてもらおうか、新GPUの進化とやらを

2020/08/13(木) 09:24:02.51

SPECTRA 7400 DDRなつかしすぎわろた

2020/08/13(木) 09:38:36.09

シンプルな板だね・・・

2020/08/13(木) 09:50:50.05

>>45
これ手前の小さい基板を交換可能なんやで

2020/08/13(木) 10:01:08.08

二階建てあこがれたわ

2020/08/13(木) 11:38:02.26

あと9年で人間がAIに抜かされるのか・・・

2020/08/13(木) 20:55:53.78

>>48
AIに抜かれるっていいたいの？
茨城とかそういう地方の方言を使うと標準語とは真逆に感じるからやめなよ。
関西弁だってそういう紛らわしい言葉使いは無いよ。
例えば・・
・抜く　　　　　～が相手を抜く。
・抜かれる　～が相手に抜かれる。
・抜かせる　　意図的に相手に追い抜いて貰う事。

地方によって教科書の文法が違う訳じゃないだろ？
だからそういう関東の外れの方言を標準語と思って使ってると恥ずかしいよ。

2020/08/13(木) 22:21:41.30

可能と受け身と尊敬は文脈で判断しなきゃいけない日本語は欠陥言語かもしれませんね
追い抜くという意味の「抜かす」は標準語かもしれませんよ
AIなら判断できるんでしょうか
とりあえずこんなスレ違いのことを抜かす私のレスは抜かしておいてください

2020/08/13(木) 22:28:57.32

>>50
そういう訳にはいかん。
ド田舎の訳わからん方言の何が標準語なものかね。
ド田舎弁擁護してんじゃないよ。

2020/08/13(木) 22:34:48.43

>>48
おい貶されてるぞ
俺も化かされるとこだったわ

41 (ﾜｯﾁｮｲ d2f4-CWhB) · 2020/08/13(木) 23:04:52.66

>>42
とりあえず、aviutlで最終開く感じで。

avisynthを導入する(AviSynthPlus_3.6.1_20200619.exeとかをインストール)
https://github.com/AviSynth/AviSynthPlus/releases

AviSynthShader(AviSynthShader-1.6.6.zipをダウンロード)
https://github.com/mysteryx93/AviSynthShader/releases
解凍して
C:\Program Files (x86)\AviSynth+\plugins64+
の中にShader.avsiとShader-x64.dllをコピー
C:\Program Files (x86)\AviSynth+\plugins+
の中にShader.avsiとShader.dllをコピー

AviSynth AiUpscale(Avisynth.AiUpscale.v1.0.1.zipをダウンロードして解凍)
https://github.com/Alexkral/AviSynthAiUpscale/releases/tag/v1.0.1
AiUpscale.avsiとShadersフォルダを以下にそれぞれコピー
C:\Program Files (x86)\AviSynth+\plugins64+
C:\Program Files (x86)\AviSynth+\plugins+

L-Smash(L-SMASH-Works_20200728.7zをダウンロードして解凍)
https://github.com/HolyWu/L-SMASH-Works/releases/
LSMASHSource.dllをC:\Program Files (x86)\AviSynth+\の各フォルダの中に名前を合わせて入れる。

メモ帳を開いてスクリプトを書いて拡張子.avsで保存
例えば2倍拡大最低限の処理だとこの2行だけ書いて保存すればいい。オプションなんかは適宜変更で
LSMASHVideoSource("開きたい動画のフルパス")
AiUpscale(2,"FAST","Lanczos", "",0,0,0,"Illustration","MPEG2")

出来たファイルをaviutlならl-smashフィルタ一番上にしてれば開ける。
他の編集ソフトはよくわからない。mpc-hcなんかだと直接動画として開けるけど多分等速は無理

2020/08/13(木) 23:09:49.91

ああすまん普通の動画なら動画と音声いるなスクリプトは下みたいな感じで
FilePath="ファイル名フルパスで"
A=LSMASHAudioSource (FilePath)
V=LSMASHVideoSource(FilePath)
V2=AiUpscale(V,2,"FAST","Lanczos", "",0,0,0,"Illustration","MPEG2")
AudioDub(V2,A)

あと連番画像から動画作るならImageSourceというのもある

2020/08/13(木) 23:21:30.09

LSMASHVideoSourceよりLWLibavVideoSourceのほうがよくない？
mp4しか読み込めんでしょ？

2020/08/14(金) 00:55:17.60

>>53
詳しい説明有難う。
自分としてはかなり頑張って環境設定したけど、Win7だからかLSMASHのバージョンも上限があって、
Win7でも入るやつを入れてやってみたけどAiUpscaleが見当たらないというようなエラーが出るよ。
LSMASHの優先順位は一番上にしてる。
何となくバージョンが噛み合ってないのかなぁ？とも思うけど、なにせAviUtlもAvitynthも難解というか自分にとって敷居が高過ぎるみたい。
動画の切り貼りとかできる環境にはなってんだけどね。

2020/08/14(金) 00:58:03.66

>>54、55
５６だけど、長時間四苦八苦してる間にレスされてたよｗ
今からもうひと踏ん張りしてみる

2020/08/14(金) 01:07:48.66

>>54
そのスクリプトで試してみたけど、難解なexpected a,orとかいうエラーが出た。

2020/08/14(金) 01:28:03.34

>>55
AviUtlの設定の中にL-SMASHに対して設定項目があるから一応両方というか両端にはチェックが入ってたよ。
読み込みで使う優先順位のような？ものかな？
つーか、なんで皆この難解なソフトの使い方わかるの？
俺つぎはぎビデオ作るのが精いっぱいだよｗ

2020/08/14(金) 19:11:36.41

>>56
自分も現在win7 64bitで、こちらのバージョンのavisynth+aviutlのver1以上を使用しているのでそこは問題無いと思います(ryzen2に無理矢理入れてるから環境的には特殊だけど)
aiupscaleの直前までは正常にいけてるみたいなので、おそらくフィルタを置いている場所に問題がある可能性がある。
例えば＋付きに置いてるものをそうではない方へコピーしてみるなどで出来ませんか?
あとやってないだろうけど最終出力が8Kを超えるとエラー返して来るみたい。
出来ないならちょっと分からない申し訳ない。

2020/08/14(金) 21:08:51.33

>>60
今やってみたけど今度はフィルタが登録されてないかなんたらかんたら～というエラーが出て拡張子ｌｗiのファイルが出来たよ。
ちと自分にはスキルが足りないみたい。

2020/08/19(水) 11:14:19.58

realsr-ncnn-vulkan
srmd-ncnn-vulkan

version 20200818

2020/08/19(水) 11:16:24.34

>>62
waifu2x-ncnn-vulkan

2020/09/02(水) 16:59:20.70

ふと疑問なんですけど、nvidiaのtensor coreが存在するグラボを使用した際にwaifu2x caffeでcuDnnを使用した場合やwaifu2x-ncnn-vulkanを使用した場合に、tensor coreの無いグラボを使用した場合に対して劇的な速度向上はありますか?
3000シリーズ買う免罪符がほすぃ

2020/09/02(水) 17:29:41.20

そもそもwaifuてテンサーコア使ってんの？

2020/09/02(水) 17:31:53.80

ncnn-vulkanのほうはTensorコアに対応する気みたいだけどどのくらい早くなるかはわからんな
https://github.com/nihui/waifu2x-ncnn-vulkan/issues/93

2020/09/02(水) 17:32:08.61

現状では無いんじゃないの？
ソフト側がtensor-coreにしっかり対応するのを待つ以外になさそう。

2020/09/02(水) 19:50:29.13

>>66
ありがとうございます。対応してくれたらうれしいなー

2020/09/03(木) 03:59:47.62

今は免罪符という言葉は使わなくなったはずだが…

2020/09/03(木) 10:51:46.01

言葉狩り対象になってるん？
差別用語のニュアンスがあるようには思えないけど

2020/09/03(木) 11:25:34.09

>>69
1500年代に批判されたやつだから……タイムトラベラーかな？

2020/09/04(金) 05:24:40.08

https://gamp.ameblo.jp/adol-c/entry-10876462276.html

2020/09/04(金) 08:47:52.94

つまり新訳知らないおっさん乙ってか

語源の正否や正しい訳はともかく
慣用句としての「免罪符」はまんま「罪のゆるし」として使われているわけだから
「贖宥状」に置き換えたら意味が通らなくなるね

2020/09/08(火) 01:25:47.57

GeForce RTX 3090で、さらにパワーアップするのかね？

2020/09/08(火) 11:56:49.94

＞CUDA試験のデータを収集した。
＞RTX 3080は、RTX 2080 SUPER性能の平均168%、およびRTX 2080 Tiの138~141%の性能を有する。
http://www.jisaka.com/archives/35969570.html

3090なら2080Tiの倍ぐらい速そう。
まぁ画像処理のために3000シリーズ買う人は少ないだろうけどｗ

2020/09/08(火) 12:21:39.17

>>75
動画編集とか３DCGの為に買う人はそれなりに居るんじゃないの？
今時のソフトはGPUをしっかり使うから重宝すると思う。
ちょっと動画編集ソフトと３DCGのソフト使ってみたら意外にも重くて時間がかかるから、それらの分野では
まだまだハードの性能足りてないんだなと思った次第。

2020/09/08(火) 12:28:13.69

waifu2xの為と言う意味だった。
スレ住人の大半は600～1000番台に思えたので。

2020/09/08(火) 12:32:33.83

3090とか他の全パーツの合計価格超えそうなの乗せるのは酔狂だよな

2020/09/08(火) 14:42:08.64

waifu2x的には動画のアプコンを考えない限りそんなに大した性能は必要ないし
動画のアプコンをするなら単体GPUの性能は必要なくてコスパのいいGPUを複数個使った方がいい

2020/09/08(火) 14:43:51.31

うちはエンスー向け乗り継いでるから3090でもそこまで全体のバランス崩れないかな…
クソ重いソフトを快適に使うにはそれなりに投資がいるもんだし、自作なら前のパーツ売れば市販よりかなり安く換装出来るしね

2020/09/09(水) 17:03:06.31

waifu2xって等倍では綺麗にならないよね？

2020/09/09(水) 17:29:59.17

何だその漠然とした質問は

2020/09/09(水) 18:24:40.86

1.入力と出力が同じ解像度によるものに対する質問
2.このスレでよく語られるcaffe版では単精度、vulkanでは半精度が演算で使われてることに対しての質問

1ならノイズ除去を行うなら当然変化する。ノイズ除去でも内部的に拡大が行われるモデルなら線も変わるかも?
また、ピントを合わせたい、もしくはジャギーや線のガタつきを低減したいのであれば1度適当なソフトなりで縮小して拡大を試すのもありかもしれない。
2なら誤差らしいけどグラボによっては色が変わる報告がある。

2020/09/09(水) 21:52:31.61

>>83
１の方だけど縮小して試してみてる。
絵だと効果はあるけど、昔のボケたように見える映像に効果があるかは１コマだけやってみても今一つ判らないね。

2020/09/09(水) 23:11:46.45

ほぼ全て拡大してから縮小してるんじゃないか？

2020/09/09(水) 23:56:22.47

caffeとvulkanはノイズ除去→拡大の順でやってるから等倍ならノイズ除去だけして終わるよ
他のは知らん

2020/09/10(木) 02:25:31.50

・GeForce RTX 3090で夢の8Kゲーミングは実現するのか？HDMI 2.1とDLSSの役目を解説
https://ascii.jp/elem/000/004/026/4026224/

「そこで、8Kのための新しいAIモデルを開発し、WQHDのレンダリングを8K相当の映像に再構成する「9X AIスーパーレゾリューション」を開発して実装している。
ただのアップスケーラーだと9倍拡大でディテールがボケボケになりそうなものだが、AIで処理することで、8Kの解像感に負けないシャープなディテールが得られるというものだ。
これで前述の計算力の問題については回避できる。」

https://ascii.jp/elem/000/003/091/3091072/img.html

一般画像の拡大用途に使えるようにならんのかね？

2020/09/10(木) 03:05:39.14

補足
・NVIDIA DLSS 2.0 Tested! | The Tech Chap
https://www.youtube.com/watch?v=eS1vQ8JtbdM

動画の4:50あたりで従来のDLSS 1.0と新しいDLSS 2.0の比較画像あり
DLSS 2.0はパッと見、よさげにも思われるが、実写に適用するとどうなるか…

2020/09/10(木) 06:05:31.02

>>84
>>6に上がってるやつとか>>11の奴の方が実写ならいいかもしれない
2個目はavisynth使える人じゃないと多分導入分かんないだろうけど…

2020/09/10(木) 06:47:53.73

>>86
upRGBモデルだと確かそういう処理になってなかったっけ?

2020/09/10(木) 18:43:43.70

>>88
ゲーム毎に学習させてるそうだから一般画像ってことだと微妙なんでは

2020/09/10(木) 20:01:57.61

>>90
githubの説明見る限りだとモデル関係なくノイズ除去→拡大の順は固定っぽいけどね

変換モードを指定します。指定しなかった場合は`noise_scale`が選択されます。
* noise : ノイズ除去を行います (正確には、ノイズ除去用のモデルを用いて画像変換を行います)
* scale : 拡大を行います (正確には、既存アルゴリズムで拡大した後に、拡大画像補完用のモデルを用いて画像変換を行います)
* noise_scale : ノイズ除去と拡大を行います (ノイズ除去を行った後に、引き続き拡大処理を行います)
* auto_scale : 拡大を行います。入力がJPEG画像の場合のみノイズ除去も行います

2020/09/13(日) 11:09:33.23

一度倍にしてから半分に縮小すれば元の画像とは違うだろうから
場合によってはきれいになるかもしれない

2020/09/13(日) 11:25:20.62

>>93
2の整数倍で拡大するなら等倍時に元の画像と完全に一致するように拡大されるはず

2020/09/13(日) 13:25:16.20

AI系はそんなことなくて少しシャープネス掛けたようなものなるような
縮小時のアルゴリズムにも依りそうではある
それが綺麗になるといえるかはともかく

2020/09/13(日) 20:48:49.96

縮小したら元の画像と同じ見た目になるみたいなのをwaifu2xの技術説明だかで見た気がする

2020/09/13(日) 21:00:32.29

>>96
多分このこれの事を言ってるんだと思うけど意味を読み違えてると思う

>waifu2xの人工知能は、次の問に答えます。

> いまから与える画像はある画像を半分に縮小したものである。縮小される前の画像を求めよ。

>画像を拡大するのではなく、縮小される前の状態に戻します。
>縮小されてないオリジナル画像を与えた場合も、やはり縮小される前の画像を答えます。
>その画像は本来存在しないものですが、waifu2xはそれを想像で創ります。

2020/09/13(日) 22:09:30.69

>>97
その文章とは別に縮小したら元の画像と同じになるみたいなの書いてあったと思うよ
「拡大時の画像はAIが創造で補ったものだから細かい部分は一見変な見た目で補完される場合もあるけど縮小したら元の画像と同じ見た目になるよ」みたいな感じの文章

2020/09/13(日) 23:09:07.51

そういうのはきちんと該当箇所を示してほしい
多分こっちのことだと思うけど、やっぱり意味を取り違えてるんじゃないかな

> より悪い例としてマンガのスクリーントーンがあります。
> waifu2xは、マンガのスクリーントーンを謎めいた模様に変換することがあります。
> ただその謎めいた模様を半分に縮小すると、不思議なことに元のスクリーントーンに戻ります。

これは拡大時の補完が無茶苦茶にしてるわけではないという説明のため
縮小で元のトーンぽくなると言ってるだけで、完全に同一であることを保証する意図ではないと思うよ
その説明に使われている画像で、逆にはっきり変質してることがわかるくらいだから

ttps://dotup.org/uploda/dotup.org2254372.png

2020/09/13(日) 23:13:14.82

>>99
ああこっちか

2020/09/24(木) 15:47:52.41

随分過疎ってるな、まぁ今発展それほどない技術だから仕方ないか

動画用のDandere2x使ってみたけどwaifu2x-caffeだと普通に使った方がバッチサイズ指定出来て軽いし
valcanは2倍しかできなくて妙に画質悪いしで微妙だったわ

2020/09/24(木) 15:48:32.49

vulcanだったｽﾏﾝ

2020/09/24(木) 16:23:32.28

avisynth使える前提だけどavisynthAiUpscale使えば?

2020/09/24(木) 16:49:21.47

アニメ用

Anime4KCPP
https://github.com/TianZerL/Anime4KCPP/releases

2020/09/24(木) 23:39:14.92

waifu2x-caffeを1650SUPERで使っていて
ノイズ除去（自動判別）と拡大をCUnetで実行すると分割数16でもメモリ不足で落ちたので
JPEGだけノイズ除去処理してから拡大処理をまた流そうと思うのですが
一発で処理した画像とは内部処理的に結果変わってきますかね？
やっぱ劣化しちゃうかな

2020/09/24(木) 23:50:52.42

>>105
caffeの1個前のバージョン使えばCUnetでも落ちないと思うよ
cudnnは互換性ないと思うから別にDL必要だけど