【超解像】画像拡大ソフト総合スレ4【waifu2x】

2018/10/16(火) 17:11:24.76

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・waifu2x概要：二次元画像を拡大したいと思ったことはありませんか？ (waifu2x作者氏のブログ)
http://ultraist.hatenablog.com/entry/2015/05/17/183436

・waifu2xとその派生ソフト一覧
http://kourindrug.sa kura.ne.jp/waifu2x.html

・waifu2xのベンチマーク結果まとめ - Togetter
http://togetter.com/li/831437

・無料で二次元画像を人工知能が補完してハイクオリティで1.6倍/2倍に拡大できる「waifu2x」 (gigazinの記事)
http://gigazine.net/news/20150519-waifu2x/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・NeuronDoubler
人工知能超解像プログラム NeuronDoubler
http://loggialogic.blogspot.jp/2012/06/neurondoubler.html

VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured

2020/05/27(水) 07:45:43.77

https://arxiv.org/abs/2005.01996
これをncnnで実装したんかねよく分からんが

2020/05/27(水) 14:11:49.78

>>763
そのうちWaifu2x-Extension-GUIに同梱されるんじゃないかな

2020/05/27(水) 21:40:01.72

>>767
jixiaozhong氏のページからGoogleDriveに飛んだらDL出来たわ
3次元ならこれ一択っぽい感じで優秀やね

デメリットは4倍固定なのとデノイズの選択肢が少ないくらいかな？
(デノイズ無しのDF2Kモデルを使うかデノイズ有りのDF2K-JPEGを使うかの2択)

2020/05/27(水) 22:07:58.36

人の肌も粘土のようなヌルヌル感が無くて良い感じ。

2020/05/27(水) 23:57:22.62

ただディザでごまかしてる感じがしなくもない

2020/05/28(木) 00:29:24.94

雑な並べ方で申し訳ない。
左から、Realsr等倍表示、waifu2x cunet tta 200倍表示、元画像 400倍表示。
Irfanviewで並べて表示させたスクショ。
ttps://imgur.com/3wCXdD2

実写に適してる感じがする。アニメ絵はwaifu2xで、使い分けかな。

2020/05/28(木) 01:36:19.72

背景も肌色に近いと
お婆ちゃんみたいにシワシワになる

2020/05/28(木) 23:48:48.79

HDリマスタータイトルの開発をサポート！「OPTPiX ImageStudio 8」アップデートで取り組む超解像の領域
https://www.gamebusiness.jp/article/2020/05/28/17139.html

最近のゲームでwaifu2xっぽい質感のテクスチャ見かける事あったけど実際ゲーム開発者も使ってたんだな

2020/05/28(木) 23:50:47.49

Waifu2x-Extension-GUI v2.41.01-beta
https://github.com/AaronFeng753/Waifu2x-Extension-GUI/releases/tag/v2.41.01-beta
New feature: Add realsr-ncnn-vulkan engine, greatly improving the ability to process 3D Real-life style images

2020/05/29(金) 00:31:00.49

リマスター化でよれよれの線になってガッカリしたゲームとかあるからな
waifu2xとかでも線がしゅっとなってしまうけどまだマシなんかね

2020/05/29(金) 02:14:58.97

>>771
コントラストを若干強調しているみたいだね

2020/05/29(金) 10:32:26.10

RealSRなかなか良いけどやっぱCGとかアニメ絵向きだなwaifu2xの上位互換みたいな印象
やたらCPU使って時間かかるから大量の画像処理はきつい

2020/05/29(金) 11:05:13.77

前後フレームから予測できる動画のほうがロジック簡単な気がするんだけど、
なかなかいいものが出てこないのはなんでなんだろう

2020/05/29(金) 11:35:54.80

RealSRはディザ拡散が上手。写真でも違和感ない

2020/05/29(金) 12:51:44.38

>>778
1枚よりも綺麗にできる可能性はあるがロジックは難しいからなかなか出てこない

2020/05/29(金) 18:57:06.42

>>778
TecoGANは割といいみたい
https://sekailab.com/wp/2019/05/27/tecogan-on-windows/

2020/05/31(日) 01:07:24.05

realsr-ncnn-vulkan
version 20200530
https://github.com/nihui/realsr-ncnn-vulkan/releases/tag/20200530

2020/05/31(日) 01:35:24.70

Releasesにバイナリ出してくれるとDLしやすくて助かる
あと>>763で不明だったActionsからのバイナリDLはgithubにログインしてたらできるっぽい

2020/05/31(日) 05:20:53.18

ギットはわかりにくい

2020/05/31(日) 12:29:08.07

開発者向けのコード共有サービスだから、そもそもバイナリが
公開されてるのは、思いやりみたいなもんやねん

2020/06/06(土) 23:24:09.05

https://github.com/nihui/realsr-ncnn-vulkan/releases/tag/20200606
webp encoding
fix black or noise output on windows

2020/06/07(日) 01:04:27.13

>>701で言ってたバグ直ったみたいだ(786も同様の修正)
OSの小数点記号の設定がドットじゃなくてカンマになってるとncnnの計算処理がおかしくなるとかいう予想もしない不具合だったみたい

2020/06/07(日) 17:48:53.64

Topaz Video Enhance AIを試してる。
DVDを超解像しようとすると、インターレースの処理が悩ましいなぁ。
映画やアニメは24p化すればまだいいんだけど、それ以外の30iソースがきつい。

2020/06/07(日) 19:34:51.05

流石にそういうのはVapourSynthとかで事前に処理するのが前提じゃないの

2020/06/08(月) 01:58:48.62

QTGMCのQUDA版にKTGMCというのがあるけどそれじゃあかんか

2020/06/08(月) 12:40:11.49

アニメとか、24p化出来る30iはまだいいんだけど、
実写30iは60pにするしかなくて、解像度が720x240しかないので、1080pにアプコン
するとしても４倍拡大になっちゃうのが。肌色多めなDVDがそんな傾向。

2020/06/08(月) 14:00:41.34

30iの動画ってありますの？TV放送はワンセグを除けば60iだし・・・

2020/06/08(月) 16:32:04.33

昔のDVD

2020/06/08(月) 16:45:58.91

>>779
水彩画や油絵のスキャン画像にも向いてるみたい
なんというか、ベタ塗り補完にならない(うまいこと質感を載せてる)ところがすごい

2020/06/08(月) 21:11:29.14

>792

30フレームインターレースということで、手癖で、30iと記載しちゃいましたが、
60i(60フィールドインターレース)のつもりで書いてます。

で、プログレッシブ撮影、というものがあって、30pで撮影している
けど、NTSCやBlu-rayの規格に合わせるため、インターレース化してるやつ。
コマ送りしてもフィールドごとの時間差が生じないってのが、たまにあります。

2020/06/08(月) 21:17:20.25

720x480,60iの実写ソースをFullHDへ変換、色々試してみたけど、

720x480 60i -> 720x240 60p -> 1920x1080 60p(約4倍拡大)

これが一番良さそう。

2020/06/09(火) 02:16:31.70

>>796
PS3のアプコンと比べてみた？

2020/06/09(火) 09:08:15.17

いまさらPS3かよ

2020/06/14(日) 02:29:24.02

waifu2x-chainerを使ってみたいんだけどもう更新されてない感じ？
動画を変換するのに使いたいんだけどUpResNet10モデルで妥協するしかないんかな
Pythonで動くCUnetモデル有りの奴使いたくていろいろ調べてるんだけどプログラム触った事無いから途方に暮れてる

2020/06/14(日) 13:46:05.01

Anime4Kでいいじゃん

2020/06/14(日) 14:03:18.02

Anime4Kは以前試したけどリアルタイム変換が売りで画質は当然waifu2xに劣るから
あれ使うくらいならUpResNet10モデル使ったほうが相当マシかなと思ってる
Anime4Kで色々調べてたらvideo2xってのに行き着いたからまた試行錯誤してくるよありがとう

2020/06/14(日) 15:26:58.81

Anime4KCPP
https://github.com/TianZerL/Anime4KCPP

2020/06/14(日) 15:46:44.99

vega56を使ってるのですが、RTXシリーズのCUDA使ったほうが早くなるんでしょうか？

2020/06/14(日) 20:28:09.72

Radeon系列はVulkan、Geforce系列はCaffe
みたいな感じで使うソフトさえちゃんとしてれば速度変わらないんじゃね
結>>716みたいな話もあるしOS含めての環境も整えるならRadeonが最速なのかもしれんけど

2020/06/14(日) 20:49:02.69

waifu2x-ncnn-vulakanが速いのってfp16で処理していて精度が半分だからだし条件揃えたら十中八九CUDAのほうがオーバーヘッド少なくて速いと思う

2020/06/14(日) 21:49:31.27

推論にFP32とかの精度必要か？
int8でも十分とかいう話があるし
FP32でやってるなら単にソフトウェアとして無駄があるってことじゃ

2020/06/14(日) 21:55:02.75

>>806
まあ確かにその通りかもしれんけどwaifu2xの大本の実装がfp32だから派生もfp32でやらないと色が変わるっぽいのよ
waifu2x-ncnn-vulakanでこの画像を16倍くらいに拡大するとよくわかる
https://i.imgur.com/MFIPyJw.png

2020/06/14(日) 22:05:57.30

>>807
1600x1600 までやったが確かに変わりはした
が、R: 255 G:255 B255 から R:254 G:254 B:253 になったくらいだ
普通に使う上で16倍までやらんし

2020/06/14(日) 22:29:46.76

>>808
あれ？そんなもん？
うちの環境だとR:251 G:250 B:251まで変わるけど
それに4倍に拡大した程度でも色が変わるのがわかる

2020/06/14(日) 22:56:40.64

分割サイズによる差の方が大きいだろうしそれぞれで設定が違うだろうからなんとも
fp32の分割サイズ32のCUnetで常用してたら変換にめっちゃ時間かかりそう

2020/06/15(月) 01:59:03.66

caffe+cudnnでも並列数とプロセス数増やせばvulkan並みの速度になるよ
品質については例のお寿司さんがpsnr値とか比較してたけど、両者にそれほど差が無かった筈だしあまり気にしなくていいのでは

2020/06/15(月) 03:02:05.56

1週間調べ尽くしたけどColabでwaifu2x使うのに満足いく結果がでなかった…
で、Colab弄ってて気づいたんだけどGeforce環境でVulkan使うと色合いめっちゃ変わらない？
同じ設定なのに自PC(Radeon)とColab(Geforce)でwaifu2x-vulkan使った時の色合い全然違っててビビった

やっぱfp16なのが関係しててGeforceだと誤差が大きくなっちゃうんかな
>>808-809で結果が結構違うのもたぶんそのせい(?)だよね

2020/06/15(月) 21:48:34.54

2次元Yモデルがレベル0でエラー吐くのはなぜですか？
どう言った意図があってその様な仕様となっているのですか？

2020/06/15(月) 22:21:56.30

>>813
caffe版だけじゃなくて本家のwaifu2xでもモデルファイルが用意されてないから
Yモデルは最初期のモデルで性能が低いからあまりサポートする気が無いんだと思う

2020/06/16(火) 00:42:29.42

各自が点でバラバラに開発するとムラができる

2020/06/16(火) 21:03:46.83

だがそれがいい
突出していいものだって出てくるから
（でも大抵ほとんどなんかおかしい・・・になってる）

2020/06/17(水) 18:17:58.19

トパーズのVideo Enhance AIとGigapixel AI for Videoってどう違うの？

2020/06/17(水) 22:35:02.81

Gigapixel AI for Videoは画像で学習させたのを動画に流用させてるだけ(永遠のβ版)で
Video Enhance AIは新しく動画で学習させたのを使ってるんじゃないの

2020/06/19(金) 09:36:23.55

>>812
colabでwaifu2x-ncnn-vulkanのcmake通らないんだけど、どうやって通したの？
頭のCMP0091は消した。

2020/06/20(土) 11:44:53.80

自己解決しました
apt install glslang-tools
が必要でした

2020/06/20(土) 17:06:11.34

>>819
俺はプログラム触ったこと無い状態からググりながらColab弄ってる段階だからnihui氏のActionにある自動生成バイナリ使ったよ
いざ実行してみたら色合いめっちゃ変わるからVulkanは諦めて今はcaffe版試そうと試行錯誤してる

2020/06/21(日) 20:57:39.83

これはスレ違うか？
https://time.dreamnet.tech/

2020/06/21(日) 23:08:45.41

塗り絵する方は気になったけどネット接続必須なのが怖くてつかえないからv2まで待つか

2020/06/23(火) 10:40:45.72

ゲームはそんなにしないけどwaifu2x-caffe使うからオンボードだときっつい
なるべく省エネでGeForce積んでる安価なPCないですか？

2020/06/23(火) 11:50:24.32

いくらでもありますがスレ違いです

2020/06/24(水) 13:32:16.79

Waifu2x-Extension-GUI
v2.51.17
マルチGPU対応とか

2020/06/28(日) 00:40:56.87

・モザイク画像の解像度を64倍にして限りなく高品質の画像を生み出す技術が開発される
https://gigazine.net/news/20200627-artificial-intelligence-blurry-faces/

2020/06/28(日) 08:31:41.99

waifu2x-caffe ver 1.2.0.3
https://github.com/lltcggie/waifu2x-caffe/releases/tag/1.2.0.3
CUDA Toolkitを10.1.89に更新(同梱しているdllも更新)
cuDNN v7.6.5に対応
cuDNNがライセンス的に再配布可能になっていたのでdllを同梱するようにした
GUIの韓国語、スペイン語の翻訳更新
GUIのドイツ語、ブラジルポルトガル語、チェコ語の翻訳追加

2020/06/28(日) 09:06:38.29

更新乙やね
cuDNNクラッシュしまくってたから助かる

2020/06/28(日) 10:14:27.77

お久しぶりの更新やね
待ってた

2020/06/28(日) 15:48:40.77

>cuDNNがライセンス的に再配布可能になっていたのでdllを同梱するようにした

ありがたやありがたや

2020/06/28(日) 16:07:09.91

エヌビに開発者登録しなくて良くなったのか

2020/06/28(日) 22:00:03.68

ただのライブラリ提供に登録管理まんどくさくなったんじゃね

2020/06/28(日) 22:19:37.86

いままでがどうかしてたレベル

2020/07/04(土) 11:06:28.17

Waifu2x-Extension-GUI-v2.52.16も
cudnn64_7.dllが同梱された

2020/07/04(土) 19:58:08.02

esrgan-ncnn-vulkan

2020/07/04(土) 22:37:04.18

>>836
radeonのも使えるの？

2020/07/04(土) 22:59:56.73

vulkanだし当然使えるね

2020/07/04(土) 23:31:17.91

Vulkanが使えない？みたい。
radeon RX570 なんだけども

2020/07/04(土) 23:41:59.02

取り敢えずGPUのドライバをアップデート
それでも駄目ならコマンドプロンプトを開いて「vulkaninfo」と入力して出てきた情報を貼る

2020/07/05(日) 00:31:06.77

今ラデオンソフトを２０．４．２にアップデートしてvulkaninfoしてみた
failed with ERROR_OUT_OF_HOST_MEMORYって出た。

2020/07/05(日) 01:34:01.84

・NINTENDO64のゲームを解像度最大8倍にしてプレイできるエミュレーターが登場、プレイムービーも公開中
https://gigazine.net/news/20200704-nintendo-64-playstation-emulator-resolution/

2020/07/05(日) 02:54:52.44

ソフトを中国製に変えたらvulkan使えるようになったみたい。

2020/07/05(日) 02:55:49.77

あ、ソルトは８３５で紹介された物。

2020/07/05(日) 02:56:00.77

フ

2020/07/05(日) 03:08:11.88

>>841ってようはメモリ足りませんってエラー出てるだけでしょ

2020/07/05(日) 07:27:29.21

>>836
どこにあるの？
ググったけどいつものgithubにもないしわからん

2020/07/05(日) 07:37:51.71

つづり間違いじゃね？
https://github.com/nihui/realsr-ncnn-vulkan

2020/07/05(日) 09:34:53.46

RealSRとESRGANは別物だけど単語を丸ごと違えた感じ？
基本的な補完力はRealSRが上だろうけど
ESRGANはいろんなモデルがあるから手軽に使えたら便利そうではあったが、残念

2020/07/05(日) 12:04:02.02

esrganで間違ってないよ
ここ見てるならGUも見てる人多いと思ったけど意外と見てないのか

2020/07/05(日) 12:46:44.68

>>846
メインが１６GB　グラボは８GBだから　何らかの原因でメモリ不足を引き起こしてるけど、
メモリ不足が原因で動かないというわけではなさそう。
caffeは普通に動くけどvulkan使えないからCPUによる変換で激遅。
Waifu2x-Extension-GUI-v2.52.16-Portableが色々揃っててwaifu2xシリーズの中じゃ最強だと思う。

2020/07/05(日) 13:13:18.11

>>841
以前Bandicamをインストールしたらレジストリの「HKEY_LOCAL_MACHINE\SOFTWARE\Khronos\Vulkan\ImplicitLayers」に変な値が書き込まれて
vulkanが一切使えなくなる事があったからそれと同じ症状かと思ったけど出てくるメッセージが違うな。

2020/07/05(日) 13:14:33.86

RealSRの比較画像にわざわざESRGAN載せてる程度には別物だけど

2020/07/05(日) 14:09:22.10

>>852
あー・・そういう映像系ソフトの影響があるのかな。
確かに映像系ソフトは有料のもフリーのも色々入れてるわ。
waifu2xもその中のひとつだけど、インストールしてるわけじゃないしなぁ・・
ちとレジストリ見てみるよ。

2020/07/05(日) 14:16:59.30

>>852
これといった値は入ってなかったよ。
Bandicamの事すっかり忘れてたけど自分のPCにも入ってて値はゼロのままだった。

2020/07/07(火) 11:45:24.82

H.265のさらに倍のエンコ時間かかんのかね？

「H.266/VVC」の最終仕様発表　H.265/HEVCからビットレートを50％削減
https://news.yahoo.co.jp/articles/4baa59b3d1c4010552e1f8198b8bd656d2a27742

2020/07/07(火) 12:25:04.19

ようやくポストh264がAV1に固まりつつあるところなのに
もう次の話題か・・・

まぁ、主要企業のほとんどがAV1支持みたいだから
そう簡単に移ることはないと思うけど

2020/07/07(火) 12:56:10.28

>>857
AV1はH.265と比較すると画質が悪いみたいよ

2020/07/07(火) 13:02:51.77

HWデコーダ積んでないとクソ重みたいなことならんか？
てかHEVC出たばっかじゃん

2020/07/07(火) 13:09:54.49

流石にスレ違いすぎでは

2020/07/07(火) 13:48:30.72

画像も動画もグラボで支援しなきゃ……みたいな流れでしょうか

2020/07/07(火) 14:01:38.77

デコード負荷も相当増えるだろうね

実用的な電力効率達成の前提となるHWデコーダー搭載製品が登場しないことには始まらない

2020/07/07(火) 20:31:40.89

AV1は高解像化してくれるとかあるんかえわざわざここに出てくるって事は

◆P0jSlC5fJs (ﾀﾅﾎﾞﾀ 0bfe-EJAe) · 2020/07/07(火) 21:22:49.45

>>863
× AV1が高解像度化する
○ 高解像化からH.266/VVCができた
AV1でもないし順番も逆

2020/07/07(火) 21:31:15.87

次世代ビデオコーデック総合スレPart5 【HEVC/VP9/AV1/VVC等】
http://mevius.5ch.net/test/read.cgi/avi/1581244349/

ここでやれ

2020/07/08(水) 14:31:59.33

24/30混合インタレのアニメをwaifu2x-caffeでアプコンしようとしたけど
解像度上げてからインタレ解除したらインタレの縞々がくっきり残る…orz
インタレ解除先にすると24と30別々に処理しないといけないしでめんどくさすぎるわ
画質的にはnnedi3_rpow2でアプコンしたのより綺麗だから期待してたのになぁ