【超解像】画像拡大ソフト総合スレ7【waifu2x】

2021/09/12(日) 14:26:50.95

!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。
※人工知能による動画の処理を行うソフトは、他に適したスレがない場合使い方も含めこのスレで扱われる事もあります

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・Topaz Video Enhance AI (VEAI)
Topaz Labsによる豊富なAIモデルを用いて動画の超解像やノイズ除去、インターレース解除などが可能なソフト
※有償、ただし30日間のフリートライアル有
https://www.topazlabs.com/video-enhance-ai

・Flowframes
動画のフレーム補間を行えるソフト、複数のAIモデルを選べる、無料版は最新版より少し前のバージョン
最新版の配布はPatreonで月5ドル以上の支援者に対して行われている
https://nmkd.itch.io/flowframes

前スレ
【超解像】画像拡大ソフト総合スレ6【waifu2x】
http://egg.5ch.net/test/read.cgi/software/1615731336/

VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured

2021/12/10(金) 22:57:26.03

Davinciのアップスケーリングのシャープネスとノイズ除去の低中高の組み合わせのベストマッチがまるで分からない
分かったのは高高だとノイズ発生しまくるからハズレって事だけ

2021/12/10(金) 23:21:38.70

>>631
言ってる意味がわからん
ニューラルエンジンが枯れた技術なのかい？

2021/12/10(金) 23:26:35.26

メモリ帯域が足りないからcpu/gpu遊んでるんじゃないの
そうならんようにしろよというのはわかる

2021/12/10(金) 23:56:43.11

>>634
3090のGDDR6X Bandwidthは1TB/sだけど、それで足りないってどんなアプリだよ・・・

2021/12/10(金) 23:59:48.97

>>633
そら世代を重ねるほど枯れる
M1は最新のハード設計とアーキだからAdobeが1世代アプデしただけで1.5倍とかになる
WINはどう最適化しても精々1.05倍
つかおまえら3090とかちゃんと持ってるんだよね？

2021/12/11(土) 00:02:41.35

ちなみにCUDAアプリはちゃんとCPU100％GPU100％使うし、DirectXのゲームで例えば5年前の古いゲームをオーバースペックで動かしてもGPUは100％使う。これが正常な状態。

2021/12/11(土) 00:04:49.28

>>636
それって貴方がそう思ってるだけですよね？
なんかソースとかあるんですか？

2021/12/11(土) 00:05:27.16

ソーっスね………

2021/12/11(土) 00:07:48.26

>>638
馬鹿なくせに偉そうなおまえが頭下げるならソース持ってくるけどどうする？

2021/12/11(土) 00:12:05.58

真剣に質問した俺が馬鹿だった
もういいよ

2021/12/11(土) 00:13:31.67

>>640
しゅ、しゅみましぇんでしたぁ………m(_ _)m

2021/12/11(土) 00:21:44.46

>>641
自演野郎にしては素直だな

2021/12/11(土) 08:39:26.84

3070でのGPU使用率を比較したとき、Waifu2x:55％、VEAI proteus:5％だな
VEAIのモデルが並列化出来ないとかの制約があるのかもしれんが、まあ、そこは有識者が頑張ってくれるさ

で、ハードのアーキテクチャがなんだって？w

2021/12/11(土) 12:11:32.74

M1 Proはちゃんとハード性能活かして処理してるみたい
古い屍に捕らわれないから、コードも書きやすいんだろうな
しかもまだまだ伸びしろあるってんだがら驚き
たぶん来年とかもっと面白いことになってるよ

**名無しさん＠お腹いっぱい。** · 2021/12/11(土) 13:31:15.30

つまり今は時期が悪い

2021/12/11(土) 13:38:35.13

ある程度ならライブラリが最適化してくれるんだろうが自力で最適化まで考えたGPUのコードってマジで意味不明だからな…
SIMDどうとかの比じゃ無いほどレジスタやメモリなどの低レベルな処理考えて書かなきゃCPUにも負けるし解説が宇宙語に感じるレベル、一般のコーダーじゃとてもじゃ無いけど最適な実装はできないと思う。

2021/12/11(土) 14:17:35.65

一般のコーダーはまずGPGPU実装自体無理
一部の優秀なプログラマだけが動くGPUプログラムを書ける
その中で努力と才能を兼ね添えた天才だけが最適な実装ができる

2021/12/11(土) 15:18:04.78

関係ありそうなスレ立ってた

フレーム補間可能なソフトウェア総合
https://egg.5ch.net/test/read.cgi/software/1639192385/

2021/12/11(土) 15:29:06.10

フレーム補間の専スレ建ったのか、いいね
むしろ今まで無かったのが不思議だ

2021/12/11(土) 16:55:28.77

どうやら経緯としてはSVP4スレで非リアルタイム補間のRIFEやDaVinci Resolveの話題がよく出るようになってきて
それに対して非リアルタイムだしそもそもスレチだろという指摘が入るってのを何度か繰り返している内に
スレチの話題したいなら別スレ建てろと元々言われてたのもあってか
じゃフレーム補間の専スレ建ててみようかという機運が高まった結果専スレが出来た模様

2021/12/12(日) 02:40:24.16

ここは逆にVEAIスレと化してるが、まぁ現状ライバルソフトがないしな

2021/12/12(日) 10:11:17.06

なるほどなぁ。こっちはアプスケを主に取り扱うって感じですかね
一晩弄り倒したがDavinciのスーパースケールのシャープネス高は全く使えん。主線周りにノイズがバンバンでるからノイズ除去をどうやっても抑えきれないわ

2021/12/12(日) 10:30:01.32

DaVinci Resolveのリファレンスガイドにその辺の解説乗ってるよ
高は同時にグレインとノイズもシャープになるので、そこでノイズ処理しちゃうと今度はこのエフェクト自体が目立たなくなるってさ
基本、低か中使うみたい

どちらにせよスーパースケールはニューラルエンジン使ったものじゃないのでアプコンとしては正直あまり使えないと思うけどね
突発的にオリジナル解像度以上にクリップを拡大する時なんかに使うものだし

2021/12/12(日) 12:08:07.83

つうか１枚モノの画像ファイルから精密に拡大するのっていくらAIでもかなり無理があるよ
人物だと顔がどうしても変になる
特定人物の顔写真を何10枚も用意して学習させるって言うなら別かもしれんが

2021/12/12(日) 13:41:37.52

それがVEAIじゃん

2021/12/12(日) 15:32:25.32

一般人の顔をいくら学習させても吉岡里帆を高画質化させるには足らんって事か
むしろ余計な成分が混じる可能性がある

2021/12/12(日) 15:42:15.98

>>657
そのとおり
手足は他人のモノでもそれほど差違を感じないが、顔は微妙な違いでも違和感感じるからなぁ

2021/12/12(日) 15:45:28.97

滑らかなスローモーション作る際に元が60fpsにしないとだめかとおもったけど割と25fpsとかでも凄い滑らかになるもんなんですね

2021/12/12(日) 19:05:45.16

>>654
おお、そうなんです勉強になるなぁ
…プラグインで入れたaviutlの方がアプコン後の線きれいじゃね？って感じてたがフリーソフトに遅れを取ると思いたくなかったから考えから排除してたってのが本音

2021/12/12(日) 20:44:50.67

>>511
AIでアップスケーリングとレンダリングを繰り返してるから
いわゆるゲーム用(アマチュア向け)より
プロ向けのが処理が全然高速という記事を見た気がするよ

AIもOpenCLベースらしいので演算にグラボメモリ重要
クアドロのRTX8000(48G)とか、RTX6000とか
RadeonPRO W6800とか速いらしいよ

2021/12/12(日) 21:57:08.82

VEAIのGPU使用率だけど、タスクマネージャだと3%位しか使ってないように見えるが、HWiNFOだと69～100%で推移しとるよ(GPU core load読み）

2021/12/12(日) 22:55:07.13

>>655
顔がアップなら、近くの要素等からもってくることでかなり精密な顔になるけど

顔が小さい表示だと無い物から作らないといけないからね
しかし将来的にはやっぱその人の元の顔を学習させるオプションでも作れば
それでもいけるんだろうなぁ

2021/12/12(日) 23:58:17.55

aviutlは拡張x264でエンコしたい時だけ使ってるなぁ
DaVinci Resolveのh26x出力は早いけど業務用途だからか容量を小さくすることに関しては苦手だしね

2021/12/13(月) 00:03:59.85

VEAIはこの1、2年で物凄く進化したと思うよ
特にProteusモデルはブレイクスルーと言えるぐらいのクオリティ
しかもワークステーションじゃなく普通のPCで処理できちゃうのも凄い時代になったなぁと感心する

2021/12/13(月) 11:39:22.52

Real-ESRGAN V0.2.3.0 Release Note
https://github.com/xinntao/Real-ESRGAN/releases/tag/v0.2.3.0
We have added small models for anime videos

2021/12/13(月) 16:52:29.32

この手の技術って
職人気質のやつが時間かけて丁寧にやってたのが
人工知能のほうが綺麗にできるとか何なのって話

DeepfakeじゃないがAIカラーマッチングとか一式やってほしい

2021/12/13(月) 16:58:13.69

まだ、職人の方が上じゃないかな
ただ、費用対効果考えるとAIの方が上とかになるんじゃ

2021/12/13(月) 17:00:10.09

>>666
サンプルの動画見たけど
オリジナルのボケてるほうが何時間も見れる
エッジがキツキツで彩度がキツイのは15秒のCM向けだよな～　

不気味の谷じゃないがmojoの感覚を持ってるのはProteusだな
それでもスレにでるような3D臭くなるって違和感あるが

2021/12/13(月) 17:01:18.61

つか、GANとかでリアルな顔生成してるのみるとあれは職人ではきついか

2021/12/13(月) 17:03:13.89

ビートルズFilmのリペア動画とか見てたら
職人の方が上かな
フィルムの良さを知ってるし　

2021/12/13(月) 17:06:15.56

昔にいつかリアルなエロ3DCGを自分のPCで簡単に動かせるようになる日が来ると思ってたが、まだ、全然こねぇよな
後どんだけハードとソフトの進歩必要なん?
RTX 3090の10倍ぐらい性能必要なのか??
全然見通しがたたん

2021/12/13(月) 18:04:39.45

VEAIの右上に表示されてるAIモデル一覧って消せないのかな
インターレース系とか使うことなしい邪魔なんでスッキリさせたい

Preferenceのモデルマネージャーでチェック外しても消えてくれない

2021/12/13(月) 18:05:49.73

>>672
リアルってだけならとっくに実現してると思うが
UnrealEngineのMetaHumanとか試した？

2021/12/13(月) 18:09:42.01

>>672
https://www.unrealengine.com/ja/metahuman-creator

最近公開されたMatrixのリアルタイムデモ映像もMetaHumanの技術使われてる
https://www.youtube.com/watch?v=WU0gvPcc3jQ&;t=170s

2021/12/13(月) 18:14:27.32

stalker2
https://www.youtube.com/watch?v=fdJgHlTUYek&;t=296s

2021/12/13(月) 18:45:03.98

最近、名前忘れたんだが、1枚の写真から顔のモデル作れるってやつ試して全然似てなくて投げ捨てた
Daz studioやVaMもまだまだ写実的でないし

2021/12/13(月) 18:49:14.22

metahunanは名前は知ってたけど試したことはないです

2021/12/13(月) 21:13:40.20

>>672
あと5世代くらいじゃないか？

900シリーズ辺りから速くなったな～けど爆熱電気食い
プロセスルールが変わり
1000番台になったら拍子抜けするほど省エネ性能しっかり
2000番台おぉDDR6
3000番台おぉぉ更にメモリ帯域増えてはえぇ～

5ナノにチェンジ
4000番台　拍子抜けするほど省エネ、性能凄まじい
5000番台　おぉまだ速くなるのか
6000番台　8Kでもぬるぬるやぁ

3ナノチェンジ
7000番台　え、グラボ動いてる？ファン回ってないけど
　　　　　16K VRヌルヌル

2021/12/14(火) 01:44:22.19

すげーな、アニメは今後360ｐで保存するわ。
100GBくらいNASが節約できるｗ

2021/12/14(火) 03:28:38.71

桁間違ってませんか
それっぽっち節約する意味が分からない

2021/12/14(火) 04:16:50.90

VEAIって一応RTXのTensorコアサポートしてたのか
今のところほとんど活かせてないようだけど

2021/12/14(火) 08:25:54.12

何をもってして活かせてないと？

2021/12/14(火) 09:31:48.32

一応どころかDirectMLへの移行でtensor coreガッツリ使うようになってるよ
Cuda使わなくなってtensor core使うようになった結果、APIだかライブラリだかの問題でむしろGTXでのパフォーマンスが落ちてるとか

2021/12/14(火) 15:23:22.88

metahumanすげーな
ただ自分の持ってる画像から似せられないからもてあます

2021/12/14(火) 17:42:35.23

>>681
アニオタではないんだ。実写映画派。

2021/12/14(火) 20:23:48.39

VEAI x264出力なんだけどさ
exeをバイナリエディタで開いて、ultrafastで文字列検索→ffmpegのコマンドがベタ書きで書いてあるのでlibx264→libx265 ultrafast→veryfastみたいにする事でエンコーダとプリセット程度なら好きに書き換えられた(スペース狭いのでそんなには書けない)
また出力物をmediainfoなどで調べたが、問題なかった。
ffmpegはインストール時にかなり古いのが入っててすぐ入れ替えてたからエンコーダを変更する場合は他から拾ってくる必要があるかもしれない。
ブラックフライデー$85組だけどホント安過ぎるぐらい使えるようになって嬉しいwww

2021/12/14(火) 20:27:48.89

しかし今時x264 ultrafastなんて誰得なんだ?
100倍以上時間掛けて高画質化したものをそれこそmpeg2彷彿させるほど圧縮率悪いもので出力するとかさ…

2021/12/14(火) 21:08:48.71

優れた人間も全ての界隈で特化しているわけじゃないってことだなあ

2021/12/14(火) 21:40:01.11

mac ユーザーなら ffmepg を適当なスクリプトに変えておけば自由に後処理ができるってことか
Windowsの人でも ffmepg.exe を作れる何かでやればokか

2021/12/14(火) 21:43:12.65

VEAIで、肌のトーン明るめな美白の動画やってみたり
白色のモノとか色トーン微妙に変わるよな…コレ

コントラスト上がってるっていうか赤みが抜けて
黄色っぽい動画になるっていうか暗い感じというか…

2021/12/14(火) 22:16:10.93

VEAIファーラムでプロセス中の画面消去機能がほしいっていくつか見かけるけど
それより自動シャットダウン、ChronosやってそのあとProteusなどのバッチの方が先に欲しいのは俺だけなのかな・・

2021/12/14(火) 22:17:22.32

たった30分で数ギガとかおかしかった

2021/12/14(火) 23:48:34.09

>>692
分かる。M1 Macだからそのままで良いにしてるけど、
精神衛生上完了後スリープして欲しい。

2021/12/15(水) 00:24:09.29

まだまだproteusのモデルの使い方を研究しているところだけどv4来たらまた過去モデルよりも更により良くなるのかな
v1.61のGaia-CGが一番イイとか言ってた時代が懐かしいくらいだ

2021/12/15(水) 03:08:03.91

VEAIはコマンドラインが使え頃、実は.mkvで保存できる裏技があったんだけど、>>687のとか見ると内部的にまだそういうのが残ってるってことなのかな

2021/12/15(水) 03:39:16.83

>>691
元ソース次第かも知れないが動画特有の問題じゃないかな？
静止画なら問題無いけど、動画は色情報も圧縮されてるので
Aiリマスターしようが何しようが色が劣化する
色が劣化する(黒に近くなる)と人間が一番分かりやすい赤が
抜けて見えるから、極端な言い方をすれば
アジア人の肌色っぽい感じが東南アジアっぽい感じに見えてくる

2021/12/15(水) 03:47:45.37

>>691はプレビューの話じゃなくてレンダリング結果なの？
プレビューだと色空間は再現できないから破綻してるように見えるものもあるよ
VEAIは元の色空間を完全再現するからレンダリングしたものを比較したほうがいい

2021/12/15(水) 06:57:31.06

>>690
mabsで行けるかな？

2021/12/15(水) 14:06:22.63

>>687
exeの改変チェックとかしてないのか。おもしろい。
フォルダ監視と組み合わせてバッチ組んでたけど、これなら直でx265にもできるし、そもそも引数渡せるなら直バッチいてこめるやないか。週末Ollyで覗いてみるわ。

2021/12/15(水) 14:16:19.16

Ollydbgは古すぎたみたいｗ　今はこっちが主流なのか。
https://github.com/x64dbg/x64dbg

2021/12/15(水) 17:05:25.82

圧縮ノイズとってるのにH264で再圧縮かけるいみなくね？　
せっかく綺麗に作られた色も間引かれる　トーンジャンプしだす
視覚的ロスレスのProres422HQ

サイズがでかいと思うならその動画に其処までの価値は無いんじゃないかな

2021/12/15(水) 17:10:23.09

もしかすると Mac は Parallels Desktop 経由で Windows 版を実行した方が早いんじゃないか

2021/12/15(水) 18:07:52.93

>>702
DVDの映画1本4Kにしてはい500GBね、がどんだけ受けいられると思ってるんだよ。
意識高い系特有の現実見ずに他を見下す構文本当に大嫌い

2021/12/15(水) 18:33:12.48

まぁまぁ、仕様について言ってることは事実なんだし
音声出力についての議論よりはマシよ、あれこそ意味ないから

2021/12/15(水) 18:46:39.51

静止画出力して無劣化で動画にすればいい

2021/12/15(水) 19:42:52.19

とにかくGPUが高すぎなんだよ。半導体不足はまぁ許す。マイニングてめえはダメだ。

2021/12/15(水) 21:01:07.87

4k120fps200%スロモでやったらあっというまに1T埋まったわ

2021/12/15(水) 21:01:35.17

png出力で

2021/12/16(木) 11:48:45.84

ProRes422で何か問題ある？
処理中断してもそこまでの動画として残してくれるから静止画使う意味もないと思うんだが

2021/12/16(木) 12:50:02.30

元動画のアス比が崩れてる場合はtopaz直せないよね？
先にhandbrakeとかで比率直してから？

2021/12/16(木) 14:48:56.34

>>707
とっくに対策済み
https://pc.watch.impress.co.jp/docs/news/1323517.html

2021/12/16(木) 15:01:11.96

対策されたLHR版グラボも非LHR版の約70％ぐらいのマイニングパワーだせるパッチ出ちゃってるんだよなぁ

2021/12/16(木) 15:35:51.33

1ヶ月だけ、どこのご家庭にでもあるRTX3080を2枚使ってマイニングをやってた事が有るんだけど、あれは個人宅でやるようなんもんじゃ無いわ、仕事行きながらじゃとても管理できない
ただ金額は悪くなかったからからそりゃ手を出す人は多いよねというのと資本主義が産んだ現代のコモンズの悲劇の実例なのかなと

2021/12/16(木) 16:10:32.41

マイナーはクリエイターとゲーマーの敵

2021/12/16(木) 16:19:31.86

VEAIで画像ファイルを高画質化するにはPNGを連番で3枚作るという方法しかない？
JPGだと読み込むんだけど出力されなくて。

2021/12/16(木) 16:42:35.31

https://i.imgur.com/jtmVYDY.jpg
好みによるっていうのは前提ではありますが10～15年前のDVD映像とか編集する際みなさんはここの全体的なベース数値どのぐらいにしてますか？
一番上は上げすぎるとなんか肌がツルツルし過ぎて逆に違和感が出ちゃって調整が難しい・・
一番下はあまり弄る機会がないように思えたり・・元がそこそこ綺麗なHD画質なんかはあまり全体的に上げない感じでしょうか？

2021/12/16(木) 16:49:36.42

>>716
前後フレーム複製して連番にするしかないね
PNGならいけるのを確認したことがある

2021/12/16(木) 17:09:53.05

>>716
同じ様な事やってるだけだけど画像ファイルから動画作って読み込ませる手も有る

2021/12/16(木) 17:14:36.39

proteusのパラメーターはシーンが固定されてたりライティングが一定のようなシーンなら手動もいいと思うけど、そうでないなら基本オートのほうは賢い結果になると思うなぁ
断言はできないけど

2021/12/16(木) 17:58:32.69

前にマウスやキー押下をwin32APIで操作して平均値出してる人居たけど、あれを動画をn分割した位置で検出して平均値なり中央値入れるのは良さそうよね。
ちょっとパラメータいじった感じだと、扱うソースによってはシャープやデノイズなんかはそれにオフセット値補正かけられた方が良さそうかなとは思ったけど

2021/12/16(木) 21:32:12.76

>>691
VEAIで試しにやってみたけど普通に動画変換すると確かに色が変わりすぎかも

元ソースYUV420H264→H264　色が減ってる
元ソースYUV422とかならあまり変わらない気もするけど
いわゆる普通の大人な動画だとダメかも

YUV420→Mov422HQにVEAI変換して
他ソフトでカラーフィルタ掛けてH264にするか

YUV420→YUV422に他ソフトでエンコしてから
H264で変換した方がいいかもしれんな

2021/12/16(木) 22:57:48.80

そもそもソースのカラーサイエンスが良いとは限らないし
リペアでは再グレーディングするのは普通　

2021/12/16(木) 23:02:23.47

シーン判定してスプリットしてそれぞれ適切なオートにしてレンダリング
スプリットした時点でCompressorみたいにネットワークレンダリングに対応できるし
発展の余地はいくらでもあるな　

2021/12/17(金) 05:05:38.90

>>722
>>233

VEAIはカラースペースを変換しないよ
もしかしてmp4で書き出しているのでは？

2021/12/17(金) 05:51:44.90

https://dotup.org/uploda/dotup.org2672968.jpg
上がオリジナル、下がVEAIで解像度を倍にしてProResで出力したもの
やはり色は変わらない

ただし、今検証して気づいたけどBT.2020のHDR動画でProteusを使うと色情報を維持できなかった
以前Altemisで比べた時はHDR情報を維持できていたけど、一部のAIモデルはHDRに対応していないかもしれない
SDR動画に関しては問題なく維持できていた

2021/12/17(金) 07:22:59.34

>>348
やってるよ。
自分で撮影した4k30p/8k30p素材の60p化をやってる。
自分がテストした限り、ダビンチのスピードワープやエディウスのオプティカルフローよりも
推測フレームの結果が良いと思ったので

2021/12/17(金) 10:58:36.50

VEAIアプデきましたね
詳細はまだよくわかってないですが

>>720
>>721
ありがとうございます
基本オートで若干弄る程度で納得のいく高画質化勉強してみます

2021/12/17(金) 12:22:59.33

ビデオエンハンスv2.6.2

2021年12月16日リリース。

主な機能

より良い品質の結果を得るためにChronosFastモデルを更新しました
タイムコードは公式にサポートされており、アプリで正しく機能します
画像シーケンスの入力FPSを変更できるようになりました

改善点

アプリケーションの安定性を向上させます
トリミングされたビデオを使用する場合、Macのオーディオは同期している必要があります
さまざまなバッチ処理関連の安定性の修正
Chronosモデルの出力FPSと継続時間は正確になりました
バッチ処理での複製ビデオは正しく機能します
出力FPSは正しい10進表現を持っています
Dioneモデルは、継続時間を2倍にすることはなくなり、出力FPSを正しく設定します
FPSを変更するモデルでは、音声の保持が無効になります
カスタム出力スケールと寸法は、現在例外として機能します
マイナーなGUIの修正

2021/12/17(金) 13:28:15.42

ショートカットキーのカスタマイズも実装してほしいな
せめてプレイバック操作は業界標準のJKL操作にしてほしい

2021/12/17(金) 14:38:30.63

>>730
ショートカットくらいはAHKでいいよ。ユーザー側でどうしょうもない機能の実装を優先してほしい。