【超解像】画像拡大ソフト総合スレ7【waifu2x】

2021/09/12(日) 14:26:50.95

!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

画像を人工知能(Neural Network)を利用して拡大、あるいはノイズ除去するソフトウェアの話題を総合的に扱うスレです。
本来の用途は静止画が対象ですが動画のアプコン処理に関する話題もOKです。
ただし動画編集ソフトの使い方の部分の話は各ソフトのスレに行って下さい。
※人工知能による動画の処理を行うソフトは、他に適したスレがない場合使い方も含めこのスレで扱われる事もあります

--主なソフト--
・waifu2x
本家Webサービス
http://waifu2x.udp.jp/

・Otaku ワールドへようこそ！［212］嫁を拡大する人工知能／GrowHair (日刊デジタルクリエイターズの記事)
※従来の拡大手法とwaifu2x、SRCNNの違いについての丁寧な解説記事
http://blog.dgcr.com/mt/dgcr/archives/20150605140100.html

・Topaz Video Enhance AI (VEAI)
Topaz Labsによる豊富なAIモデルを用いて動画の超解像やノイズ除去、インターレース解除などが可能なソフト
※有償、ただし30日間のフリートライアル有
https://www.topazlabs.com/video-enhance-ai

・Flowframes
動画のフレーム補間を行えるソフト、複数のAIモデルを選べる、無料版は最新版より少し前のバージョン
最新版の配布はPatreonで月5ドル以上の支援者に対して行われている
https://nmkd.itch.io/flowframes

前スレ
【超解像】画像拡大ソフト総合スレ6【waifu2x】
http://egg.5ch.net/test/read.cgi/software/1615731336/

VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured

2021/12/12(日) 15:32:25.32

一般人の顔をいくら学習させても吉岡里帆を高画質化させるには足らんって事か
むしろ余計な成分が混じる可能性がある

2021/12/12(日) 15:42:15.98

>>657
そのとおり
手足は他人のモノでもそれほど差違を感じないが、顔は微妙な違いでも違和感感じるからなぁ

2021/12/12(日) 15:45:28.97

滑らかなスローモーション作る際に元が60fpsにしないとだめかとおもったけど割と25fpsとかでも凄い滑らかになるもんなんですね

2021/12/12(日) 19:05:45.16

>>654
おお、そうなんです勉強になるなぁ
…プラグインで入れたaviutlの方がアプコン後の線きれいじゃね？って感じてたがフリーソフトに遅れを取ると思いたくなかったから考えから排除してたってのが本音

2021/12/12(日) 20:44:50.67

>>511
AIでアップスケーリングとレンダリングを繰り返してるから
いわゆるゲーム用(アマチュア向け)より
プロ向けのが処理が全然高速という記事を見た気がするよ

AIもOpenCLベースらしいので演算にグラボメモリ重要
クアドロのRTX8000(48G)とか、RTX6000とか
RadeonPRO W6800とか速いらしいよ

2021/12/12(日) 21:57:08.82

VEAIのGPU使用率だけど、タスクマネージャだと3%位しか使ってないように見えるが、HWiNFOだと69～100%で推移しとるよ(GPU core load読み）

2021/12/12(日) 22:55:07.13

>>655
顔がアップなら、近くの要素等からもってくることでかなり精密な顔になるけど

顔が小さい表示だと無い物から作らないといけないからね
しかし将来的にはやっぱその人の元の顔を学習させるオプションでも作れば
それでもいけるんだろうなぁ

2021/12/12(日) 23:58:17.55

aviutlは拡張x264でエンコしたい時だけ使ってるなぁ
DaVinci Resolveのh26x出力は早いけど業務用途だからか容量を小さくすることに関しては苦手だしね

2021/12/13(月) 00:03:59.85

VEAIはこの1、2年で物凄く進化したと思うよ
特にProteusモデルはブレイクスルーと言えるぐらいのクオリティ
しかもワークステーションじゃなく普通のPCで処理できちゃうのも凄い時代になったなぁと感心する

2021/12/13(月) 11:39:22.52

Real-ESRGAN V0.2.3.0 Release Note
https://github.com/xinntao/Real-ESRGAN/releases/tag/v0.2.3.0
We have added small models for anime videos

2021/12/13(月) 16:52:29.32

この手の技術って
職人気質のやつが時間かけて丁寧にやってたのが
人工知能のほうが綺麗にできるとか何なのって話

DeepfakeじゃないがAIカラーマッチングとか一式やってほしい

2021/12/13(月) 16:58:13.69

まだ、職人の方が上じゃないかな
ただ、費用対効果考えるとAIの方が上とかになるんじゃ

2021/12/13(月) 17:00:10.09

>>666
サンプルの動画見たけど
オリジナルのボケてるほうが何時間も見れる
エッジがキツキツで彩度がキツイのは15秒のCM向けだよな～　

不気味の谷じゃないがmojoの感覚を持ってるのはProteusだな
それでもスレにでるような3D臭くなるって違和感あるが

2021/12/13(月) 17:01:18.61

つか、GANとかでリアルな顔生成してるのみるとあれは職人ではきついか

2021/12/13(月) 17:03:13.89

ビートルズFilmのリペア動画とか見てたら
職人の方が上かな
フィルムの良さを知ってるし　

2021/12/13(月) 17:06:15.56

昔にいつかリアルなエロ3DCGを自分のPCで簡単に動かせるようになる日が来ると思ってたが、まだ、全然こねぇよな
後どんだけハードとソフトの進歩必要なん?
RTX 3090の10倍ぐらい性能必要なのか??
全然見通しがたたん

2021/12/13(月) 18:04:39.45

VEAIの右上に表示されてるAIモデル一覧って消せないのかな
インターレース系とか使うことなしい邪魔なんでスッキリさせたい

Preferenceのモデルマネージャーでチェック外しても消えてくれない

2021/12/13(月) 18:05:49.73

>>672
リアルってだけならとっくに実現してると思うが
UnrealEngineのMetaHumanとか試した？

2021/12/13(月) 18:09:42.01

>>672
https://www.unrealengine.com/ja/metahuman-creator

最近公開されたMatrixのリアルタイムデモ映像もMetaHumanの技術使われてる
https://www.youtube.com/watch?v=WU0gvPcc3jQ&;t=170s

2021/12/13(月) 18:14:27.32

stalker2
https://www.youtube.com/watch?v=fdJgHlTUYek&;t=296s

2021/12/13(月) 18:45:03.98

最近、名前忘れたんだが、1枚の写真から顔のモデル作れるってやつ試して全然似てなくて投げ捨てた
Daz studioやVaMもまだまだ写実的でないし

2021/12/13(月) 18:49:14.22

metahunanは名前は知ってたけど試したことはないです

2021/12/13(月) 21:13:40.20

>>672
あと5世代くらいじゃないか？

900シリーズ辺りから速くなったな～けど爆熱電気食い
プロセスルールが変わり
1000番台になったら拍子抜けするほど省エネ性能しっかり
2000番台おぉDDR6
3000番台おぉぉ更にメモリ帯域増えてはえぇ～

5ナノにチェンジ
4000番台　拍子抜けするほど省エネ、性能凄まじい
5000番台　おぉまだ速くなるのか
6000番台　8Kでもぬるぬるやぁ

3ナノチェンジ
7000番台　え、グラボ動いてる？ファン回ってないけど
　　　　　16K VRヌルヌル

2021/12/14(火) 01:44:22.19

すげーな、アニメは今後360ｐで保存するわ。
100GBくらいNASが節約できるｗ

2021/12/14(火) 03:28:38.71

桁間違ってませんか
それっぽっち節約する意味が分からない

2021/12/14(火) 04:16:50.90

VEAIって一応RTXのTensorコアサポートしてたのか
今のところほとんど活かせてないようだけど

2021/12/14(火) 08:25:54.12

何をもってして活かせてないと？

2021/12/14(火) 09:31:48.32

一応どころかDirectMLへの移行でtensor coreガッツリ使うようになってるよ
Cuda使わなくなってtensor core使うようになった結果、APIだかライブラリだかの問題でむしろGTXでのパフォーマンスが落ちてるとか

2021/12/14(火) 15:23:22.88

metahumanすげーな
ただ自分の持ってる画像から似せられないからもてあます

2021/12/14(火) 17:42:35.23

>>681
アニオタではないんだ。実写映画派。

2021/12/14(火) 20:23:48.39

VEAI x264出力なんだけどさ
exeをバイナリエディタで開いて、ultrafastで文字列検索→ffmpegのコマンドがベタ書きで書いてあるのでlibx264→libx265 ultrafast→veryfastみたいにする事でエンコーダとプリセット程度なら好きに書き換えられた(スペース狭いのでそんなには書けない)
また出力物をmediainfoなどで調べたが、問題なかった。
ffmpegはインストール時にかなり古いのが入っててすぐ入れ替えてたからエンコーダを変更する場合は他から拾ってくる必要があるかもしれない。
ブラックフライデー$85組だけどホント安過ぎるぐらい使えるようになって嬉しいwww

2021/12/14(火) 20:27:48.89

しかし今時x264 ultrafastなんて誰得なんだ?
100倍以上時間掛けて高画質化したものをそれこそmpeg2彷彿させるほど圧縮率悪いもので出力するとかさ…

2021/12/14(火) 21:08:48.71

優れた人間も全ての界隈で特化しているわけじゃないってことだなあ

2021/12/14(火) 21:40:01.11

mac ユーザーなら ffmepg を適当なスクリプトに変えておけば自由に後処理ができるってことか
Windowsの人でも ffmepg.exe を作れる何かでやればokか

2021/12/14(火) 21:43:12.65

VEAIで、肌のトーン明るめな美白の動画やってみたり
白色のモノとか色トーン微妙に変わるよな…コレ

コントラスト上がってるっていうか赤みが抜けて
黄色っぽい動画になるっていうか暗い感じというか…

2021/12/14(火) 22:16:10.93

VEAIファーラムでプロセス中の画面消去機能がほしいっていくつか見かけるけど
それより自動シャットダウン、ChronosやってそのあとProteusなどのバッチの方が先に欲しいのは俺だけなのかな・・

2021/12/14(火) 22:17:22.32

たった30分で数ギガとかおかしかった

2021/12/14(火) 23:48:34.09

>>692
分かる。M1 Macだからそのままで良いにしてるけど、
精神衛生上完了後スリープして欲しい。

2021/12/15(水) 00:24:09.29

まだまだproteusのモデルの使い方を研究しているところだけどv4来たらまた過去モデルよりも更により良くなるのかな
v1.61のGaia-CGが一番イイとか言ってた時代が懐かしいくらいだ

2021/12/15(水) 03:08:03.91

VEAIはコマンドラインが使え頃、実は.mkvで保存できる裏技があったんだけど、>>687のとか見ると内部的にまだそういうのが残ってるってことなのかな

2021/12/15(水) 03:39:16.83

>>691
元ソース次第かも知れないが動画特有の問題じゃないかな？
静止画なら問題無いけど、動画は色情報も圧縮されてるので
Aiリマスターしようが何しようが色が劣化する
色が劣化する(黒に近くなる)と人間が一番分かりやすい赤が
抜けて見えるから、極端な言い方をすれば
アジア人の肌色っぽい感じが東南アジアっぽい感じに見えてくる

2021/12/15(水) 03:47:45.37

>>691はプレビューの話じゃなくてレンダリング結果なの？
プレビューだと色空間は再現できないから破綻してるように見えるものもあるよ
VEAIは元の色空間を完全再現するからレンダリングしたものを比較したほうがいい

2021/12/15(水) 06:57:31.06

>>690
mabsで行けるかな？

2021/12/15(水) 14:06:22.63

>>687
exeの改変チェックとかしてないのか。おもしろい。
フォルダ監視と組み合わせてバッチ組んでたけど、これなら直でx265にもできるし、そもそも引数渡せるなら直バッチいてこめるやないか。週末Ollyで覗いてみるわ。

2021/12/15(水) 14:16:19.16

Ollydbgは古すぎたみたいｗ　今はこっちが主流なのか。
https://github.com/x64dbg/x64dbg

2021/12/15(水) 17:05:25.82

圧縮ノイズとってるのにH264で再圧縮かけるいみなくね？　
せっかく綺麗に作られた色も間引かれる　トーンジャンプしだす
視覚的ロスレスのProres422HQ

サイズがでかいと思うならその動画に其処までの価値は無いんじゃないかな

2021/12/15(水) 17:10:23.09

もしかすると Mac は Parallels Desktop 経由で Windows 版を実行した方が早いんじゃないか

2021/12/15(水) 18:07:52.93

>>702
DVDの映画1本4Kにしてはい500GBね、がどんだけ受けいられると思ってるんだよ。
意識高い系特有の現実見ずに他を見下す構文本当に大嫌い

2021/12/15(水) 18:33:12.48

まぁまぁ、仕様について言ってることは事実なんだし
音声出力についての議論よりはマシよ、あれこそ意味ないから

2021/12/15(水) 18:46:39.51

静止画出力して無劣化で動画にすればいい

2021/12/15(水) 19:42:52.19

とにかくGPUが高すぎなんだよ。半導体不足はまぁ許す。マイニングてめえはダメだ。

2021/12/15(水) 21:01:07.87

4k120fps200%スロモでやったらあっというまに1T埋まったわ

2021/12/15(水) 21:01:35.17

png出力で

2021/12/16(木) 11:48:45.84

ProRes422で何か問題ある？
処理中断してもそこまでの動画として残してくれるから静止画使う意味もないと思うんだが

2021/12/16(木) 12:50:02.30

元動画のアス比が崩れてる場合はtopaz直せないよね？
先にhandbrakeとかで比率直してから？

2021/12/16(木) 14:48:56.34

>>707
とっくに対策済み
https://pc.watch.impress.co.jp/docs/news/1323517.html

2021/12/16(木) 15:01:11.96

対策されたLHR版グラボも非LHR版の約70％ぐらいのマイニングパワーだせるパッチ出ちゃってるんだよなぁ

2021/12/16(木) 15:35:51.33

1ヶ月だけ、どこのご家庭にでもあるRTX3080を2枚使ってマイニングをやってた事が有るんだけど、あれは個人宅でやるようなんもんじゃ無いわ、仕事行きながらじゃとても管理できない
ただ金額は悪くなかったからからそりゃ手を出す人は多いよねというのと資本主義が産んだ現代のコモンズの悲劇の実例なのかなと

2021/12/16(木) 16:10:32.41

マイナーはクリエイターとゲーマーの敵

2021/12/16(木) 16:19:31.86

VEAIで画像ファイルを高画質化するにはPNGを連番で3枚作るという方法しかない？
JPGだと読み込むんだけど出力されなくて。

2021/12/16(木) 16:42:35.31

https://i.imgur.com/jtmVYDY.jpg
好みによるっていうのは前提ではありますが10～15年前のDVD映像とか編集する際みなさんはここの全体的なベース数値どのぐらいにしてますか？
一番上は上げすぎるとなんか肌がツルツルし過ぎて逆に違和感が出ちゃって調整が難しい・・
一番下はあまり弄る機会がないように思えたり・・元がそこそこ綺麗なHD画質なんかはあまり全体的に上げない感じでしょうか？

2021/12/16(木) 16:49:36.42

>>716
前後フレーム複製して連番にするしかないね
PNGならいけるのを確認したことがある

2021/12/16(木) 17:09:53.05

>>716
同じ様な事やってるだけだけど画像ファイルから動画作って読み込ませる手も有る

2021/12/16(木) 17:14:36.39

proteusのパラメーターはシーンが固定されてたりライティングが一定のようなシーンなら手動もいいと思うけど、そうでないなら基本オートのほうは賢い結果になると思うなぁ
断言はできないけど

2021/12/16(木) 17:58:32.69

前にマウスやキー押下をwin32APIで操作して平均値出してる人居たけど、あれを動画をn分割した位置で検出して平均値なり中央値入れるのは良さそうよね。
ちょっとパラメータいじった感じだと、扱うソースによってはシャープやデノイズなんかはそれにオフセット値補正かけられた方が良さそうかなとは思ったけど

2021/12/16(木) 21:32:12.76

>>691
VEAIで試しにやってみたけど普通に動画変換すると確かに色が変わりすぎかも

元ソースYUV420H264→H264　色が減ってる
元ソースYUV422とかならあまり変わらない気もするけど
いわゆる普通の大人な動画だとダメかも

YUV420→Mov422HQにVEAI変換して
他ソフトでカラーフィルタ掛けてH264にするか

YUV420→YUV422に他ソフトでエンコしてから
H264で変換した方がいいかもしれんな

2021/12/16(木) 22:57:48.80

そもそもソースのカラーサイエンスが良いとは限らないし
リペアでは再グレーディングするのは普通　

2021/12/16(木) 23:02:23.47

シーン判定してスプリットしてそれぞれ適切なオートにしてレンダリング
スプリットした時点でCompressorみたいにネットワークレンダリングに対応できるし
発展の余地はいくらでもあるな　

2021/12/17(金) 05:05:38.90

>>722
>>233

VEAIはカラースペースを変換しないよ
もしかしてmp4で書き出しているのでは？

2021/12/17(金) 05:51:44.90

https://dotup.org/uploda/dotup.org2672968.jpg
上がオリジナル、下がVEAIで解像度を倍にしてProResで出力したもの
やはり色は変わらない

ただし、今検証して気づいたけどBT.2020のHDR動画でProteusを使うと色情報を維持できなかった
以前Altemisで比べた時はHDR情報を維持できていたけど、一部のAIモデルはHDRに対応していないかもしれない
SDR動画に関しては問題なく維持できていた

2021/12/17(金) 07:22:59.34

>>348
やってるよ。
自分で撮影した4k30p/8k30p素材の60p化をやってる。
自分がテストした限り、ダビンチのスピードワープやエディウスのオプティカルフローよりも
推測フレームの結果が良いと思ったので

2021/12/17(金) 10:58:36.50

VEAIアプデきましたね
詳細はまだよくわかってないですが

>>720
>>721
ありがとうございます
基本オートで若干弄る程度で納得のいく高画質化勉強してみます

2021/12/17(金) 12:22:59.33

ビデオエンハンスv2.6.2

2021年12月16日リリース。

主な機能

より良い品質の結果を得るためにChronosFastモデルを更新しました
タイムコードは公式にサポートされており、アプリで正しく機能します
画像シーケンスの入力FPSを変更できるようになりました

改善点

アプリケーションの安定性を向上させます
トリミングされたビデオを使用する場合、Macのオーディオは同期している必要があります
さまざまなバッチ処理関連の安定性の修正
Chronosモデルの出力FPSと継続時間は正確になりました
バッチ処理での複製ビデオは正しく機能します
出力FPSは正しい10進表現を持っています
Dioneモデルは、継続時間を2倍にすることはなくなり、出力FPSを正しく設定します
FPSを変更するモデルでは、音声の保持が無効になります
カスタム出力スケールと寸法は、現在例外として機能します
マイナーなGUIの修正

2021/12/17(金) 13:28:15.42

ショートカットキーのカスタマイズも実装してほしいな
せめてプレイバック操作は業界標準のJKL操作にしてほしい

2021/12/17(金) 14:38:30.63

>>730
ショートカットくらいはAHKでいいよ。ユーザー側でどうしょうもない機能の実装を優先してほしい。

2021/12/17(金) 15:06:23.65

そうだな
それなら音声をわざわざ再エンコードして劣化させる機能を廃止にするか、音声の取り扱いをやめるかしてもらいたいかな

2021/12/17(金) 16:54:58.69

ウィンドウ内ならどこでもファイルドロップを受け付けるようにして欲しいな

2021/12/17(金) 17:18:34.66

>>733
それもAHKで出来るって。。

2021/12/17(金) 18:21:55.06

AHKってAutoHotKeyってやつでいいの？
そんなウィンドウ受付挙動とかまで変えられる機能あるの？

2021/12/17(金) 18:41:57.38

>>735
そうそうそれ。ほぼプログラミング言語だよ。
素人が実現したい程度のことは本家forumの関数スレにほぼ網羅されてる。
https://itjo.jp/autohotkey/func-drag-and-drop/

2021/12/17(金) 19:00:18.90

プロテウスのスライダー設定おすすめくれ
デフォのままだと大してきれいになってない気がする

2021/12/17(金) 19:09:55.18

>>736
そのリンクはahkのファイルかexeにドロップする話みたいなんですが

2021/12/17(金) 19:39:08.88

>>738
AHK知らない人に事例として教えただけ。中身の関数はもちろんVEAIに処理渡すのは自分で書いてね。

あとスレチだから詳しくはこっちで聞いて。
https://egg.5ch.net/test/read.cgi/software/1620768466/

2021/12/17(金) 19:57:46.83

ドラッグ開始されたら監視を始めてボタン離した場所がVEAIのウィンドウだったら
VEAIを前面に出して適切な位置にドロップし直す
めんどい上に負荷もあるからあまり現実的ではない

2021/12/17(金) 20:00:56.04

余計に面倒になるだけでAHKでは何も解決しないような…

2021/12/17(金) 20:52:16.86

スレチだからこれで終わるけど、使ったこと無いなら無理にコメントしなくていいよ。
たしかにpentiumⅡくらいのスペックだともたつく処理かもしれない。うちは100個以上処理させて50ms以内にだいたい終わるわCPU負荷1%以下だよ。
例外処理入れなければDnD関数とSendだけの数十行のコードループさせるだけだし、テキストエディタ開くのすら億劫な人には面倒かもしれない。

ショートカットキーのリクエスト出すぐらいだからAHK進めたけど、別にPythonでもいいけどどうせWin32API叩くだけだから。

2021/12/17(金) 21:56:26.28

AHKとエクセルマクロに拘るやつって頭おかしいの多い

2021/12/17(金) 22:46:30.89

>>737
プロテウスでお勧めくれっていうやつおおいけど、素材がなにかぐらい書けよ

2021/12/17(金) 23:00:06.00

ディテール生成するのはどのスライダー？

2021/12/17(金) 23:04:48.45

>>743
会社でもシュバッてくるマクロ万能だよオジサンいるいる

2021/12/18(土) 00:36:01.97

>>746
ねえpythonってマクロなの？

2021/12/18(土) 00:43:36.42

ピジョンで変人は少なくね？
エクセルマクロおじさんはガチでエクセルマクロしか出来ないし
AHKおじいちゃんは自分でAHK大して使えないのにやたら知ってる範囲のみの
知識をひけらかしてくる

2021/12/18(土) 01:08:54.18

ビルゲイツが出来の悪いSEを叱るときに「これくらいのコードならEXCELのマクロでも簡単に書ける」というのがあったな。

2021/12/18(土) 02:01:35.75

>>717
RevertCompressionは結構上げた方がいいと思う、自分はどの動画でも60以上にしてます
あとはRecoverDetailとSharpen
この２つは形崩れを代償にして高画質化に一番影響するけど
オート判定の＋10～15ぐらいなら許容範囲だと思う
717がオート判定の結果なら60/35/50/15/10/50とか

2021/12/18(土) 02:16:42.39

DeBlurはほとんど副作用がないので50ぐらいにしてます
0と50比較すると模様とかが鮮明化されてるのがわかるので
480p～720p実写（人物）の場合、普段はこれでプレビューしてます
RevertCompression60～90
RecoverDetail、Sharpen Auto+10～15
ReduceNoise、Dehalo 10～20(Auto)
DeBlur 50

2021/12/18(土) 04:16:13.82

https://i.imgur.com/DIysySh.png

カメラのピンが合ってなくて奥のカーテンになってるが
総じて満足

ソース2005年ダウンロードしたストリーム動画　640*480 wma

Proteus v3　オート　1920*1440　Prores422で書き出し

2021/12/18(土) 04:27:02.60

やっぱノイズが取れたのと階調がなだらかで光の描写が綺麗
変にエッジが強調された感じがない、線が太く感じない

80ドルそこらですごいアルゴリズムゲットできたわ
業務用途だと50万くらい取られそう

2021/12/18(土) 09:00:57.90

AHKはMacじゃ使えないのでやっぱりキーカスタマイズぐらいは付けてほしい
優先度は後でもいいから

2021/12/18(土) 09:49:29.07

皆アルテミスかませてからプロテウスにしてる？
もうプロテウス一本でいい？

2021/12/18(土) 10:09:37.39

>>752
背景や輪郭が綺麗になってクッキリするのはいいんだけど遠めにある顔が怖いことになるんだよなぁ
この辺もうまくやってくれると言うことなしなんだけどね

2021/12/18(土) 10:37:18.74

>>754
つ https://github.com/Paris/IronAHK
つ https://ja.altapps.net/soft/autohotkey?platform=mac

うちはSikuli。複雑なことやんないしこれで十分なんだなー