【質問】dfl【その4】

■ このスレッドは過去ログ倉庫に格納されています
1名無しさん@お腹いっぱい。
垢版 |
2022/02/12(土) 17:06:21.44ID:6x5j6Sbc0
DeepFaceLab(以下、DFL)の質問&回答スレです

・質問について
日進月歩、モデルやオプションが多様化しているにもかかわらず、局所的な意見が散見されます。
必要に応じて自分の使ってるソフトやモデル、パラメータ等の詳細も書きましょう。

・エラーについて
エラーが出て解決できない場合は、なるべく詳細な情報(環境やどうしてそうなったか)を書きましょう。
特にエラー文は1番のヒントです。ググれば解決することも多いです。自分で解決できない場合はログを全文コピペしましょう。

・ソフトはどれ使えばいい?
利用者が多く情報が多いのはDFL。FSも英語圏では情報が得やすい。他は更新していない。

・必要スペックは?
VRAM容量6GB〜が推奨スペック。GPU性能は高い程いい。

・RTXシリーズでも動くの?
FS、DFL共に動く。

【質問】dfl【その3】
https://egg.5ch.net/test/read.cgi/software/1607860934/
2022/02/13(日) 22:48:04.86ID:1MouqYBx0
悪影響ってのが何なのかわからないけど、ちゃんと顔が抽出できてるかどうかが鍵
顔の前の障害物はXsegでマスクすれば何てこと無い
体感的には口があれば何となく抽出できるが、目が認識できてないと厳しい
2022/02/14(月) 01:04:21.10ID:doqjAGB30
目が画面外は無理だよね
障害物に隠れている場合であれば、
予測でランドマークが当たってくれる
18名無しさん@お腹いっぱい。
垢版 |
2022/02/14(月) 14:40:24.24ID:JET6Kj6E0
音声のディープフェイク作れるソフトって公開されてないよね?
2022/02/15(火) 08:41:20.66ID:z1UPonDn0
今のところはないな
20名無しさん@お腹いっぱい。
垢版 |
2022/02/16(水) 00:23:28.23ID:ZeLIrv5F0
どうしてもうっすら目を開けてる半目状態が出る
train不足?
dst画像は閉じてるのに
2022/02/16(水) 01:03:58.43ID:skIM8e080
src不足

目を閉じてる画像何枚か入れるよろし
22名無しさん@お腹いっぱい。
垢版 |
2022/02/16(水) 03:34:31.92ID:ZeLIrv5F0
ありがとう
やってみます
23名無しさん@お腹いっぱい。
垢版 |
2022/02/16(水) 21:58:29.78ID:fOu+vQjr0
今まで古いbuild_04_15_2020でやってたんですが、
RTX3060を買って、新たに
DeepFaceLab_NVIDIA_build_04_15_2020
をダウンロードして、
今まで使っていた、workspaceフォルダ一式を移して6) train Quick96
でトレインしてみようと思ったんですが、モデルがないと言われできないです。
バージョンがだいぶ違うとモデル等流用できないんでしょうか?
2022/02/16(水) 22:43:46.44ID:bm2hlB+T0
使えるときもあるけど変な結果になることが多いから基本やり直してる
25名無しさん@お腹いっぱい。
垢版 |
2022/02/17(木) 05:32:39.00ID:/ix4BgYj0
アプデしたらモデル使えなくなることはよくある
といっても3060ならquick96は一瞬で作れるし、練習用にしか使わないだろうし
解像度256以上も余裕をもって作れるから今までのモデル使えなくても大したことなさそう
26名無しさん@お腹いっぱい。
垢版 |
2022/02/17(木) 11:29:19.85ID:CaA10E3P0
できるだけいい作品を作ろうと思うと、まずはちゃんとしたsrc集めからなんですが、その前提としてこのソフトがどういう仕組みなのかちょっとわかってないところがあるんで詳しい人教えてください。
srcの画像とdrtの画像に入れ替えるときに、表情や方向などが一番似ているsrcの画像をそのまま選んで貼り付け処理するというものなのでしょうか。
それとも、目や口や方向、輪郭など、顔のパーツ部分ごとに、一番似ているのは00005の目で001254の口でという感じに割り振ってはめ込んでいるのでしょうか。
前者だと、同じ向きを見ている画像があっても、ちょうど目を閉じているのがない場合には、目が開いてしまうとか、目を閉じたの優先だと少しずれた方向の輪郭のになるとか、という不具合が起きてしまうかもしれません。
後者だと、割と自由が利くのかと思います。
サンプルは映画の元画像を他の映画に置きかえる的なのが多く、ともに目を開けているシーンがほとんどということになりますが、やりたい組み換えの場合、実際にはsrcは映画とかyoutubeとかからの普通の表情+目開け映像が多いですが、drtはもだえ表情+目閉じ映像が多いので、実際にマッチングするパーツはかなり少ないのではと思います。
やはりsrcの画像選びはかなりそっちに寄せてしないと結局は似てこないのでしょうか
2022/02/17(木) 12:00:02.69ID:3IRbcLiv0
長い
28名無しさん@お腹いっぱい。
垢版 |
2022/02/17(木) 12:05:12.28ID:/ix4BgYj0
@まずDSTはDSTを再現 SRCはSRCを再現するトレーニングをする
Aそして↑の情報を使ってDSTをSRCで再現しようとするのがディープフェイク

だからDSTで再現する角度と表情を再現するにはSRC側でそれを再現する十分なフェイスセットを集める必要あり
勿論なくてもある程度は再現するが、SRC不足するほど再現力も不足する


表情自体は完全一致する必要はなくて、単に再現できるための多種多様な表情があればいい
だからこそ正面からちょっと角度つけて表情豊かにインタビューされてる動画が素材によく使われる
29名無しさん@お腹いっぱい。
垢版 |
2022/02/17(木) 12:18:05.89ID:/ix4BgYj0
勿論DSTでしている表情を同じ解像度角度表情でSRC側も用意できたら再現度はかなり高くなる
逆に言うとDSTがSRC側の普段しないような表情してたらそれだけでもう似ない
30名無しさん@お腹いっぱい。
垢版 |
2022/02/17(木) 14:32:23.53ID:O0kBy7Ld0
勉強になるな
そういう知識はエロ系動画作成サイトではなく
ディープラーニングのサイトとかで学べそう
31名無しさん@お腹いっぱい。
垢版 |
2022/02/18(金) 05:07:53.67ID:ALS53GNm0
20です
src30000枚の内、1000枚ほど目を閉じてる画像を
追加してみました
そこからtrainでプラス10万ほどまわしましたが
若干の効果は見受けられました
ただ、30000の内1000枚って少ないですかね?
32名無しさん@お腹いっぱい。
垢版 |
2022/02/18(金) 10:12:14.02ID:gRn1FAni0
似ないならその部分のSRCを追加が鉄則
DSTが悶えて目つぶっているのばかりなら1/3の1万枚くらいDSTと同じ角度で同じ表情追加できればガンガン似てくるけどね

ただ、だからといって複数ソースからSRC用意するとフェイスセット内での平均顔がずれてきて自分の理想とズれてきがちだからその辺はまじでバランス
33名無しさん@お腹いっぱい。
垢版 |
2022/02/18(金) 10:32:53.68ID:gRn1FAni0
まぁSRCの整理選定レベルの段階ならquick96で練習した方が楽
34名無しさん@お腹いっぱい。
垢版 |
2022/02/18(金) 21:00:12.90ID:ALS53GNm0
ありがとうございます
更に追加してみました

ちなみにどうしても苦手な表情があり
(大口を開けて咥えている顔など)
そういう表情も、他の表情と比べて
画像の比率などを再確認してみます
2022/02/18(金) 21:20:31.19ID:TnSw0CyO0
3060でがんがん回してたら先月の電気代がえらいことになってた
batch12がまずかったかな
2022/02/19(土) 05:28:38.87ID:qsTOoDFB0
src3万枚は大杉
37名無しさん@お腹いっぱい。
垢版 |
2022/02/19(土) 11:16:03.28ID:ntIpr3/f0
200W〜を24時間31日ツケッパだからなぁ
とはいえ数千円〜でちょい昔のスパコンで遊ぶようなことができるから高い安いは人それぞれだが
2022/02/20(日) 14:02:40.39ID:lxo9TysB0
数千円か?1万以上飛ぶぞ
2022/02/20(日) 14:32:39.10ID:SWM+LvEa0
+5千円ぐらいだよ
2022/02/20(日) 19:32:40.09ID:ni72j+bP0
src多過ぎくらいの方が表情豊かになるから良くない?いつも2万から3万くらいでやるわ

学習済みのデータを流用してるからかもだが新規の人でも5分尺動画バッチ10解像度256で5000くらい回せば形になるわ。気に入ればそのまま継続
41名無しさん@お腹いっぱい。
垢版 |
2022/02/20(日) 22:06:54.21ID:tEZs2JBN0
この動画はいろんな人を合計30万枚って言ってるな
https://www.youtube.com/watch?v=a88uacG41lM
2022/02/20(日) 22:41:54.50ID:SWM+LvEa0
作者は2千枚あれば十分とか言ってたよね
43名無しさん@お腹いっぱい。
垢版 |
2022/02/21(月) 11:59:29.23ID:ZKW0Uduk0
作者の人もエロ動画作る前提で言ってるわけではなくて
いいとこイーロンマスクの演説での話しなのでは?
あれなら確かに少なくてもいい
2022/02/21(月) 12:05:42.32ID:orfYOE9R0
多い分にはいいんじゃないか?
重複を間引くとか言っても手作業じゃ限界があるし
2022/02/22(火) 13:07:00.44ID:mS+F68z+0
最初src2万枚くらいである程度回して、さらに2万枚追加したいときはそのまま入れた方がよい?それとも今のsrcは一旦別にして新規srcだけで回しても問題ない?

というのも追加入れると4万枚くらいになっちゃうから新規分2万枚だけで回せないかなと。

原理がよくわかってないけど一度学習したsrcは引き継がれてるものなの?
46名無しさん@お腹いっぱい。
垢版 |
2022/02/22(火) 14:35:10.90ID:cisQQE6u0
足したら4万枚の平均顔になる
差し替えたら差し替えた分二万枚の平均顔になる
最初は引き継いでる部分が多いけどいずれ完全に入れ替わる
モデルによるけど新規にない部分は前の要素を大分ひきずる
4万枚くらいになったらパックしないと読み込み時間が長い
2022/02/22(火) 23:28:37.58ID:qwWmW5990
data_dst で誤認識された顔の配置パーツを、手動で、

data_dst faceset MANUAL RE-EXTRACT DELETED ALIGNED_DEBUG

で修正しているんだけど、これを利用しても誤認識するような場合、
手動で顔らのラインとかを変更する方法はありませんか?
2022/02/22(火) 23:43:34.46ID:OQRHDfyi0
>>47
MVEですかね
でも面倒な上に中々思うように行かないですね…
有志がface extractだけ別で開発してくれたらなあ〜、なんて
2022/02/23(水) 00:01:42.37ID:+ngReU+F0
顔がちゃんと写ってないシーンを最初からカットしちゃうほうが精神的に良い
抜ければ良いんだから
50名無しさん@お腹いっぱい。
垢版 |
2022/02/23(水) 09:19:01.31ID:642RITnL0
未だにarhi optionの -c のことがよくわからない。
11/20版のchangelog見ても載ってないし。いつのヤツから使えるの?効果は?どこ見れば書いてある?
使ってる人教えてくれぃ
2022/02/23(水) 09:39:25.20ID:+ngReU+F0
Mrの解説だと
-C: experimental variant, switches the activation function between ReLu and Leaky ReLu.
52名無しさん@お腹いっぱい。
垢版 |
2022/02/23(水) 11:37:34.66ID:yCYaVMAw0
ランドマークの顔ラインまで手動で調整やってもまじで面倒臭すぎるんだよね結局
1フレームごとにやる上に前のフレームからズレると変換時に違和感出てきたりで気にしだしたら沼にはまるし

結局顔認識が楽な場面以外使わなくなる
53名無しさん@お腹いっぱい。
垢版 |
2022/02/23(水) 13:55:57.89ID:EDuWV/1E0
キスシーンは必ず入れたい主義なので
そこだけは手動で頑張ってる
男優には事前にモザイクかけたりして
認識させないようにしてるし
それでもランドマークが物体Xみたいに
なるときもあるけど地道に直すのみ
54名無しさん@お腹いっぱい。
垢版 |
2022/02/23(水) 14:46:27.08ID:642RITnL0
>>51
有難う。Mrにあったのね。
ちょっとこんどやってみるよ。効果あがるといいな。
2022/02/23(水) 14:49:41.90ID:mE7lEAD70
連続性あるんだから手動でやる場合前のフレームのポリゴン転写してくれりゃいいのにな
最初の手直しで済むんだが
2022/02/23(水) 14:51:32.48ID:mE7lEAD70
×最初
○最小
57名無しさん@お腹いっぱい。
垢版 |
2022/02/24(木) 01:34:35.28ID:JXZ8D5+90
昔のバージョンから新しいのにして、srcを切り出そうと思ったら、解像度512だったのにめっちゃ上がっとる。
できるなら高解像度で出力したほうがいいんかな?
ただ、どっちにせよmargeではいいとこ解像度400ぐらいだから実際には512で出しとけばいいんだろうか。
あるいは、512じゃなくて、margeの解像度に合わせて切り出した方がいいんだろうか?
58名無しさん@お腹いっぱい。
垢版 |
2022/02/24(木) 08:48:02.27ID:WAgt0lma0
素となる動画がどれだけ綺麗かによるのでは?
59名無しさん@お腹いっぱい。
垢版 |
2022/02/24(木) 15:48:56.03ID:LeL8E+7d0
フォーラムによるとres512でも切り出しは1024とかのが良い結果になることが多いらしい
後々のことや、512で切り出しても使う部分の顔はそれ(=512)よりもかなり小さいから
元の画質が良いなら大き目で切り出しとけとかいう声がちらほら
60名無しさん@お腹いっぱい。
垢版 |
2022/02/24(木) 18:29:55.99ID:Vv8gkF5I0
皆さんSRCの画像を高画質にできるソフトとか使ってますか?
画質低いと完成してもぼやぼやで、いいソフト教えて下さい
2022/02/24(木) 18:57:56.39ID:wUTozZ4m0
wikiに書いといて
62名無しさん@お腹いっぱい。
垢版 |
2022/02/24(木) 21:01:52.83ID:3bmkzy090
enhanceするくらい
GPENを試してみたけど、シャープが強くなる
感じがして使うの止めた
63名無しさん@お腹いっぱい。
垢版 |
2022/02/25(金) 00:26:04.05ID:SrYL9oGU0
57ですがありがとうございます。
結局、変換の時には、モデルの中に顔データをため込んでいるのではなく、あくまでもその時にはscrのデータを使って絵を作るってことなんですか。
もしそうなら、最終的に素材としてのscrは解像度が高く、くっきりしていて綺麗であればあるほどよいってことになるということですか。
64名無しさん@お腹いっぱい。
垢版 |
2022/02/25(金) 23:52:14.84ID:wSwnJkiB0
日本の方が作ったGPENで最後FileNotFoundErrorが出て失敗します
どうすればいいですか
65名無しさん@お腹いっぱい。
垢版 |
2022/02/27(日) 19:14:37.78ID:Zbrm2j4+0
普通はモデルデータからresultは生成されるよ
gpen使えないなら普通にtopazのveaiとかの方がいいかもね
旧ver(2.3)なら試用期間中のロゴもなし
2022/03/02(水) 05:51:22.56ID:xZQn/+CO0
一昨日始めた初心者です。
pretrainingをデフォルトのセットで行ったのですが反映させる方法がわかりません。
modelファイルにそのまま残してtrainで新しい名前をつけてpretrainをなしで
始めればpretrainingの学習が反映されますか?
67名無しさん@お腹いっぱい。
垢版 |
2022/03/02(水) 10:49:06.17ID:ClIx1ON/0
新しい名前とは?

通常のtrain開始で各項目をyes.no選択していくと
最後のほうにpretrainのyes.noの項目が出るから
トレーニングさせるならyesを選択
それでしばらく様々な外人の画像が出るので
それでトレーニングする

一定時間経過すれば終了させて
再度train開始
英語で「2秒以内にエンター押して」って
表示が出るから、エンターを押す
そうしたら一定の項目は再びyes.noの選択が
できるようになるから
今度はpretrainの項目をnoにすると
自分で作ったdstとsrcのtrainが始まる

pretrainが足りなかったかな?
と、感じたら
再び2秒以内にエンターを押して
pretrainをyesにすれば良い
2022/03/02(水) 11:42:52.97ID:kJU0PNcf0
>>66
デフォルトのpretrain済のをリネームするのなら反映されるけど
新しく名前を設定すると新しくmodelが作成されてpretrain済みのmodelは利用されない

あとは>>67のとおり
2022/03/02(水) 19:30:57.73ID:xZQn/+CO0
>>67
>>68
ご丁寧にありがとうございます。助かりました。

トレーニング済みのモデルはworkspaceをクリアする前にバックアップをとって別のプロジェクトに何回も使用できるということですよね?
pretrainingで使用するfacepackはデフォルトよりも動画に出てくる人に近い人たちの画像を使うと完成度は上がりますか?
例えば金髪の白人女性の場合、同類種の人たちの顔画像を_internalフォルダのfacepackと置き換えたり等
2022/03/02(水) 21:38:15.69ID:CeznX3jc0
もうそれならpretrainしないでsrcですぐ始めても良いんじゃないの
正直大して変わらんよ
71名無しさん@お腹いっぱい。
垢版 |
2022/03/03(木) 05:49:50.58ID:32UYUjlP0
いや最新版のDFLはもう普通にやったら100%本人作れるから余計な事しないでも大丈夫
pretrainもそんなに頑張らなくていい
とりあえず初心者は解像度128とかかなり低めにしてDSTと同じ角度のSRC揃えてLAIE-UDやってランダムワープonにしておけば半分はok
128でもしっかり似る
解像度256とかでやったら残りの半分の技術覚えるのに時間かかりすぎる
2022/03/05(土) 22:48:26.13ID:q3kE1fjk0
残り半分の技術が気になる
2022/03/06(日) 12:34:54.17ID:IzRx8DJR0
眉の太さを変えられるライブラリみたいのないですかねえ
2022/03/06(日) 13:37:10.43ID:Fha5N7lo0
眉は捨ててるな
2022/03/06(日) 16:37:16.90ID:oMsWva5H0
眉は普通にsrc素材の使ってるぞ
素材の前髪が邪魔になるけどX-segで削ってる
76名無しさん@お腹いっぱい。
垢版 |
2022/03/06(日) 21:08:08.19ID:IY/rGk/t0
スマホの動画加工アプリで輪郭変えたり目鼻口の大きさ変えたりdfとの相性凄いよ
pcでも作って欲しいレベル
2022/03/06(日) 21:09:00.70ID:IzRx8DJR0
>>74
srcの輪郭を使いたいときに眉も使わざるをえないので
erode maskの領域が選べればいいのですが

>>75
srcの動画が古いと眉が時代遅れの細繭だったりするので
現代風にしたいんですよね
ちなみに類似の悩みでdstの髪の色ってのもあるのですが
それはできそうな情報があったのでこれからやってみるところです
2022/03/06(日) 21:32:42.82ID:kwWFHO2V0
>>77
dstの髪の色をあらかじめ変更できる方法があるなら教えて欲しいです。
2022/03/06(日) 23:55:18.14ID:oMsWva5H0
>>77
X-segで輪郭を点描していくときに
眉の下を通すか通さないかで
srcの眉を使うかdstの眉を使うか
選択が可能なわけだから
それじゃ駄目なの?
2022/03/07(月) 17:50:40.32ID:e5560om20
前髪ごと変換すればいいのに
81名無しさん@お腹いっぱい。
垢版 |
2022/03/07(月) 21:35:50.97ID:3tfyoOLm0
X-segで眉は除外設定→眉はDSTのをそのまま
同様に髪型まで変換設定→髪色・質はSRCのをスワップでいけるだろ
眉は試したことないけど汁除外する方法で普通に行けるはず
2022/03/08(火) 15:25:36.09ID:ahnEscnm0
笛やキス作品を作場合って、

5.XSeg) data_dst mask - editで対象物を全てマスクしないといけないの?
83名無しさん@お腹いっぱい。
垢版 |
2022/03/08(火) 15:36:20.49ID:l5u2O32E0
dstの枚数によるけど10枚くらいマスクしてトレーニングしてアプライしたら大体全部にマスクかかるから
後はマスクずれてるところをもっかいマスクしてトレーニングしてアプライ
2022/03/08(火) 17:21:24.26ID:XoMbs2nU0
headでやる場合はsrcのほうが髪にボリュームある場合、それを考慮して
dst側もある程度広めにマスク取ったほうが自然になりますか?
85名無しさん@お腹いっぱい。
垢版 |
2022/03/08(火) 18:25:41.65ID:q+xdz2vu0
たまにぶっかけ系の動画とかあるけど、あれできたらすごいなあ。
ぶっかけと非ぶっかけにモデルを分けて、ぶっかけの奴はscrでほぼ肌はマスクをかけるとかそういう技になるのかな。
VRはできたけど、ぶっかけの作り方書いてないからよくわからない。
ここみろ、とかないですか?
86名無しさん@お腹いっぱい。
垢版 |
2022/03/08(火) 19:00:00.06ID:glM8c4Cc0
headでボリュームある髪は上手く出来た事ないな
動くとおかしくなる
87名無しさん@お腹いっぱい。
垢版 |
2022/03/08(火) 23:35:11.77ID:l5u2O32E0
>>84
dstの髪はきっちり実物通りにマスクするのが基本
じゃないと完成時に髪型の外枠がぐにゃぐにゃ動くからね

だから普通はdstの髪型の範囲までしかsrcの髪型はSWAPできないからDSTとSRCは大体同じ髪型だとうまくいく
それでも髪質やらが反映される分いっきに似る
2022/03/09(水) 10:36:21.35ID:Zg4oZc670
>>87
頭頂部から顎まで顔全体を丸くマスクするだけで顔全体をSwapしてくれる。
髪の色がDSTとSRCで違わない限りこれでOKだよ。
2022/03/09(水) 23:25:56.25ID:3aEbeqbi0
>>88
srcとdstが同じ黒髪でも色味が全然違ったりして馴染みづらい気がする
単なるトレイン不足かもしれんけど
90名無しさん@お腹いっぱい。
垢版 |
2022/03/10(木) 18:21:40.31ID:/QPyyThr0
>>88
やってみたけどうまく使えるやつなら使えそうだった
2022/03/11(金) 17:56:22.14ID:6GWx1yZS0
faceset extractでsrcは写真サイズ高めでdstは低めにしたら何か支障でます?
2022/03/11(金) 18:11:22.75ID:6GWx1yZS0
>>88
src側だけマスクでいけます?
髪型含めそっくりそのまま頭部入れ替えるのは
難しいですよね
93名無しさん@お腹いっぱい。
垢版 |
2022/03/11(金) 18:12:36.85ID:bEw9MapZ0
2070Sから3060に買い替えて、ソフトも違うのになるからモデルも作り直したが、trainの解像度をあげれたというより、scrの解像度を上げて、元の参照データのレベルが上がったほうが効果あったのかな。
別次元のになってすごく満足している。
2022/03/11(金) 18:22:43.33ID:FSepSmW40
色々実験しても結果が共有出来ないのが辛いな。自分で全部検証するのは辛すぎる。
TwitterでもDiscordでもいいから共有スペース作って欲しい。
2022/03/11(金) 19:49:44.13ID:jk+qh3R70
ほんとそれ。
96名無しさん@お腹いっぱい。
垢版 |
2022/03/11(金) 20:07:35.67ID:ux74AeuO0
>>93
3060でsrcフェイスセット完璧な条件で作れるなら完コピ可能だからね
97名無しさん@お腹いっぱい。
垢版 |
2022/03/11(金) 20:28:53.79ID:bEw9MapZ0
色んな条件があるからどれをどうしろというのがはっきり決まらないのだろうけど、
scrの画質をいいものにして、解像度を高めにするというのは、このスレで指摘されていたけど、
俺はいろんな表情で角度のものが一番重要だと思っていたけど、自分にとっては高解像度のscrを用意するのが一番必要なことだったわ。
2022/03/11(金) 20:42:50.01ID:wGsrZed60
高解像度ってどれぐらいなのよ
99名無しさん@お腹いっぱい。
垢版 |
2022/03/11(金) 21:39:46.98ID:bEw9MapZ0
今回は解像度は768
よくわからんのだけど、margeの解像度が384でやったから、倍ぐらいでいいのかあと思って。
2022/03/11(金) 22:30:25.55ID:HaZecck10
resolutionよりae dims上げた方が良いような気もする
表情やら目線が自然な感じ
2022/03/11(金) 22:52:05.75ID:CWhSxf/i0
画質だけで言うと数値変えて大きく影響するのはモデルresだけど
srcとdstのaligned解像度だけ変えて他の条件を全く同じにした場合どのくらい画質に影響するか実際に比較した人いる?

海外でもよく意見が分かれてるけど
WFとかHeadで顔抽出すると顔以外の余白部分がかなり多いから
モデルres 384の場合でもalignedの解像度は512とかそれ以上必要になるよね?
2022/03/12(土) 09:54:02.05ID:wCRcM+/e0
res384て…
そんなに上げられるものなの?
302とか288でやってるな
RTX3060で
2022/03/12(土) 10:01:31.09ID:kiyIk+z60
余白の話が出たので情報共有

extractした時のフェイス部分の大きさ位置変更
■LandmarksProcessor.py
・214行目 顔の大きさ 数字が小さいほど大きくなる
FaceType.WHOLE_FACE: (0.40, False),
FaceType.HEAD: (0.70, False),

・302行目 wfの顔位置 数字が小さいほど上に行く
g_c += vec*vec_len*0.07

・323行目 headの顔位置 同上
g_c += vvec*vvec_len*0.50

調整する際の注意点は横顔抽出のときにアゴ部分が切れないようにする
俺は head 0.40 0.10 でやってるけどデコマユ切ってる人はもっと大きくできる
変更後の抽出した画像はloss値が上がる
難点はMVEでのextractが初期値の顔の大きさになってしまうこと
2022/03/12(土) 10:19:05.20ID:0zNvv9L80
>103
その設定ならほぼwfのデフォルトと同じでは?互換性捨ててまでやることじゃないと思う。
headは髪のボリュームあると上手くいかないし、日本のアイドルは前髪まで含めておけば、本人っぽくはなるし両津問題で困ること無くなるし、wfで十分と思ってる。
2022/03/12(土) 11:05:32.81ID:kiyIk+z60
>>104
同じ数値にしてもwfとhaedのextractは異なるものが抽出されるのと
そもそもランドマークの扱いが違うので内部データが異なる全く別物になります
headの3Dでのextractが画角に強いのと仕上がりが好みなので俺はheadを選択してるのね
2022/03/12(土) 11:11:38.42ID:kiyIk+z60
すみません互換性の部分が良く分からなかったけど
modelのfacetypeはheadでの話をしてました
2022/03/12(土) 11:48:41.93ID:Ib5GDpaq0
>>106
確かにheadは画角に強いですよね〜
マスクをどこからどこにすれば良いかが難しい…
2022/03/12(土) 12:04:25.27ID:aVff+N+e0
>>103
聞きたかったのはaligned resを変えた場合の画質の変化だったが
そんなことよりもその情報を知ってるってことはもしかしてloss functionにMS-SSIM+L1とか使えるようにしてる?
何の事か分からなかったらスルーで良いんだけど
自分でも今実験しててSSIMもしくはMS-SSIMと比べてどこまで顔に差が出るか知りたいんだよね
2022/03/12(土) 13:36:03.80ID:NInxcUBj0
srcは髪型のシルエットから顎までしっかりマスクやって
dstは顎あたりしっかりやって頭部広めにキノコ型にマスクすると
結構よかったです。dstはポニーテールで
2022/03/12(土) 14:00:26.27ID:wgBVVMqc0
srcが常に同じ髪型してるわけじゃないから大変そう
2022/03/12(土) 21:28:47.34ID:0zNvv9L80
>103
そういう事か。余白が理由じゃないんですね。勉強になります。
もしかして、3Dextract でwfのフォーマットで書き出すように出来たりする?画角に強いwfの書き出しが出来るなら嬉しいんだけど。
2022/03/12(土) 23:04:52.29ID:Dm7Kl3Is0
みんなwfなのか
俺はいまだにfなんすけど
113名無しさん@お腹いっぱい。
垢版 |
2022/03/12(土) 23:18:01.49ID:5tfgxYB10
おれもfっすw
2022/03/12(土) 23:27:21.78ID:cjYIexVM0
udとudtはどうなん?udtはなんかdst寄りになってる気がする
2022/03/12(土) 23:30:13.79ID:cjYIexVM0
fの人は雰囲気出てればいっかぁって人でしょ

ガチ勢はwf一択
■ このスレッドは過去ログ倉庫に格納されています
大学生アイラと影の怪物と戦うリョウが、深夜3時3分の静止した世界で交錯する超常スリラーの概要

ニューススポーツなんでも実況