【AIコラ】fakeapp その13【革命】

2020/03/08(日) 21:28:26.92

deepfakesの技術交換スレです。

前スレ
【AIコラ】fakeapp その12【革命】
https://phoebe.bbspink.com/test/read.cgi/ascii/1580015540/

テンプレに書いてない質問はok

VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured

**名無しさん＠お腹いっぱい。** · 2020/03/08(日) 21:31:14.73

deepfakesなソフト
◎DeepFaceLab(以下、DFL)
◎deepfakes/faceswap(以下、FS)
●fakeapp
●openfaceswap(以下、OFS)
●myfakeapp

deepfakesとは？
AutoEncoderで顔を再生成できるようにAとBそれぞれの特徴量を学習し、decoderを入れ替えることにより、AとBの顔を交換する手法。
・質問や情報交換について
日進月歩、モデルやオプションが多様化しているにもかかわらず、局所的な意見が散見されます。
必要に応じて自分の使ってるソフトやモデル、パラメータ等の詳細も書きましょう。

**名無しさん＠お腹いっぱい。** · 2020/03/08(日) 21:32:33.34

・エラーについて
エラーが出て解決できない場合は、なるべく詳細な情報(環境やどうしてそうなったか)を書きましょう。
特にエラー文は1番のヒントです。ググれば解決することも多いです。自分で解決できない場合はログを全文コピペしましょう。

**名無しさん＠お腹いっぱい。** · 2020/03/08(日) 21:33:02.83

◎よくある質問
・違法じゃないの？
deepfakes自体に違法性はない。
ただし権利者に許可を得ていないコンテンツの二次利用は著作権法に違反。
また、所謂フェイクポルノを不特定多数が見れる場所に公開すれば名誉毀損(侮辱罪)に該当。
有名人の顔を使用して経済的利益を得ればパブリシティ権の侵害になる。

・ソフトはどれ使えばいい？
利用者が多く情報が多いのはDFL。FSも英語圏では情報が得やすい。他は更新していない。

・必要スペックは？
VRAM容量6GB～が推奨スペック。GPU性能は高い程いい。

・RTXシリーズでも動くの？
FS、DFL共に動く。CUDA10以降を選ぶこと。

5 名前：/名無しさん[1-30].jpg[sage] 投稿日：2020/01/26(日) 14:39:36.12 ID:l6qr1y1gH
・作るのにどれくらいかかる？
パラメータやスペックにより異なるがはじめは2日から1週間程度学習させる必要がある。
2回目からはmodelの再利用により学習時間を大幅に短縮できる。但しmodelの再利用については賛否両論あり。

・lossについて
A→A'、B→B'の学習具合の目安にできるが、データセットやtrainer、パラメータに左右されるので具体的な数値目標を設けるのは間違い。学習具合はプレビューで判断する。

**名無しさん＠お腹いっぱい。** · 2020/03/08(日) 21:34:41.42

DFLならこれに書いてある内容の質問は全スルー、マニュアル記載の内容も全スルー
https://mrdeepfakes.com/forums/thread-deepfacelab-explained-and-usage-tutorial

FSはこれ
https://faceswap.dev/forum/app.php/faqpage

もうちょっと掘った内容の話はこれ読め
https://www.alanzucconi.com/2018/03/14/introduction-to-deepfakes/

リクエスト禁止

技術質問はテンプレ必須
【使用ソフト】バージョンも書く
【使用モデル】
【スペック】
【内容】エラー時はエラーメッセージ必須

**名無しさん＠お腹いっぱい。** · 2020/03/08(日) 21:36:38.48

過去スレ一覧(続く)
https://find.5ch.net/search?q=AI%E3%82%B3%E3%83%A9

1 https://2ch.live/cache/view/ascii/1518391672
2 https://2ch.live/cache/view/ascii/1525096908
3 https://2ch.live/cache/view/ascii/1540703439
4 https://2ch.live/cache/view/ascii/1558162081
5 https://2ch.live/cache/view/ascii/1562952179
6 http://phoebe.bbspink.com/test/read.cgi/ascii/1565578836/
7 http://phoebe.bbspink.com/test/read.cgi/ascii/1567676603/
8 http://phoebe.bbspink.com/test/read.cgi/ascii/1569811630/
9 http://phoebe.bbspink.com/test/read.cgi/ascii/1571681348/
10 http://phoebe.bbspink.com/test/read.cgi/ascii/1573832431/
11 http://phoebe.bbspink.com/test/read.cgi/ascii/1576974608/

2020/03/08(日) 22:34:26.10

↓
現行スレ
【AIコラ】fakeapp その13【革命】
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44827/1583557004/

2020/03/08(日) 23:05:40.24

なんで>>1は前スレでここ建てた時からID消してんの？

2020/03/09(月) 00:06:59.34

まあとりあえずスレ立ておつ
1がID消してるよりも必死にしたらばに誘導してるやつのほうが謎だわ

2020/03/09(月) 02:42:01.95

結局どこが本スレ？

2020/03/09(月) 04:27:57.15

ここじゃね

2020/03/09(月) 05:39:08.80

dfl 2.0 公式チュートリアル
https://mrdeepfakes.com/forums/thread-guide-deepfacelab-2-0-explained-and-tutorials-recommended

dfl まとめwiki
https://seesaawiki.jp/dfl/

2020/03/09(月) 10:59:42.34

日記劇場開幕！

2020/03/09(月) 12:22:44.94

わっちょいありでおけ

**deepfakes** (ﾜｯﾁｮｲ 6181-yNY2) · 2020/03/11(水) 14:40:44.60

liaech悪くないかも。ゼロから始めて2日ちょっとでこのぐらいまで学習進んだ。
https://www.axfc.net/u/4021465

非エロだけどすぐ消すよ。

2020/03/11(水) 18:09:39.41

悪くない
まさにそんな感じかも
HDじゃない分軽くて、バッチ数とかかなり上げられるけど詳細感には限界を感じる
riae系ということでやはりきつめの角度には強いがsrcに寄せられる度はDFHDには負ける
あと目線が逃げがちという点も変わらずある

riaeと比較出来てないから何とも言えないけど、それ比でsrc寄りになるという文句通りなら価値は結構ある
悪くない

2020/03/12(木) 07:36:47.70

>>15
映像的にはよく出来てたけど誰を誰に変えてるのか分かんなかったごめん
学習速いなら試してみようかな

2020/03/12(木) 07:39:17.65

顔抽出が512になったけど今まで256基準で映像集めてたからキツイな
拡大して荒くなったのエンハンスするとノイズも強調されちゃうし

2020/03/12(木) 08:19:15.14

>>17
飛鳥をねるにw

2020/03/12(木) 11:34:09.45

もちろん相性によって変わるのは分かるんだけど
SAEHDのres256で作ってたらerodeとblurはどれぐらいを目安に設定してる？

2020/03/12(木) 15:10:55.73

>>20
色の合い方によっても全然違うのであんまり参考になるような数値は出てこないんじゃないか？
プレビュー見ながら調節。

2020/03/12(木) 18:41:24.63

>>20
力技で合わせるとか以外の通常に限って言えば
erode0 blur70くらいを標準と見て調整するかな

2020/03/12(木) 20:33:36.32

>>18
mainscriptフォルダの中のExtractor.pyの690行目の
image_size 512
ってなってるのを256にしたらいいよ

あと512に変更された時に同時に変わった264行目のjpegクオリティの設定値90を100に戻せば以前と同じになる

今の所whole faceで使う以外に更新された形跡はないからデメリットもゼロのはず

2020/03/12(木) 22:10:00.27

whole faceってどうなんだろうね
試した人はいるのだろうか

2020/03/12(木) 23:54:56.48

だからその場合前髪はどうなるんだってばよ

2020/03/13(金) 00:19:58.25

512でtrain厳しいからwhole_faceはパスだなー

>>23
旧ver残してるからそっちでやってるけど書き換えたら戻せるのかなるほどありがとう

2020/03/14(土) 14:27:19.89

質問２は自己解決しました。TAB押しですね。

2020/03/14(土) 14:29:34.66

ありゃ、書き込む場所間違えました。失礼をば。

2020/03/14(土) 20:02:11.32

リリースはされてないけどliaech消されたな
liae比でも非常に軽い点、
src前髪未処理の時でも他と比べて上手くこなす点等
それなりに可能性を感じたんだが

fansegトレーニングも次のリリースに入るはずだけどこれは嬉しいね

2020/03/14(土) 22:14:40.72

liaechは試しに3時間ぐらい回してみたけどloss5台でずっと砂嵐だった

2020/03/15(日) 00:03:32.56

>>30
俺も同じ症状遭遇した
最新のモジュールでExtractしなおしたら（dst,src共に）、最初からきれいにトレーニングできた。

**276** (ｱｳｱｳｳｰ Sac5-PwW1) · 2020/03/15(日) 04:46:06.02

pretrainモデル置いてあるな、どうなのこれ

2020/03/15(日) 16:23:27.36

アップ正面メイン笛用にres256 dims352 48 48 16モデル作ったけどres192dims512と比べて目に見えて解像度上がりました
ただし髪型とか目線の細かい追従力も落ちるから一長一短

2020/03/15(日) 17:38:04.45

resはresolutionで解像度って意味だから数値上げればそりゃあがるよ
プレビューの画像も大きくなってたでしょ

2020/03/15(日) 18:56:57.60

>>33
dimsってそういう意味じゃないから

2020/03/15(日) 18:59:08.52

>>33
おれもメインは192 dims512でやってるけど、256って何かスカスカな感じにならんかね
おれ環でもやはりdimsは256くらいまで落とさないと動かないので似たような境遇だと思うが

2020/03/16(月) 00:05:06.61

0315版来たね
whole face向けのfansegのようなものも実装
面倒そうではあるけどなんだか凄そう

2020/03/16(月) 09:57:38.02

あれ、はげかけたオッサンはいいけど
前髪ある女性はどうなるのか興味はある

2020/03/19(木) 08:34:35.21

綺麗に顔が入れ替わっても、似ないなあ。
髪型があってないとだめなのか。

2020/03/20(金) 04:03:36.53

髪型と体格は大事

2020/03/23(月) 07:25:16.71

mergeする段階でのface scaleの数値がかなり大事な気がする
これが本人とかけ離れてるとパーツがほぼ完ぺきに学習できてても似ない

2020/03/24(火) 01:30:36.89

最近スレの勢いなくなったけど何かあった？

2020/03/24(火) 02:23:57.40

皆dst探しの旅に出てる。
スレ分離した、ワッチョイ付きで荒しが減った（NGできる）、目新しい技術的な話題がない
といったところかね。

かくいう自分もwhole_faceやXSegに興味はあるものの試せてないから
話題提供もできない。

2020/03/24(火) 07:40:03.28

これある程度トレーニングさせたら動画にして
中途半端に本人っぽくできあがったやつをdstに交換してさらにトレーニング
ってやった方が早く本人に近付かない？？
ダメなのそれじゃ

2020/03/24(火) 08:10:06.11

それでダメな理由は？

2020/03/24(火) 09:42:53.21

完成までの時短をしたいという意味では手間が膨大な割に効果はどうなのかと思うけど

完成品を更にもう一度deepfakeしてsrcに近付けるという意味の試みなら面白いかも

2020/03/24(火) 09:51:16.55

予想だけどそれすると顔色が目にみえて合わなくなる予感

2020/03/24(火) 09:54:22.24

dfuhdとliaeuhdというarchiが追加されてるね

これはコード少し見たところ、UltraHDというわけでもなく、非HDのdfやliaeとほぼ同じものだった
効率化の部分で少し違いがあるような感じ

詳細出るまで急いで試す必要もなさそう

2020/03/24(火) 18:52:56.92

全力笑顔で上の歯全部出てるようなsrc素材は削除してよさそうだな

2020/03/24(火) 23:47:09.10

>>48
サンキュー実験的なモデルかね。
削除されたけどliaech個人的に気に入って使ってるわ。
chagelog(readme?)に書いてる通りliaeをよりsrc寄りにしたって説明のまんま。

2020/03/25(水) 03:45:12.95

liaechいいよな
復活きぼん

2020/03/25(水) 04:09:41.77

== 24.03.2020 ==

SAEHD：「dfuhd」と「liaeuhd」を追加しましたarchi
uhdバージョンは「HD」よりも軽量ですが、通常バージョンよりも重いです。
liaeuhdは、より「srcに似た」結果
比較を提供します。
liae：
https://i.imgur.com/JEICFwI.jpg
liaeuhd：
https://i.imgur.com/ymU7t5E.jpg

新しいXSegEditorを追加しました！

リリースあったのね
非HDと大差ないと考えてたけど
これもsrcに寄せるということなら試していきたいな

2020/03/25(水) 04:18:43.73

liaechはおれもいいなと思った
他とコード構造も全く違うものだったし、差別化に可能性を感じた

消された時はコードは選択部分だけの削除だったから比較的簡単に自分で書き戻せたけど、今回のarchiの追加で骨組み部分がバッサリ消されてしまった
ちなみに今回の「u」版はliaechの流用というわけでは全く無くて、既に書いた通り非HDをほんの少し変更したものだね

2020/03/26(木) 18:09:57.04

的外れなら申し訳ないんだが、DFとLIAEのアーキテクチャの違いって識別モデルか生成モデルかの違い？
LIAEの方が色んな角度に対応できるのって入力データから分布推定して自分で訓練データ生成してるから？
合ってても間違ってても教えてくれると助かる

2020/03/26(木) 22:33:44.47

識別か生成かはよく分からないけど
LIAEは外観と表情を明示的に分けて中間層を作るモデル構造を採ってるために
モーフィング的なスワップが上手くいくということだと思う

2020/03/27(金) 00:13:09.93

>>55
ありがとう
外観（輪郭のこと？）を表現する中間層を用意することで外観ごと似せられるようになるってことなのかな

IAEをImplicit AutoEncoderの略だと勝手に解釈をして>>54みたいなことを考えてたけど、それは関係ないみたいね

2020/03/27(金) 04:49:48.49

ImprovementAEだね
元はfsの関係者が「速度や解像度の面で優れたAEを作ったよ」と出して来たものを
dflの作者が調整してliaeになった

なのでオーソドックスタイプに比して角度に強いとかいう特徴が残ったのは結果論であって元々意図したものではない気がする

オーソドックスタイプもdfl独自の改良を経てDFとして進化をして来たけど、liaeはその特徴があるために並行して残されてるんだろうなと

2020/03/27(金) 05:45:58.97

liaeはdfにおけるtfの様なお手軽にsrcに寄せるパラメータが無いのが最大の欠点だから
作者も今そこを克服させるために試行錯誤して出してきてるのがliaechだったりliaeuhdなんだろうね

2020/03/28(土) 12:49:45.94

>>57
improvementか、具体的に何か機能を意識した言葉ではなかったのねサンクス

2020/03/28(土) 12:57:22.55

>>24
今さらながらwhole faceを試した
輪郭・前髪ごとガッツリ入れ替えることができてる気がする
髪の色が同じであれば前髪を消すより前髪ごと入れ替えた方が本人感が出る

ただXseg editorでマスクする範囲を手動指定しないといけないのはまあまあしんどい
輪郭・前髪が似てなくても何が何でもsrcに似せたいという気概がある時に使うと良いのかなと思った

2020/03/28(土) 13:16:17.36

>>60
adobeのａｆｔｅｒeffectを使わなくてもXseg editorでマスクすればいいんだよね？
前髪のマスクはかなり面倒だろうなあ
話は変わるけどLiaeuhdはrandom warpでloss値が0.4で頭打ちになる
数値の基準がこれまでと違うのかな

2020/03/28(土) 13:40:47.18

>>61
xseg editorでマスクしてxseg merge.batでマージすればxseg trainを動かせた
ほんで前髪の生え際からがっつり入れ替えられた

もう一つ思ったのは
dst中にがっつり下を向く角度がある時に前髪ごと入れ替えちゃうと、dstの頭頂部とsrcの前髪の継ぎ目が気になる
（正面だと継ぎ目があんまり見えないから目立たなくて綺麗に入れ替わって見える）

まだ試してないけど、頭頂部を含んで入れ替え可能ならより自然になるかもしれない

2020/03/28(土) 14:25:57.27

whole faceで前髪ごと全部入れ替えるってのは面白い
日本ならではの試みかも
前髪がっつりある場合ってそうやって使わないと利点が出てこないもんね

つべに上がってたfullとwholeの比較では
同じ解像度だと当然wholeの方が解像感不足が見て取れた

2020/03/28(土) 14:26:01.58

前髪の挙動はどうなんのよ
srcの前髪が揺れを再現したりするの？　イメージわかない

2020/03/28(土) 17:14:17.05

>>63
外出中だからID変わってると思うが

機会があればやってみて
whole faceの使用報告が少なくて、使ったらどうなったっていう事例は自分も知りたい

2020/03/28(土) 17:28:12.25

>>64
dstの前髪の動きまで再現するかについては正直まだわかってない
自分のデータで見えてる現象は、convert後の動画に前髪の動きはほとんどない

ただ自分のデータはsrcの顔もdstの顔も、もともと前髪の動きがない
だから今のデータだと>>64の疑問は確認できない気がする

2020/03/28(土) 17:35:09.27

whole faceでの前髪交換については↓が気になってる
①srcに複数の前髪形状(右流し、左流し、ぱっつん、デコ出し)の顔を設定した場合、convert後にどの前髪が再現されるのか
②dstの前髪形状に依存してconvert後の前髪が生成されるのか、dstの前髪形状とは関係なく生成されるされるのか

自分でも機会があれば試すつもりだけど、もし分かった人がいたら教えてほしい

2020/03/28(土) 17:35:25.06

facetype.mouth

2020/03/29(日) 11:45:32.71

顔に立体感が出ない時はGANとかで詳細を学習させればいいのかね？
merge後の顔がどうものっぺりというか平面的というか人間味がないんだよな
陰影とか部位ごとの細かな色の違いがない気がするんだよな

2020/03/29(日) 12:55:21.58

trainが動かない時、バッチ数を下げると動きだすが、GANもそういう事があるようだ
GAN 1.0で動き出さないから0.5にしてみたら動いた

2020/03/29(日) 16:14:30.59

>>69
大幅に変わるものでもないけど
GANで少しは改善するかも

2020/03/30(月) 00:35:27.38

口の動きを細かく追従させようと思ったらインタビュー映像とかを高fpsで切り取らないとだめ？
喋るシーンで腹話術状態に陥ってるんだけど

2020/03/30(月) 15:46:08.43

笑顔でほぼ動きないのとかオールカットだぞ

2020/03/30(月) 15:49:45.95

最初のインタビューまで再現したいのかよｗ

2020/03/30(月) 15:58:26.47

「オナニーは毎日してます」とか言ってるdstなら分からんでもないｗ

2020/03/30(月) 18:56:42.79

5fpsぐらいである程度入れておけばなんとかなるよ
dstとの相性もあるのかもしれないが

2020/03/30(月) 19:59:51.31

最近始めたんだけど、DFはデータの水増しとかできるのか疑問です。

2020/03/30(月) 20:39:22.15

俺はこう、ギリギリあり得そうなリアリティのある部分の方が脳が本人だと錯覚するタイプなんだｗ
後は会話シーン再現できたら感動しそうだなとｗ

2020/03/30(月) 20:40:41.42

>>76
サンキュー
目安5fpsぐらいでsrcの会話シーンを連続的にextractしてみる

2020/03/30(月) 23:19:16.55

xsegが拡張されて、fanseg削除になったみたいだけど
実際試してみないと使い勝手が分かんないな

2020/03/30(月) 23:22:48.76

== 2020年3月30日==

新しいスクリプト：

5.XSeg) data_dst/src mask for XSeg trainer - fetch.bat
XSegポリゴンを含む面を、aligned_xseg \ dirにコピーします。

ラベルの付いた顔を収集して他の偽物で再利用する場合にのみ役立ちます。

これで、SAEHDトレーニングプロセスでトレーニング済みのXSegマスクを使用できます。

これは、ランドマークから取得されたデフォルトの「full_face」マスクが、トレーニングされたXSegモデルから取得されたマスクで置き換えられることを意味します。

使用する

5.XSeg.optional）data_dst / data_srcのトレーニング済みマスク-apply.bat

5.XSeg.optional）data_dst / data_srcのトレーニング済みマスク-remove.bat

通常は必要ありません。障害物で 'face_style'と 'bg_style'を使用したい場合は、これを使用できます。

XSegトレーナー：顔のタイプを選択できるようになりました

XSegトレーナー：「オーバーライド設定」でトレーニングを再開できるようになりました

合併：XSeg- *モードをすべてのタイプの面で使用できるようになりました。

したがって、古いMaskEditor、FANSEGモデル、およびFAN-xモードは削除されました。

新しいXSegソリューションの方が優れており、シンプルで便利です。通常のディープフェイクの手動マスキングは1時間だけです。

2020/03/31(火) 09:30:06.53

日記避けの意味無かったな

2020/03/31(火) 10:00:27.66

一週間ngに出来る

2020/03/31(火) 13:06:30.98

新しいソリューションとか望んでないんだよね
顔切り出しの精度を上げるとか
フェラとかキスの舌を認識するとか
基本をレベルアップさせてくれないと

2020/03/31(火) 17:29:20.02

言えてる、オレも顔認識の精度はもっと上げられると思う
前後のコマで認識してて、なんでこのコマを取りこぼすかな？とかあるもんね

2020/03/31(火) 21:22:29.81

マスクの精度上げるだけで質上がるからね
現状キツい角度は手動でもちゃんとランドマークしてくれないことが多い

2020/03/31(火) 22:37:26.38

そうだね、キツい角度と言っても人が見ればすぐ判別つくようなものでも、手動でうまく決まらなくてイライラする

2020/03/31(火) 22:38:37.87

途中で書き込んじゃった
前後のコマから判別するとかのアルゴリズムは入ってないのかな？と思うわ

2020/04/01(水) 06:35:16.47

mask editorをもっと手軽に行えるパッチがほしいわ　現状１コマ１コマ手動とか非現実的すぎる

2020/04/01(水) 10:00:04.29

確蟹
複数フレーム一括適用したい

2020/04/01(水) 19:43:39.07

マスクエディタはちんぷんかんぷんだな
元々フェラは全然作ってないけど、作ろうと思ったら大変そうだった
結局、以前書かれてたdst同士でtrainして下準備するって方法に落ち着いた
https://i.imgur.com/qw7Bsn9.jpg

2020/04/01(水) 20:45:29.36

whole faceやってみたいけど、
liaechを使いたいがために03.07.2020バージョンで止まってて手が出ねえ

2020/04/02(木) 21:01:33.07

0330版でwhole_faceである必要がなくなったけど
XSeg trainでface typeがwfになってしまうので以下

Model_XSegのmodel.py 25行目のwfをfに変更
\workspace\modelにXSeg_default_options.datがある場合は削除

2020/04/03(金) 01:47:31.34

>>93
ほんとだバグってんね
ナイス情報

fanseg消えてしまうってんでなかなか試せずにいたけど
並行環境で試してみたら結構良いねこれ

マスクエディターは変な重さは無くなって比較的扱いやすい
dstもsrcもそれぞれ公式にxsegトレーニングが簡単に出来るのもいい

後はこのトレーニングしたモデルがどの程度汎用性あるのかだな
一度一通り学習出来たものがあれば、dst変えても以前のfansegレベルに機能するのかどうか
この辺を試していきたい

2020/04/03(金) 02:37:22.31

試していきたいって黙ってやればいいだろ
いちいち表明するんじゃねえ

2020/04/03(金) 15:40:50.04

ワッチョイの7e-がガイジなんだからNGするだけだろ

2020/04/03(金) 20:54:30.14

今週の日記
ﾜｯﾁｮｲW 037e-p0ll
ﾜｯﾁｮｲ 55ac-/I61

2020/04/04(土) 02:10:14.45

mask editorだけどマウス右クリでカットしたあとeでセーブ推して次のフレームいってそこからｒとe交互にずっと最後まで押してるけどもっとスピードアップできないものか

2020/04/04(土) 14:41:23.87

頭丸ごと交換キター！
これは面白そう