dstxdstをどこまでやるかは、人それぞれでしょう
プレビュー画面見ながら自分で判断するしかない
場合によっては、一度その状態でmargeして、仕上がり具合を見る
このタイミングで、dstの顔で違和感なく動画が作成できるなら良しとするのもアリ

srcのaligned画像を入れ替える時は、dstの画像は全て削除