XsegTrain のソースを少し見ていてわかったんだけど
alignedフォルダ内に手書きポリゴンを設定した画像が一枚も場合、代わりに学習済みモデルからApplyされたマスク形状からTrainするようになってる
何の為の実装なのかわからないけど、例えばXsegGenericからApplyした後、Editorで目視確認して精度のいいフレームだけ集めて再Trainすると厳しい画角のマスクが安定するよ