単純な話だよ
違う世界線の記憶があるだけ
同じ時空(世界線)を通っていると仮定するから間違う