その子にしてみれば、あなたに育てられるよりも、浮気した妻の実家で育てられるほうが良いんじゃないの?