小林よしのり氏、不倫が違法なら「わしは大犯罪者」