気づかないうちにその四十路男の気に障ることやらかしたんじゃねーの？
やった側は大したことないと思っていても
やられた側からみればめっちゃムカつくことってよくある話だし。
なんなら相手に理由でも聞いてみたら？