「俺に～をやめる事は出来ない」ってのは好きすぎて自分の意思ではそうする事が出来なかった心情をあらわすのにちょうどいい言い回しだから使い方が分からない人にはおかしな日本語にしか見えないんだろうね
「は」等ではなくあえて「に」を使うところが心情を強調してて面白いんだけど
そんなんやめたらええやんｗみたいなやめる事が他者から見て簡単なものであればあるほどこの「に」が意味を持って文章として面白くなる