同一LAN内でしか使った事ないけど、異なるLANでもルーターの設定しなくてもTeamViewerでリモート接続できるんだよね??
ここから俺は勘違いしてる?

同一LAN内ならサーバー経由せずに直接やり取りできるのはわかりますが、
サーバー経由せずにどうやってルーター越えて、お互い直接やり取りできるのか謎です。

SIPを軽く見てみたけど先ながそう