なんかルータがすごく怪しい気がする。
適切な設定しないで自宅鯖たてたりP2Pで客がいっぱい来ると、ルータ内のキャッシュが溜まるってそんな動作するわ。

機材名わかんないからどこか判らないけど、
DHCPアドレスのリース時間とかTCP/UDPのタイムアウトいじれば直りそうな気もするな。
違ってたらごめんお