ご近所の回線使用率がいっぱいで
その地域では夜のピークタイムに速度出ないんだと思うよ

やれることがあるとしたら
フレッツでOCNとかなら機器がIPoE使えるか確認して
ＮＵＲＯとかなら別の回線事業者に逃げることを検討するぐらいかな