ONU(終端装置)を再起動しないと変わらないと思う
ルーターより手前の機器がそれ
でもISPや回線の種類によっては半固定IPになっていたりする(NURO光とか)
この場合は動的に変わるのを待つしかない