質問お願いします

住所を実家に移したのですが分けあって引っ越しが直ぐには出来なくなり来年4月以降になりそうなのですが
証券会社に届けてある住所を今の場所のままだと税務署に目をつけれらますか?
特定源泉ありで今年の利益40万円ほどです。