1. タスクバーにピン止めしたFirefoxのアイコンをクリックして起動
2. 複数のタブを開いたまま閉じる
3. タスクバーにピン止めしたFirefoxのアイコンを右クリックして「新しいプライベートウィンドウ」をクリック
4. プライベートウィンドウを開いたままタスクバーのプライベートウィンドウのアイコンを右クリックして「新しいタブ」をクリック
5. 2で開いていたタブが復元された状態で通常のウィンドウが開く

設定の「前回のウィンドウとタブを開く」はオフです。
5でタブが復元されないようにはできないでしょうか?