古いファイルをコピーしても上書きですけどね。
同じフォルダに同じ名前のファイルを2個置くことは出来ないので、
同じ名前のファイルをコピーしようとすると、通常はWindowsが
「同じ名前のファイルが既にあります」みたいなダイアログを出してきて
どうするか確認されます。
そのままコピーする選択をすれば、元からそこにあったファイルは失われて
コピーしたほうのファイルに置き換えられる、これが上書き。

この場合のように、上書きする対象が実行ファイルの場合、
起動していると上書きできないので、終了させておくこと。