少し試してみました。

自分の環境だと、set enc=utf-8 だと tenc が japan, utf-8どちらも問題ないですが、
set enc=japan だと tenc の値に関わらず化けますた。