IMAPにあるフォルダの名前を変えたり削除するような設定は
どこかにあるのでしょうか？

アカウント名長押し→オプションとフォルダー→フォルダー、で
フォルダー一覧が出るけど、同期に関することしか選べません。