解決
/etc/mysql/mariadb.conf.d//etc/mysql/mariadb.conf.dの[mysqld]セクションに以下を追加
innodb_large_prefix = true
innodb_file_format = Barracuda

あとはnextcloudから消せない文字化けデータをデータベースから強制削除出来れば完璧かもしれない。