mkvで音飛び対策できるなら、mkv形式にすればいい
現在の動画再生アプリはほとんどmkvに対応しているし
音声や字幕の切替もなんらmp4と変わることはない