ありがとうございます
シングルクォートを入れてもダメでした
その後色々と試してみて下記で上手くいきました
-i <input> -af apad=whole_dur=5\\:00 <output>

コロンの前にバックスラッシュを二つ入れてエスケープさせました
色々とヒントをいただきありがとうございます