ありがとうございます。
ffmpeg -i input.wmv output.mp4 -crf 18
だとサイズ変わらなかったのでこのオプションじゃダメなのかと思ってたのですが
ffmpeg -i input.wmv -crf 18 output.mp4
こちらにすればいけました！数値を変えて色々試してみます！