ffmpegが用意したmp4コンテナの定義が元のファイルと違うから
それがファイルサイズに出てるのではないかと推測
再生してみたり、mediainfoとかで内容を確認してみたりして異常がなければ
多少のファイルサイズの違いなんて気にしなくて良いのでは？