IMEで変換中のフォントが小さくなるのは
IMEで直接打てる「あ」から「ん」までのフォントセットのフォントを
set-fontset-fontで変更にしないようにすればいいんじゃね?
と思って試行錯誤した結果、「あ」のフォントだけデフォルトのままにしておけば
小さくならないことを発見した
なぜこうなるのかは分からん。。。

(set-fontset-font t `(0 . ,(- ?あ 1)) "Arial")
(set-fontset-font t `(,(+ ?あ 1) . #x3FFFFF) "Arial")

俺の環境だと全部Arialにした時のview-hello-fileは7秒だけど
これだと13秒くらいまで遅くなる
まあ何も対策しないと1分14秒かかるからだいぶマシ

誰かもっといい方法見つけてくれ
俺は限界。。。