一度試しに自分のフォント設定をする前にfontset-defaultに
(set-fontset-font "fontset-default" '(0 . #x3fff7f) "Arial")
とか設定してfallbackした時のフォント検索を減らしてみるといいかも
これだけでもHELLOは早くなるけど表示されない文字が多くてフォント設定したくなるよ