デスクトップは「デスクトップ」という名のフォルダの内容を表示してるわけで
エクスプローラーでフォルダの中を見ているのと同じこと。
ファイルが多ければそれだけ再描写に時間が掛かるよ。