力技ですが自己解決はしました。※（）の数が足りていなかった…orz
もう少しスマートにいく方法があればご教示お願いいたします。

=IF(OR(H9="",IF(J9<H9,(J9+1-H9-"9:00")*24,(J9-H9-"9:00")*24)<=0.01),"",IF(J9<H9,(J9+1-H9-"9:00")*24,
(J9-H9-"9:00")*24)-("5:00"-MIN("5:00",H9)+MIN("29:00",J9)-MIN(MAX("22:00",H9),J9))*24))