16bitのビット深度で大きくボリュームを落とすならまだしも、普通に調整する程度ではビット落ちは気にしなくて良いでしょ
個人的には32bitで送り出してDACのデジタルアッテネーターでボリュームコントロールしているけど