cuDNNはNVIDIAが別で配布しているライブラリ
ディープラーニング用のAPIが入ってる

waifu2xはほとんどの処理時間は
コンボリューションで、cuDNNに
含まれるAPIなので恐らく速くなるはず

caffeeの自前実装のコンボリューションが
鬼のように最適化されてたら変わらんかも
しれんが比較したことないので知らん