おそらく異なるビット深度で比較しているからエラーが出るのかと。
入力の時点でビット深度を揃えた方がよさそう。
ffmpeg.exe -f lavfi -i movie=yuv420p.mp4,format=yuv444p16le -f lavfi -i movie=yuv420p10le.mp4,format=yuv444p16le -filter_complex "ssim" -an -f null -

けどこういう意見もある
ffmpeg フレームごとのSSIMをリアルタイムで表示してみる - 脳内メモ(アドレスが貼れない
今のところffmpegのssimフィルタは8bit/チャンネルのフォーマットのみ対応で10bitや16bitは内部で8bitフォーマットに変換されてから計算されます。もっとも10bitの末尾2bit分の違いで現れる数値に意味があるかは疑問ではあります。