Win標準の画像ビューワはこういう使い方に向いてない
エクスプローラのプレビューもかったるいから切っている
順送りより戻しが遅いのは先読みが効いてるからで
他のアプリ使っても同傾向になる

個人的には Hamana と Vix (サムネイルビュー) を使用
MS Office 中位以上パッケに入ってる Picture Manager もまあまあ
同種のソフトは無料でもたくさんあるから自分で選びなさい