私の場合、寺院のバッジを取ってから行って取り逃したことがないので確実なことは言えないのですが、
場所はお分かりでしょうが、念のため確認すると、
マップ背景をオンにすれば分かる通路の近くに行くとアンバーハルクが出てきて通路が開くんですが、
通路の開通前に通路に近づかずに通路の奥に行こうとしていませんか？