Windows版のみ修正で20.1.1がリリースされる可能性
https://github.com/jp9000/obs-studio/releases/tag/20.1.1

20.1.1 Hotfix Changes (Windows only)
------------------------------------
* Made a workaround for an issue with new AMD GPU drivers (ReLive 17.10+) that would prevent the AMD encoder from starting up

20.1.1修正プログラムの変更点（Windowsのみ）
------------------------------------
* AMDエンコーダの起動を妨げる新しいAMD GPUドライバ（ReLive 17.10）の問題


AMDでのGPUハードエンコ機能と最新GPUドライバとの問題のようだ
使ってる人は20.1.1がリリースされるまで待つのが吉