オリンピック憲章なんて読んだことない人が多いだろうから抜粋

オリンピック競技大会は IOC の独占的な資産であり、
IOC はオリンピック競技大会に関するすべての権利を所有する。
（注）この権利にはオリンピック競技大会の組織運営や、中継権なども含まれる

NOC は自律性を確保しなければならない。
また、 オリンピック憲章の遵守を妨げる恐れのある政治的、 法的、 宗教的、
経済的な圧力、 その他のいかなる種類の圧力にも対抗しなければならない。
（注）NOCとは各国のオリンピック委員会、日本ではJOC


つまり、開くも開かないもIOCが決めることだし
大会を開くか開かないかの政治的（つまり日本政府の）決定の圧力を
JOCは跳ねのけなければならないということにもなってる

まあもう少しわかりやすく言えば、IOCがやるといえば政府がクチ出すようなことじゃない