AIというと新しく聞こえるけど、こんなん天気予報と一緒だろ
台風の進路予想図に対し、何故そういう予想結果が出たのか、ミクロレベルで
ロジックを一つ一つ追って解説できる気象予報士なんかこの世には居ない
でも別に誰も困らないじゃん

必要なのは、人間側がコンピューターから提示されたシミュレーションの結果を読み取り、
精度を理解した上で正しく運用すること。シミュレーションそのものがブラックボックスか
どうかなんて気にする必要はないよ