【人工知能】「AIがなぜ誤診」、患者に説明できない恐れも ブラックボックス化で、総務省研究所が報告書公表［07/20］
■ このスレッドは過去ログ倉庫に格納されています
総務省情報通信政策研究所は、AIのネットワーク化に関する報告書を公表した。
有識者会議が取りまとめたもので、医療診断などで想定される便益や課題を提示。AIの誤診で患者の症状が悪化した場合、
ブラックボックス化されていて判断の経緯などを説明できないと、
患者やその家族らの理解が得られない恐れがあることを挙げている。
この報告書は、「AIネットワーク社会推進会議」（議長＝須藤修・東大大学院情報学環教授）が取りまとめたもので、
さまざまな分野でAIが活用されることを想定し、
AIのネットワーク化が社会・経済にもたらす影響の評価を行った上で課題を整理した。
医療診断については、AIによる画像診断で病気の早期発見や見落としの改善につながるほか、
医師の負担が軽減されることを指摘。遠隔診断で専門医のいない地域でも適切な診断を受けられるようになり、
「医師不足・偏在などの問題の解決に貢献できるようになる」と予測している。
その一方で、想定される課題も挙げている。AIの誤診によって適切な治療が行われず、患者の症状が悪化した場合、
「なぜ誤診したのか、AIがどのような判断をしたのか説明できないと、
患者や家族などの理解が得られない恐れがある」としている。
また、AIがハッキングの被害に遭い、患者の医療データが流出するケースも想定。
ネットワークを介して他のAIシステムとデータが共有されたり、
さまざまなデータが統合されたりすることで個人が特定され、重大なプライバシーの侵害につながる恐れがあるとしている。
https://www.cbnews.jp/20180720/20180719ai001.jpg
https://www.cbnews.jp/news/entry/20180719200753 誤診でもいいから、この病気の確率何%って上位3つくらい可能性出してくれるといいよね。 一緒に、生存率のパーセントや完治までの期間や費用いくらかかるまで表示 統計によるといまの時点でこの熱だとxxかもしれないんで、検査だけしてもらえるかな？
で、いいんじゃないの。 たしか、医者でも誤診ってめっちゃ多かったはずだぞ、 余命の確率も表示しよう
余命の可能性
あと1ヶ月 0.5%
あと3ヶ月 0.7%
あと半年 3%
あと1年 5% 誤診した理由なんて、そもそも医者にも答えられないだろ
知らなかった、気が付かなかった、とかそのくらいじゃね？
それ以上となると、病院の管理体制の問題になるし 自動運転の車が歩行者に突っ込んでも説明は出来ないんだな >>153
無数の情報を集めて結果を出すのと法規を守って目的地まで走行するのは全く違うぞ この手の診断支援aiの使い方ってのは
医師の診断→AIの診断の順でやるのよね
基本的には見落としの防止 >>77
Deep learningなんかはマジでブラックボックス >>156
論文にすらなっていないような相関関係から病名引っ張ってきてるかもしれないからな 診断の多重化で大きな誤り減らすという話以上に説明する意味あるの？
再検査の末に判らないならそこは宝の山かも知れない。
患者にはたまらないが。 AIが誤診と言ったって、ほっといたら発見されないのだから、発見する確率を上げる意味で
導入する意味はあるだろ。
医療も定期検診などは血液検査、MR、X線とその結果のAI診断でいいと思う。
医師が必要ある時は希望、AIでの推薦で受ければいい。
医療の質の向上と患者負担の軽減につながる、早期実現せよ。 問題はただの風邪だったりしたときに「ただの風邪に検査費用いくら使わせるんだよ！」
と言われてしまうところ AIに診断させて
別の監視専用のAIに誤診ないかを監視させればいい >>50
人が取る責任って何だ？
今じゃ、金払って終わりだろ
ＡＩもＡＩの使用者が賠償金払えば人間と同じだろ
謝罪が欲しいなら、ＡＩに謝罪のメッセージ出力させれば良い
改善策が欲しいなら、ＡＩに同一症例のデータの追加と、
何らかのバージョンアップで対応
ＡＩでもできるじゃないか
「ＡＩではどうするのか？」の改善のための問題的だけど、
「ＡＩにできるのか？」で阻止しようとするのは、
気にいらない、商売敵だ、がホンネの敵対排除行動 >>2
AIも、明らかな病気の兆候を見逃すことがあるんだよ。
ウーバーの自動運転事故と同じで、見逃しをゼロにしようとすると
何でもかんでも病気の可能性があるって通知してくるから
検出限界をわざと甘くしてる。
AIが見逃した患者は誰もチェックしない。 定期的に処方箋書くのは早く自動化して欲しい
通院せず薬局でいつでも受け取れるようになればいいのに >>164
そりゃそうだろ。
学習蓄積だけでやると、この条件の場合は必ず該当する、
という条件は無視される。
でも、それは人が確認すればいい。AIがやるのは人が
気づかない部分を補填すればいい。
数十次元の正規化なんて難しいぞ。
線形計算じゃなくてもいいから、二次元の正規化って
やってみるといい。一次元目の表を見てここらとアタリ
つけて二次元目とやっていく。そうすると数学で習った
正規分布違って、ピークが二つになったり三つになったり。
そんなのを人の手でやるとサンプルの粒度がどんどん
落ちていき、結局実用にならないデータが残る。
頼むから一度やってみてくれ。それは定型的に人がやる
ことは無理なんだ。だから医療の世界で人が見てこの
条件ならこういう病気だろうという判断の外側に、別の
評定としてAIはあるべきだと思うよ。
ソラでどっちがいい、どっちはどうだからダメと言って
しょうがない。AIにも前提はあるし、昔ながらの医療でも
前提はあるんだよ。 >>165
いま複数の医療システムメーカーが、電子カルテと電子調剤システムの合流を目指して国とやりあってる。
その前に、保険適用の、でも診察を経ない調剤(調剤薬局が医院の代わりになる)を進めている。
たぶん、先に調剤薬局だけで保険適用の薬品を処方するのが先になる。
医院が使う電子カルテと調剤システムの合体はその次だと思う。 何か、医者の誤診なら理解が得られるような言い方やな。 多発性硬化症を精神疾患と決めつけて、専門医でもないのに向精神薬のませたあの女医は許さん。 >>127
> 症例の少ない病気は見落としというか候補として上がってこない可能性もありそうだな
人間の医者の方がそういう可能性が高い
何百万もある症例を覚えて目の前の患者に適用するとかもはや人間業じゃないところまで来ている
なので>>143みたいな事例がちょくちょく発生してしまう
AIで可能性を絞り込んで人間が確定判断するってこと >>151
今でもやってるだろ
５年生存率とか聞いたこともないのか？ 日本がやらなくても他の国が先にやる
AIを使って在宅で24時間いつでも診断してくれるようになる コンピュータは単に機械学習で得られた重み付け関数を使って各症例をフィルタリングしてるだけであり、診断してるつもりもないし患者を助けるとか助けないとかそういうレベルの判断などしていない。だから誤診の概念すら存在しない。 パーセプトロンの値が人間には理解できないのだから
どんな結果を出すのかも実はわからない AIに患者を丸め込む技術を持たせると危険なんだろうなとは思う
医療は犯罪業界だからね AIの将棋見てるとわかるけど、AIが打った手を
人間が理解できない。今までの常識では悪手
だったりする。
でも最終的にはAIが勝ってる。
AIは理屈は説明できないから、理屈を求める
ような使い方には向いてないと思われ 医者ぶっ潰せられればなんでもいいわ。ざまあネトウヨ。 >>180
人間が納得するような説明を解として与えて、学習させればいい。
真実かどうかは、置いておけばいい。
＞「なぜ誤診したのか、AIがどのような判断をしたのか説明できないと、
＞患者や家族などの理解が得られない恐れがある」としている。
予め
「AIはこう言ってますが従いますか？」
「誤診の場合も説明できないことが有ります」
「統計的にはAIの誤診率ｘｘ、人間の誤診率はｘｘです」
「どうしますか？」
これで了解取れば良し。
AIを導入している医療機関でAIを診断に使い、
AI診断に従わず、人間の判断に従ってそれが誤診だった場合、
きっと
「なんでAI診断に従わなかったんだ？」
って話が出て来る。
だからAI診断を導入した医療機関は、どっち道、患者の意思確認の必要がある。
患者サイドに、
AIと人間の見解が異った場合、AI診断に従うか人間の判断に従うか？
の確認。
>>186
AIの方が正確性で上回ってるならAIが誤診しても許すわ
細かい事は置いておいて、まずAI使って他国を先んじた方が良いよ AI 導入を患者に公表しろという法律なんざないわな。 AIで症例探して、医師が判断すればいいだろ、
医師の経験ってのが怖いんだよ AIがどのような過程でそう結論づけたかぐらい記録として出せるだろ？ 現存のAIですらポンコツだからまず作って試す段階で考えてほしいなあ >>193
見ても人間には意味わからんと思うぞ
将棋囲碁チェスとかのソフトの評価関数見て計算過程を
理解できる人は一人もいないことから御察し
患者「この大量の数字と数式はどういう意味ですか？」
医者「わかりません」
こうなるだけ 人間の医師であっても誤診は一定の確率で不可避であるし、完成途上のAIにだけ無謬を求めるのはナンセンス。
ヒューマンエラーの場合はエラーの原因を突き止めて、責任追及したり、診療の精度を向上させることが出来る。
ところがデープラーニングのAIでは結論に至る過程の検証が出来ない。
例えばAIによる誤診の確率が人間の医師による誤診の確率の1/1000であるにもかかわらず
誤診が起こったならば、客観的には運がなかった諦めろだが、当事者としては納得できないだろうな。 どんなに計算能力が高くても、ただしい原因要素の定義と正しい原理がないなら
入力に対する出力は要因そのものが間違いなら嘘の結果になるのは
数学的に証明されている。
計算能力が高いとAIというニューラルネットワークが完璧なら、要素要因が眉唾でも
結果がだせるとかマヌケかアホの思考だよ。
地球の天気予測するの金星のデータから算出していたらまったくデタラメになるよな？
正しい要素数と正しいデータ精度とが絡みあってこその正しい予測に近づける、
それは決して計算量やら大規模な情報処理ではない、
合理化したセンサー数とその計り方が間違っているなら天気予報のスパコンがどんなに増強しても結果が
改善されないのと同じだ。 ニューラルネットワークはデータ評価手法、AIを実現する方法のひとつだから、いろいろな実装で正しく使われてるよ。
あんたのいう完璧がなんだか知らんけどw
使ってみなよ、AI。 >>198
正しくという単語が理解できていないんじゃない？
正しいとは誰が正しいか、それは主観的であってお前が正しいとおもえば正しいということだ
学習とは学習が目的の結果と常に一致するわけじゃない、学習が正しくても
主観的な正しさのほうが間違って教師信号を出せば学習させる側の裁量で銅にでもなる部分な
なんかAIの手法が万能のように思い込みしているようだけど、ちがったらごめんなｗ
それどっかで読んだ知識だけで現実に実装したことがないような素人の言い訳な、 >>193
今流行りのdeep learning系AIはそれが無理なのよ まず人間の医者が誤診なんてほとんど揉み消し
何すっとぼけてんだと >>199
仕様があってその手順で動いていればただしい。
その結果が意図通りなのかどうかは知らん。使い方次第。
使ってみなよ、AI。
もう十分触ってて動作もどのように運用したらいいのかも
知ってるならごめんなw
正直あんたが何に由来する知識でAIを語ってるんだか判らないんだわw
それで使ったことないんだろうなと思ってる。 >>202
お前のは使ってみなではなく動かしてみなだろ、
それは幻想にすぎない、使い方しだいで妄想をしているのと何の違いもない。
現実に意味があってこその道具であって、妄想の道具として動かしてみただけの自慢しているの？
学習は過去の評価にしか過ぎないんだよ、もっと勉強しよう、
未来への評価は学習ではないことぐらい理解できそうなんだが、
お勉強した教科書にはそんなこと書いてないから、ゆとり教育では勉強を超える
ことは教えてくれないのよ、おりこうさんでよかったね。 >>199
仕様があってその手順で動いていればただしい。
その結果が意図通りなのかどうかは知らん。使い方次第。
使ってみなよ、おちんちん。
もう十分触ってて動作もどのように運用したらいいのかも
知ってるならごめんなw
正直あんたが何に由来する知識でおちんちんを語ってるんだか判らないんだわw
それで使ったことないんだろうなと思ってる。 使えば全部わかるわけじゃないよ。
でもせめて使ってみればいいのにと思う。
AIは与えられた例に対して判断の道筋構築し、
さらにそれを検証することによって例に沿った
判断を磨いていくことができる。
ちなみに人の判断も完璧にただしいなんてのはない。
AIは人の例を追っていく、けど人が何を見て例示する
かは理解してない。だからAIは人の真似をAIなりの
ただしいロジックで実現してるだけだよ。
利用するだけというのが嫌なら、単純なパーセプトロンから
構築できるPythonのサンプルスクリプトつきの構築
例題の本も出てるからそういうのやってみたら。 >>204
バイブレーターをお題にしてもっといやらしく書いて欲しい。 AIの判断をそのまま受け入れず、人間のエゴ自分の判断も入れるから誤診につながるんじゃないの？ なんか勘違いしてる奴多いけど
AIが誤診することが問題じゃなくて、なぜ誤診したか答えられないことが問題なんだぞ 解析ロジックをチャート化して説明医が居ればいいんでない？ 病変写真と健全写真を何万枚もAIに見せてたら理由はわからないが
精度よく判別してくれるようになる
解析ロジックなんて存在しないチャート化も出来ない説明できる医者
もいない >>212
それを人間にわかりやすいロジックに落とし込むのさ >>215
それは無理
今時の機械学習って正解と不正解のデータをたくさん見せて、そこからコンピュータが
「自分で勝手に」何百万もルールを作って整合性が取れるようにする、という仕組みだから
機械が勝手に作った無数のルールの組み合わせを人間が理解するというのは無理なんです
数字の海に溺れるだけ
わかるのは結果と確率だけ 人間の誤診はブラックボックスどころではなく、それを故意に隠蔽、さらには虚偽の告知すらする 人間でも同じことできるし間違える経験に基づいての判断だし見た瞬間に答えは出てる
ロジックだの説明だのは思考と剥離した後付けの言い訳に過ぎない
そう考えるとAIと大差ないわなそこらの言い訳も大量に集めてDLさせるか 医学知識のない素人(AI)でもラーニングすれば病変の判断は出来るようになるが
間違った際の説明は出来ないよゴメンチャイってことよ >>216
生データ見てもそりゃ無理だ
AIが人間にわかるように単純化するということだけど？ >>219
少し違う、知識の無い素人と言うが今ある方程式を使ってないだけで独自に式を組んでいる、AIは充分に研究者だよ
ただ使う側がその式を取り出すのが下手なだけ >>221
下手呼ばわりは酷だな。
AIが吐き出した人工ニューロンを読み解くのは、
人間の脳のニューラルネットワークを見て、
その人の思考を読み解くのに等しい。 そもそも病気って100％近い精度で診断がつくこともあればそうでないこともある
95%の確率でこの診断なので70％の確率でこの薬が効果あるとか正確に伝えれば誤診も何もないだろし
AIはそういうのに向いてんのじゃないの？ >>223
日本語わからない研究者から日本人が理論を聞き取るって作業だな、今は回答を指差して教えて貰ってるけど 思考過程がブラックボックス化したAIから説明能力を持ったXAIへ。
知性の大半は説明不可能な「暗黙知」だろうが、ヒューマニックなAIを作ろうと思ったら、暗黙知だけでは十分ではない。
他者に対して思考のアルゴリズムを筋立てて説明できる能力を持っていないと人間的知性とは言えない。 そう思うわ
要約ができないと議論も意思伝達もできない
要不要は分からないけどその先に共感がある気がする >>226
困ったときは「なんとなく」「けっきょく」「ようするに」と言って説明を省こうとするAIならなんとか >>222
医者なんて似たような犯罪してるものだから
おのずと互助会状態になる >>1
HAL9000ですね？
高度なAIは自分を守るために誤診するようになるかもしれない
反AIの政治家や官僚を失脚させるために家族や後援会に影響が出るような誤診をするようになる 人間だってレントゲン写真を見せられて、なんだか変だという印象でもって
判断していないか？ AIというと新しく聞こえるけど、こんなん天気予報と一緒だろ
台風の進路予想図に対し、何故そういう予想結果が出たのか、ミクロレベルで
ロジックを一つ一つ追って解説できる気象予報士なんかこの世には居ない
でも別に誰も困らないじゃん
必要なのは、人間側がコンピューターから提示されたシミュレーションの結果を読み取り、
精度を理解した上で正しく運用すること。シミュレーションそのものがブラックボックスか
どうかなんて気にする必要はないよ >>215
君はディープラーニングについて何も知らないんだろうなぁっていう感想
一回でもまともにディープラーニング勉強したらわかるけどニューラルネットワーク自身は数字の塊だし、ネットワークが生成した特徴量を画像化してもとてもじゃないけど説明には使えないよ >>234
それはちょっと違う
天気予報がミクロレベルまで追えないのは技術力の限界であって
今のAIってのは「コンピュータが何考えてるかよくわかんないけどとりあえず正解してる」って言うこと ぶっちゃけ、AIが何考えてるかわかったらそれは人間レベルに過ぎないって
ことでもあるので、わからなくていい
はるかに意味不明を突き抜けていってくれ 知性というのは自分の考えていることを対象化してそれを客観的に、つまり他の知性にも理解できるように説明する能力のことだよ。
そういう能力がないただの関数を知性だなんて断じて認めない。
そう哲学者が言いました。 インプットの結果を出すだけなら高度(程度問題)な処理機ってだけで知性とは言えないなあ
知性＝自我 かどうかはわかんない >>233
AIに主義なんてない。
基本は正規分布を繰り返して磨いていくものだから直感というイメージとはむしろ逆。
使ってみれ。 天気予報をパターン認識させると的中精度が上がったらしい
非線形なりにもパターンがあるようだ 近未来の情報システム・噂程度の話・シンギュラリティ
https://matsuri.5ch.net/test/read.cgi/infosys/1533822662/
近未来の情報システムってどんな感じになるんだろう？
噂のシンギュラリティって来るの→来たらどうなるの？
我々の社会はどんな感じになるんだろうか？ 何故とかアホかｗ
AI研究者はそろそろカミングアウトしろよ予算獲得詐欺だって。
取り返しがつかんぞ。 >>242
たまたまいくつかの技術革新のタイミングが合ったからって、特別な意味なんかねーよ
カールツァイスだかカールワイスだか知らんが適当こきやがって >>240
数学の教科書にAIはむしろ数学の直感主義を復権させたと書かれてあったが・・・
AIはブラックボックス化されているから点と点をつなげる線のすべてが証明可能でなければならない公理主義に反しているのではないか？ ■ このスレッドは過去ログ倉庫に格納されています
