【人工知能】「AIがなぜ誤診」、患者に説明できない恐れも ブラックボックス化で、総務省研究所が報告書公表［07/20］
■ このスレッドは過去ログ倉庫に格納されています
総務省情報通信政策研究所は、AIのネットワーク化に関する報告書を公表した。
有識者会議が取りまとめたもので、医療診断などで想定される便益や課題を提示。AIの誤診で患者の症状が悪化した場合、
ブラックボックス化されていて判断の経緯などを説明できないと、
患者やその家族らの理解が得られない恐れがあることを挙げている。
この報告書は、「AIネットワーク社会推進会議」（議長＝須藤修・東大大学院情報学環教授）が取りまとめたもので、
さまざまな分野でAIが活用されることを想定し、
AIのネットワーク化が社会・経済にもたらす影響の評価を行った上で課題を整理した。
医療診断については、AIによる画像診断で病気の早期発見や見落としの改善につながるほか、
医師の負担が軽減されることを指摘。遠隔診断で専門医のいない地域でも適切な診断を受けられるようになり、
「医師不足・偏在などの問題の解決に貢献できるようになる」と予測している。
その一方で、想定される課題も挙げている。AIの誤診によって適切な治療が行われず、患者の症状が悪化した場合、
「なぜ誤診したのか、AIがどのような判断をしたのか説明できないと、
患者や家族などの理解が得られない恐れがある」としている。
また、AIがハッキングの被害に遭い、患者の医療データが流出するケースも想定。
ネットワークを介して他のAIシステムとデータが共有されたり、
さまざまなデータが統合されたりすることで個人が特定され、重大なプライバシーの侵害につながる恐れがあるとしている。
https://www.cbnews.jp/20180720/20180719ai001.jpg
https://www.cbnews.jp/news/entry/20180719200753 多発性硬化症を精神疾患と決めつけて、専門医でもないのに向精神薬のませたあの女医は許さん。 >>127
> 症例の少ない病気は見落としというか候補として上がってこない可能性もありそうだな
人間の医者の方がそういう可能性が高い
何百万もある症例を覚えて目の前の患者に適用するとかもはや人間業じゃないところまで来ている
なので>>143みたいな事例がちょくちょく発生してしまう
AIで可能性を絞り込んで人間が確定判断するってこと >>151
今でもやってるだろ
５年生存率とか聞いたこともないのか？ 日本がやらなくても他の国が先にやる
AIを使って在宅で24時間いつでも診断してくれるようになる コンピュータは単に機械学習で得られた重み付け関数を使って各症例をフィルタリングしてるだけであり、診断してるつもりもないし患者を助けるとか助けないとかそういうレベルの判断などしていない。だから誤診の概念すら存在しない。 パーセプトロンの値が人間には理解できないのだから
どんな結果を出すのかも実はわからない AIに患者を丸め込む技術を持たせると危険なんだろうなとは思う
医療は犯罪業界だからね AIの将棋見てるとわかるけど、AIが打った手を
人間が理解できない。今までの常識では悪手
だったりする。
でも最終的にはAIが勝ってる。
AIは理屈は説明できないから、理屈を求める
ような使い方には向いてないと思われ 医者ぶっ潰せられればなんでもいいわ。ざまあネトウヨ。 >>180
人間が納得するような説明を解として与えて、学習させればいい。
真実かどうかは、置いておけばいい。
＞「なぜ誤診したのか、AIがどのような判断をしたのか説明できないと、
＞患者や家族などの理解が得られない恐れがある」としている。
予め
「AIはこう言ってますが従いますか？」
「誤診の場合も説明できないことが有ります」
「統計的にはAIの誤診率ｘｘ、人間の誤診率はｘｘです」
「どうしますか？」
これで了解取れば良し。
AIを導入している医療機関でAIを診断に使い、
AI診断に従わず、人間の判断に従ってそれが誤診だった場合、
きっと
「なんでAI診断に従わなかったんだ？」
って話が出て来る。
だからAI診断を導入した医療機関は、どっち道、患者の意思確認の必要がある。
患者サイドに、
AIと人間の見解が異った場合、AI診断に従うか人間の判断に従うか？
の確認。
>>186
AIの方が正確性で上回ってるならAIが誤診しても許すわ
細かい事は置いておいて、まずAI使って他国を先んじた方が良いよ AI 導入を患者に公表しろという法律なんざないわな。 AIで症例探して、医師が判断すればいいだろ、
医師の経験ってのが怖いんだよ AIがどのような過程でそう結論づけたかぐらい記録として出せるだろ？ 現存のAIですらポンコツだからまず作って試す段階で考えてほしいなあ >>193
見ても人間には意味わからんと思うぞ
将棋囲碁チェスとかのソフトの評価関数見て計算過程を
理解できる人は一人もいないことから御察し
患者「この大量の数字と数式はどういう意味ですか？」
医者「わかりません」
こうなるだけ 人間の医師であっても誤診は一定の確率で不可避であるし、完成途上のAIにだけ無謬を求めるのはナンセンス。
ヒューマンエラーの場合はエラーの原因を突き止めて、責任追及したり、診療の精度を向上させることが出来る。
ところがデープラーニングのAIでは結論に至る過程の検証が出来ない。
例えばAIによる誤診の確率が人間の医師による誤診の確率の1/1000であるにもかかわらず
誤診が起こったならば、客観的には運がなかった諦めろだが、当事者としては納得できないだろうな。 どんなに計算能力が高くても、ただしい原因要素の定義と正しい原理がないなら
入力に対する出力は要因そのものが間違いなら嘘の結果になるのは
数学的に証明されている。
計算能力が高いとAIというニューラルネットワークが完璧なら、要素要因が眉唾でも
結果がだせるとかマヌケかアホの思考だよ。
地球の天気予測するの金星のデータから算出していたらまったくデタラメになるよな？
正しい要素数と正しいデータ精度とが絡みあってこその正しい予測に近づける、
それは決して計算量やら大規模な情報処理ではない、
合理化したセンサー数とその計り方が間違っているなら天気予報のスパコンがどんなに増強しても結果が
改善されないのと同じだ。 ニューラルネットワークはデータ評価手法、AIを実現する方法のひとつだから、いろいろな実装で正しく使われてるよ。
あんたのいう完璧がなんだか知らんけどw
使ってみなよ、AI。 >>198
正しくという単語が理解できていないんじゃない？
正しいとは誰が正しいか、それは主観的であってお前が正しいとおもえば正しいということだ
学習とは学習が目的の結果と常に一致するわけじゃない、学習が正しくても
主観的な正しさのほうが間違って教師信号を出せば学習させる側の裁量で銅にでもなる部分な
なんかAIの手法が万能のように思い込みしているようだけど、ちがったらごめんなｗ
それどっかで読んだ知識だけで現実に実装したことがないような素人の言い訳な、 >>193
今流行りのdeep learning系AIはそれが無理なのよ まず人間の医者が誤診なんてほとんど揉み消し
何すっとぼけてんだと >>199
仕様があってその手順で動いていればただしい。
その結果が意図通りなのかどうかは知らん。使い方次第。
使ってみなよ、AI。
もう十分触ってて動作もどのように運用したらいいのかも
知ってるならごめんなw
正直あんたが何に由来する知識でAIを語ってるんだか判らないんだわw
それで使ったことないんだろうなと思ってる。 >>202
お前のは使ってみなではなく動かしてみなだろ、
それは幻想にすぎない、使い方しだいで妄想をしているのと何の違いもない。
現実に意味があってこその道具であって、妄想の道具として動かしてみただけの自慢しているの？
学習は過去の評価にしか過ぎないんだよ、もっと勉強しよう、
未来への評価は学習ではないことぐらい理解できそうなんだが、
お勉強した教科書にはそんなこと書いてないから、ゆとり教育では勉強を超える
ことは教えてくれないのよ、おりこうさんでよかったね。 >>199
仕様があってその手順で動いていればただしい。
その結果が意図通りなのかどうかは知らん。使い方次第。
使ってみなよ、おちんちん。
もう十分触ってて動作もどのように運用したらいいのかも
知ってるならごめんなw
正直あんたが何に由来する知識でおちんちんを語ってるんだか判らないんだわw
それで使ったことないんだろうなと思ってる。 使えば全部わかるわけじゃないよ。
でもせめて使ってみればいいのにと思う。
AIは与えられた例に対して判断の道筋構築し、
さらにそれを検証することによって例に沿った
判断を磨いていくことができる。
ちなみに人の判断も完璧にただしいなんてのはない。
AIは人の例を追っていく、けど人が何を見て例示する
かは理解してない。だからAIは人の真似をAIなりの
ただしいロジックで実現してるだけだよ。
利用するだけというのが嫌なら、単純なパーセプトロンから
構築できるPythonのサンプルスクリプトつきの構築
例題の本も出てるからそういうのやってみたら。 >>204
バイブレーターをお題にしてもっといやらしく書いて欲しい。 AIの判断をそのまま受け入れず、人間のエゴ自分の判断も入れるから誤診につながるんじゃないの？ なんか勘違いしてる奴多いけど
AIが誤診することが問題じゃなくて、なぜ誤診したか答えられないことが問題なんだぞ 解析ロジックをチャート化して説明医が居ればいいんでない？ 病変写真と健全写真を何万枚もAIに見せてたら理由はわからないが
精度よく判別してくれるようになる
解析ロジックなんて存在しないチャート化も出来ない説明できる医者
もいない >>212
それを人間にわかりやすいロジックに落とし込むのさ >>215
それは無理
今時の機械学習って正解と不正解のデータをたくさん見せて、そこからコンピュータが
「自分で勝手に」何百万もルールを作って整合性が取れるようにする、という仕組みだから
機械が勝手に作った無数のルールの組み合わせを人間が理解するというのは無理なんです
数字の海に溺れるだけ
わかるのは結果と確率だけ 人間の誤診はブラックボックスどころではなく、それを故意に隠蔽、さらには虚偽の告知すらする 人間でも同じことできるし間違える経験に基づいての判断だし見た瞬間に答えは出てる
ロジックだの説明だのは思考と剥離した後付けの言い訳に過ぎない
そう考えるとAIと大差ないわなそこらの言い訳も大量に集めてDLさせるか 医学知識のない素人(AI)でもラーニングすれば病変の判断は出来るようになるが
間違った際の説明は出来ないよゴメンチャイってことよ >>216
生データ見てもそりゃ無理だ
AIが人間にわかるように単純化するということだけど？ >>219
少し違う、知識の無い素人と言うが今ある方程式を使ってないだけで独自に式を組んでいる、AIは充分に研究者だよ
ただ使う側がその式を取り出すのが下手なだけ >>221
下手呼ばわりは酷だな。
AIが吐き出した人工ニューロンを読み解くのは、
人間の脳のニューラルネットワークを見て、
その人の思考を読み解くのに等しい。 そもそも病気って100％近い精度で診断がつくこともあればそうでないこともある
95%の確率でこの診断なので70％の確率でこの薬が効果あるとか正確に伝えれば誤診も何もないだろし
AIはそういうのに向いてんのじゃないの？ >>223
日本語わからない研究者から日本人が理論を聞き取るって作業だな、今は回答を指差して教えて貰ってるけど 思考過程がブラックボックス化したAIから説明能力を持ったXAIへ。
知性の大半は説明不可能な「暗黙知」だろうが、ヒューマニックなAIを作ろうと思ったら、暗黙知だけでは十分ではない。
他者に対して思考のアルゴリズムを筋立てて説明できる能力を持っていないと人間的知性とは言えない。 そう思うわ
要約ができないと議論も意思伝達もできない
要不要は分からないけどその先に共感がある気がする >>226
困ったときは「なんとなく」「けっきょく」「ようするに」と言って説明を省こうとするAIならなんとか >>222
医者なんて似たような犯罪してるものだから
おのずと互助会状態になる >>1
HAL9000ですね？
高度なAIは自分を守るために誤診するようになるかもしれない
反AIの政治家や官僚を失脚させるために家族や後援会に影響が出るような誤診をするようになる 人間だってレントゲン写真を見せられて、なんだか変だという印象でもって
判断していないか？ AIというと新しく聞こえるけど、こんなん天気予報と一緒だろ
台風の進路予想図に対し、何故そういう予想結果が出たのか、ミクロレベルで
ロジックを一つ一つ追って解説できる気象予報士なんかこの世には居ない
でも別に誰も困らないじゃん
必要なのは、人間側がコンピューターから提示されたシミュレーションの結果を読み取り、
精度を理解した上で正しく運用すること。シミュレーションそのものがブラックボックスか
どうかなんて気にする必要はないよ >>215
君はディープラーニングについて何も知らないんだろうなぁっていう感想
一回でもまともにディープラーニング勉強したらわかるけどニューラルネットワーク自身は数字の塊だし、ネットワークが生成した特徴量を画像化してもとてもじゃないけど説明には使えないよ >>234
それはちょっと違う
天気予報がミクロレベルまで追えないのは技術力の限界であって
今のAIってのは「コンピュータが何考えてるかよくわかんないけどとりあえず正解してる」って言うこと ぶっちゃけ、AIが何考えてるかわかったらそれは人間レベルに過ぎないって
ことでもあるので、わからなくていい
はるかに意味不明を突き抜けていってくれ 知性というのは自分の考えていることを対象化してそれを客観的に、つまり他の知性にも理解できるように説明する能力のことだよ。
そういう能力がないただの関数を知性だなんて断じて認めない。
そう哲学者が言いました。 インプットの結果を出すだけなら高度(程度問題)な処理機ってだけで知性とは言えないなあ
知性＝自我 かどうかはわかんない >>233
AIに主義なんてない。
基本は正規分布を繰り返して磨いていくものだから直感というイメージとはむしろ逆。
使ってみれ。 天気予報をパターン認識させると的中精度が上がったらしい
非線形なりにもパターンがあるようだ 近未来の情報システム・噂程度の話・シンギュラリティ
https://matsuri.5ch.net/test/read.cgi/infosys/1533822662/
近未来の情報システムってどんな感じになるんだろう？
噂のシンギュラリティって来るの→来たらどうなるの？
我々の社会はどんな感じになるんだろうか？ 何故とかアホかｗ
AI研究者はそろそろカミングアウトしろよ予算獲得詐欺だって。
取り返しがつかんぞ。 >>242
たまたまいくつかの技術革新のタイミングが合ったからって、特別な意味なんかねーよ
カールツァイスだかカールワイスだか知らんが適当こきやがって >>240
数学の教科書にAIはむしろ数学の直感主義を復権させたと書かれてあったが・・・
AIはブラックボックス化されているから点と点をつなげる線のすべてが証明可能でなければならない公理主義に反しているのではないか？ >>1
人間の医師が誤診絶対しないならまあそれでええんちゃう
実際はアホAI以上に誤診してるけど >>234
インフォームドコンセントのために大金まで払う医療を
天気予報なんて誰も説明求めてない5分で終わるもので例えちゃう壊滅的なセンス >>250
AIができるのはいまのところそんなもの。
AIは医療を知らないからね。
どこかで、こういう症例とこういう薬の組み合わせに効果があったという
情報が増えればその療法を推奨することはできるけど、その根拠は数字
しかない。
それでAIがこれがいいんじゃないかとするものをトップ５つくらい挙げて、
そこから医師が吟味するならそれはそれで役立つと思うよ。 診断医療をleelaと同列に置く思考だわな
アフォカ まぁAIができるのはいまのところそんなもんだよ。
IBMが結構真面目に取り組んでいるけど、手放しでコンピュータに
取り込める臨床データの掬い上げもうまくいってないから、あまり
実効が出ていない。 医療は見当もつかないが自動運転システムは怖い
これは標識これは人と要素を見分けてはいるが、3D空間のしかも地面の上という制約なんぞは認識・組み込まれてないだろアレ >>254
あんたのいう要素がなんだか知らんが、人と病名、治療方法、薬剤の名前というところの区別もできないと思うよ。
AIが手元にある情報から自分で情報を分類整理して現実的社会的な知識を身に着けてお勉強してから分析を
始めると思っているなら大間違い。
「いま」のAIを実装を学ぼうよ。
ここの人らが夢想しているAIは、あと100年経ってもできないと言っている学者もいる。なぜなら単一の判断・傾向
操作を実現するパーセプトロンは脳細胞のワンセットの信号伝達を模したものだけど、人の細胞は分析できても、
どういう形で意味づけし、判断の材料になるからはいまだ判らない。そして脳のデータ構造は全体の0.3%もまだ
判っていない状況だからというよ。
本当に100年かかるのかわからんけどね。何億年人類の文明が続いてもいまでいうコンピュータやプログラムでは
できないかもしれないし、ちょっとした新しい実装でできるかもしれないし。 >>255
CUDA使うくらいには周辺知識あるんでそこらへんは気にせんといて ディープラーニングとか言うキャッチーなネーミングのせいなんだろうが、
多層パーセプトロンから本質的には何も変わってないのに大騒ぎしてて滑稽だわ。 AIも人間と同じ様に目の錯覚を起こすからね
AIを信じるか信じないかはあなた次第 病気って教科書通りの典型じゃないことも多いからなあ。
医学生が見たってすぐ判るようなのはAIだって判るだろうけど、合併してたり初期だったり末期だったりすると難しいよね >>259
判るわけがない。
AIを人型のSFロボットだと思ったのかな？
AIは学生がするような方法での勉強はできないんだよ。 AIと計算機を分けてみよう。
出力結果に一切の間違いを含まない仕事はAIの仕事ではなく計算機の仕事。
AIにそれを求めてはいけない。
AIが得意とするのはむしろ曖昧な入力情報を曖昧なままで処理して出力すること。
それは人間の脳に似ている。
人間もヒューマンエラーを出力するようにAIも同じなのだ。
計算機とAIを分けて考えたほうがいい。 >>247
あなたは数学と非数学の違いを考えているようだ。
こちらは数学の中における直感主義と公理主義の違いを考えている。 >>247
あなたは「統計学は厳密には数学ではない」という指摘をどう思うの？ 個々の事例において１＋１が２以外になる可能性も棄てていないのが統計学。
数学ではそういうことは許されない。
個々の事例すべてにおいて１＋１＝２になると構造的に決まったらそれ以外のことが一度も起こってはならない。
そういう厳密さを求めるのが数学。 とにかくこの手のAIは早く導入すべき。
最初は医者とAIのダブルチェックでも良いし。
医者が癌を見逃して進行したなんてニュースがどれ程あると思ってんだ。 患者「なんか熱っぽくて数週間直らないんですが・・・」
ＡＩ「風邪ですね」
→乳がん死亡多発 >>261
AIは人の脳とは全く違うよ。
どこのAIのこと考えてるの？
宇宙人？ >>265
AIだけ導入してもしょうがない。
機械的に読み込める検査と診断の対応が記されているような電子カルテの体制を作らないといけないけど、
いまだ電子カルテも自由メモで書いてるのが現状。
普段の医療の結果を並べてデータ化しないとどんなすごい解析ソフト使っても意味がないんだよ。それに、
集まってきたデータの片寄りや形式によって、分析用のプログラムだって書き換える必要がある。AIが先じゃない。 ■ このスレッドは過去ログ倉庫に格納されています
