【人工知能】「AIがなぜ誤診」、患者に説明できない恐れも ブラックボックス化で、総務省研究所が報告書公表［07/20］
■ このスレッドは過去ログ倉庫に格納されています
総務省情報通信政策研究所は、AIのネットワーク化に関する報告書を公表した。
有識者会議が取りまとめたもので、医療診断などで想定される便益や課題を提示。AIの誤診で患者の症状が悪化した場合、
ブラックボックス化されていて判断の経緯などを説明できないと、
患者やその家族らの理解が得られない恐れがあることを挙げている。
この報告書は、「AIネットワーク社会推進会議」（議長＝須藤修・東大大学院情報学環教授）が取りまとめたもので、
さまざまな分野でAIが活用されることを想定し、
AIのネットワーク化が社会・経済にもたらす影響の評価を行った上で課題を整理した。
医療診断については、AIによる画像診断で病気の早期発見や見落としの改善につながるほか、
医師の負担が軽減されることを指摘。遠隔診断で専門医のいない地域でも適切な診断を受けられるようになり、
「医師不足・偏在などの問題の解決に貢献できるようになる」と予測している。
その一方で、想定される課題も挙げている。AIの誤診によって適切な治療が行われず、患者の症状が悪化した場合、
「なぜ誤診したのか、AIがどのような判断をしたのか説明できないと、
患者や家族などの理解が得られない恐れがある」としている。
また、AIがハッキングの被害に遭い、患者の医療データが流出するケースも想定。
ネットワークを介して他のAIシステムとデータが共有されたり、
さまざまなデータが統合されたりすることで個人が特定され、重大なプライバシーの侵害につながる恐れがあるとしている。
https://www.cbnews.jp/20180720/20180719ai001.jpg
https://www.cbnews.jp/news/entry/20180719200753 人間の誤診はブラックボックスどころではなく、それを故意に隠蔽、さらには虚偽の告知すらする 人間でも同じことできるし間違える経験に基づいての判断だし見た瞬間に答えは出てる
ロジックだの説明だのは思考と剥離した後付けの言い訳に過ぎない
そう考えるとAIと大差ないわなそこらの言い訳も大量に集めてDLさせるか 医学知識のない素人(AI)でもラーニングすれば病変の判断は出来るようになるが
間違った際の説明は出来ないよゴメンチャイってことよ >>216
生データ見てもそりゃ無理だ
AIが人間にわかるように単純化するということだけど？ >>219
少し違う、知識の無い素人と言うが今ある方程式を使ってないだけで独自に式を組んでいる、AIは充分に研究者だよ
ただ使う側がその式を取り出すのが下手なだけ >>221
下手呼ばわりは酷だな。
AIが吐き出した人工ニューロンを読み解くのは、
人間の脳のニューラルネットワークを見て、
その人の思考を読み解くのに等しい。 そもそも病気って100％近い精度で診断がつくこともあればそうでないこともある
95%の確率でこの診断なので70％の確率でこの薬が効果あるとか正確に伝えれば誤診も何もないだろし
AIはそういうのに向いてんのじゃないの？ >>223
日本語わからない研究者から日本人が理論を聞き取るって作業だな、今は回答を指差して教えて貰ってるけど 思考過程がブラックボックス化したAIから説明能力を持ったXAIへ。
知性の大半は説明不可能な「暗黙知」だろうが、ヒューマニックなAIを作ろうと思ったら、暗黙知だけでは十分ではない。
他者に対して思考のアルゴリズムを筋立てて説明できる能力を持っていないと人間的知性とは言えない。 そう思うわ
要約ができないと議論も意思伝達もできない
要不要は分からないけどその先に共感がある気がする >>226
困ったときは「なんとなく」「けっきょく」「ようするに」と言って説明を省こうとするAIならなんとか >>222
医者なんて似たような犯罪してるものだから
おのずと互助会状態になる >>1
HAL9000ですね？
高度なAIは自分を守るために誤診するようになるかもしれない
反AIの政治家や官僚を失脚させるために家族や後援会に影響が出るような誤診をするようになる 人間だってレントゲン写真を見せられて、なんだか変だという印象でもって
判断していないか？ AIというと新しく聞こえるけど、こんなん天気予報と一緒だろ
台風の進路予想図に対し、何故そういう予想結果が出たのか、ミクロレベルで
ロジックを一つ一つ追って解説できる気象予報士なんかこの世には居ない
でも別に誰も困らないじゃん
必要なのは、人間側がコンピューターから提示されたシミュレーションの結果を読み取り、
精度を理解した上で正しく運用すること。シミュレーションそのものがブラックボックスか
どうかなんて気にする必要はないよ >>215
君はディープラーニングについて何も知らないんだろうなぁっていう感想
一回でもまともにディープラーニング勉強したらわかるけどニューラルネットワーク自身は数字の塊だし、ネットワークが生成した特徴量を画像化してもとてもじゃないけど説明には使えないよ >>234
それはちょっと違う
天気予報がミクロレベルまで追えないのは技術力の限界であって
今のAIってのは「コンピュータが何考えてるかよくわかんないけどとりあえず正解してる」って言うこと ぶっちゃけ、AIが何考えてるかわかったらそれは人間レベルに過ぎないって
ことでもあるので、わからなくていい
はるかに意味不明を突き抜けていってくれ 知性というのは自分の考えていることを対象化してそれを客観的に、つまり他の知性にも理解できるように説明する能力のことだよ。
そういう能力がないただの関数を知性だなんて断じて認めない。
そう哲学者が言いました。 インプットの結果を出すだけなら高度(程度問題)な処理機ってだけで知性とは言えないなあ
知性＝自我 かどうかはわかんない >>233
AIに主義なんてない。
基本は正規分布を繰り返して磨いていくものだから直感というイメージとはむしろ逆。
使ってみれ。 天気予報をパターン認識させると的中精度が上がったらしい
非線形なりにもパターンがあるようだ 近未来の情報システム・噂程度の話・シンギュラリティ
https://matsuri.5ch.net/test/read.cgi/infosys/1533822662/
近未来の情報システムってどんな感じになるんだろう？
噂のシンギュラリティって来るの→来たらどうなるの？
我々の社会はどんな感じになるんだろうか？ 何故とかアホかｗ
AI研究者はそろそろカミングアウトしろよ予算獲得詐欺だって。
取り返しがつかんぞ。 >>242
たまたまいくつかの技術革新のタイミングが合ったからって、特別な意味なんかねーよ
カールツァイスだかカールワイスだか知らんが適当こきやがって >>240
数学の教科書にAIはむしろ数学の直感主義を復権させたと書かれてあったが・・・
AIはブラックボックス化されているから点と点をつなげる線のすべてが証明可能でなければならない公理主義に反しているのではないか？ >>1
人間の医師が誤診絶対しないならまあそれでええんちゃう
実際はアホAI以上に誤診してるけど >>234
インフォームドコンセントのために大金まで払う医療を
天気予報なんて誰も説明求めてない5分で終わるもので例えちゃう壊滅的なセンス >>250
AIができるのはいまのところそんなもの。
AIは医療を知らないからね。
どこかで、こういう症例とこういう薬の組み合わせに効果があったという
情報が増えればその療法を推奨することはできるけど、その根拠は数字
しかない。
それでAIがこれがいいんじゃないかとするものをトップ５つくらい挙げて、
そこから医師が吟味するならそれはそれで役立つと思うよ。 診断医療をleelaと同列に置く思考だわな
アフォカ まぁAIができるのはいまのところそんなもんだよ。
IBMが結構真面目に取り組んでいるけど、手放しでコンピュータに
取り込める臨床データの掬い上げもうまくいってないから、あまり
実効が出ていない。 医療は見当もつかないが自動運転システムは怖い
これは標識これは人と要素を見分けてはいるが、3D空間のしかも地面の上という制約なんぞは認識・組み込まれてないだろアレ >>254
あんたのいう要素がなんだか知らんが、人と病名、治療方法、薬剤の名前というところの区別もできないと思うよ。
AIが手元にある情報から自分で情報を分類整理して現実的社会的な知識を身に着けてお勉強してから分析を
始めると思っているなら大間違い。
「いま」のAIを実装を学ぼうよ。
ここの人らが夢想しているAIは、あと100年経ってもできないと言っている学者もいる。なぜなら単一の判断・傾向
操作を実現するパーセプトロンは脳細胞のワンセットの信号伝達を模したものだけど、人の細胞は分析できても、
どういう形で意味づけし、判断の材料になるからはいまだ判らない。そして脳のデータ構造は全体の0.3%もまだ
判っていない状況だからというよ。
本当に100年かかるのかわからんけどね。何億年人類の文明が続いてもいまでいうコンピュータやプログラムでは
できないかもしれないし、ちょっとした新しい実装でできるかもしれないし。 >>255
CUDA使うくらいには周辺知識あるんでそこらへんは気にせんといて ディープラーニングとか言うキャッチーなネーミングのせいなんだろうが、
多層パーセプトロンから本質的には何も変わってないのに大騒ぎしてて滑稽だわ。 AIも人間と同じ様に目の錯覚を起こすからね
AIを信じるか信じないかはあなた次第 病気って教科書通りの典型じゃないことも多いからなあ。
医学生が見たってすぐ判るようなのはAIだって判るだろうけど、合併してたり初期だったり末期だったりすると難しいよね >>259
判るわけがない。
AIを人型のSFロボットだと思ったのかな？
AIは学生がするような方法での勉強はできないんだよ。 AIと計算機を分けてみよう。
出力結果に一切の間違いを含まない仕事はAIの仕事ではなく計算機の仕事。
AIにそれを求めてはいけない。
AIが得意とするのはむしろ曖昧な入力情報を曖昧なままで処理して出力すること。
それは人間の脳に似ている。
人間もヒューマンエラーを出力するようにAIも同じなのだ。
計算機とAIを分けて考えたほうがいい。 >>247
あなたは数学と非数学の違いを考えているようだ。
こちらは数学の中における直感主義と公理主義の違いを考えている。 >>247
あなたは「統計学は厳密には数学ではない」という指摘をどう思うの？ 個々の事例において１＋１が２以外になる可能性も棄てていないのが統計学。
数学ではそういうことは許されない。
個々の事例すべてにおいて１＋１＝２になると構造的に決まったらそれ以外のことが一度も起こってはならない。
そういう厳密さを求めるのが数学。 とにかくこの手のAIは早く導入すべき。
最初は医者とAIのダブルチェックでも良いし。
医者が癌を見逃して進行したなんてニュースがどれ程あると思ってんだ。 患者「なんか熱っぽくて数週間直らないんですが・・・」
ＡＩ「風邪ですね」
→乳がん死亡多発 >>261
AIは人の脳とは全く違うよ。
どこのAIのこと考えてるの？
宇宙人？ >>265
AIだけ導入してもしょうがない。
機械的に読み込める検査と診断の対応が記されているような電子カルテの体制を作らないといけないけど、
いまだ電子カルテも自由メモで書いてるのが現状。
普段の医療の結果を並べてデータ化しないとどんなすごい解析ソフト使っても意味がないんだよ。それに、
集まってきたデータの片寄りや形式によって、分析用のプログラムだって書き換える必要がある。AIが先じゃない。 >>269
分析の方法の一つであって性能は関係ない。いまのAIはね。 風邪の確率 70％
インフルエンザの確率 10％
肺炎の確率 5％
はしかの確率 5％
その他 10％ 役人を入れるとみんなこういう発想になってぽしゃるんだよな
日本人にAIは無理だよ 最近の医療はマニュアル化されている。
医師がパソコンに向かって診察する。
パソコンを見ながら患者にマニュアルどおりに
一定の質問に答えてもらったり
患者の訴える症状にそって決定木を辿っていく。
このときに患者が適切に自らの症状を訴えられきれないと
誤診されてしまう可能性が高まる。
良い医者はここで直感・暗黙知を働かせてうまく患者が訴え損なっている
ツボに切り込んでいくのだが、医者は多くの患者を処理しているので
誤診率が0になることはない。
そもそも人間の体は複雑なので、精密検査をやっても確率でしか診断を下せない。
確率や統計というのはマクロの判断なので個々のケースでの完全性は期待できない。 いや、自己進化するのがAIであって、
入力しないと把握できないのはただの統計分析機だろ……
なんでもAIとか言うなと。
そもそも誤診が起きてしまうことを前提に動かないとダメなのは
人でも機械でも同じだろうに。
1つの誤診も許さないとか、医者へのプレッシャー半端ないな。 >>274
AIを何だと思ってるんだ。
夢のAIがいいなら今日から漢字変換ソフトも使わない方がいい。 ここでAIはこんなんじゃないって行ってる人は、
最近になってAIって分野を知った人なのかな？ 画像診断なら
このあたりがおかしい、くらいの指摘はできるだろ ＡＩが現在の人間の医者ならばなーんかおかしいと気がつくような誤診したとき医者になったときからＡＩが当たり前にあったＡＩネイティブな医者だとＡＩを信じ切ってしまい気がつかないのではないかという話があった
ＡＩの性能が上がると人間の医者の方にＡＩを補完する能力が求められることになりそうだけどそういう教育って可能？ 結局今までと同じ教育するだけ？
医者に限らず学校出ただけ資格取り立ての状態じゃ半人前以下で当たり前だろうけど初めからＡＩがある環境で経験を積む医者はＡＩ補完能力に関してそれ以前の世代の医者より上になると期待していいもの？ 逆なようにも思うが…？ >>1
まず誤診でしたって認めるだけ人間の医師よりいいわ
人間はまず認めないからな >>250
天気予報みる習慣がない人は結構いるようだけど加えてニュースもまったく見ない人？
台風は一発で伝染病なみに人殺したりするんだよ？ 連投ですんませんがもうひとつだけ
ＡＩつながりで自動運転に関しての(今のところは)ＳＦ的なアイデア？で
自動運転の貨物車の運転席に(平時は)座っているだけという仕事
実施的な仕事は事故を起こしたときに逮捕されること…というのがある
ＡＩ診断が人間の医者のそれより高精度になったら人間の医者はこの運転席に座っているのと同じポジションで生き残るハメにならないか >>279
少なくともAIを人と比較できる知能と思ってるあなたには
そういう判断はできないし、これならできるできないの想像も
できないと思う。
AIのこと言葉以上に理解してないだけだと思うから、判らない
もの想像を前提にして考える前にAIが何か知りなさい。 >>283
人より性能よくなってもその判断のやり方は人と違う。
機械は責任とれないし。
その調子でもの考えてると現実見失うハメになるよw >>285
いやだから機械のかわりに責任をとるのが人間の仕事ってことにならないかって話なんだけど？
一文目については>>279
人より高性能なＡＩ診断が初めからある時代の医者は人間ならではの診断力を磨くことができるのか？
むしろ現在の医者よりそういう能力が低くなりＡＩを補完する能力すら足りなくなったりしないかを心配してるんだよ >>284の方見逃してましたすんません>>286後段の通りです
診断的中率については比較できるわけだしむしろ他にどう比較するのかそれこそ数字で比較できない部分は言葉で比較するしか私は方法を知らない
ＡＩに詳しい人が他の比較方法を考えられるなら教えてほしい
囲碁ではＡＩと人間でどっちが強いかはやってみりゃわかる基本同じでしょ？
人間ならではの能力が期待されるって話だと>>286後段の通り
タッグで囲碁をやるとして囲碁のプロと囲碁のＡＩが組む方が囲碁のＡＩと囲碁のプロではないＡＩの専門家というコンビより確実に強いだろうけど
囲碁のプロのトップがＡＩばかりになってしまって人間のレベルが下がってしまった世界だとその限りにあらずかもしれない
私はＡＩについてはほとんど何も知らないのはおっしゃるとおりだけどあなたよりは問題の本質を理解していると思う違うと言うならどう違うのか教えてほしい 囲碁はルールと盤面の中で閉じた世界
医療は検診記録と疾病の関係すらフォーマットになってない世界
人のからだの調子は盤面のように升が刻まれているわけじゃない
他に何かまだ書かないと判らないかな
人と機械は違うんだよ
ゲームと医療は違うんだよ
データ現実は違うんだよ
そういうところを無自覚に錯誤してるからこそ自分の認識のどこがおかしいかもわからない状態なんじゃないのかな 手放しで本質を理解してると言ってるのもすごい。
いまのAIの実装触って100行くらいのデータ食わせて試してみなよ。
といってもやらんで自分の中で判ってると思い込んで終わるんだろうけど。 この板のAIはシンギュラリティに繋がるAIだからいま企業が使ってるAIと一緒にしてもらっては困るオマル >>290
シンギュラリティーなんてオカルトかSFのネタでしかない だってオカルトじゃん。
いまのAIを指して手放しでのんなの知能じゃないって言ってるんだからw このスレを見ると「ＡＩ」って言葉が、バカを集める笛として有効なのが理解できる ninngenndattegosinnsurudaro まぁだから説明する所で医者は必要
今ほどの物は求められないかもしれないが AIだろうが人間医師だろうが
誤診のフォロー体制こそが重要やろ
何故誤診？なんてのは別問題や 日本でこれから行われるのは
AI化ではなく
IT革命だからな 今までの診療データーの蓄積だから、
今までの診療が怪しい こういうのは単純にそれぞれ独立なシステムを複数作って
総合に間違いがないかを診断するような感じにしたほうがいいのかな AIは人間の補助だろ？
あくまでも画像解析の診断結果を推定するだけ
それを聞いて合理性を医者が判断する AIでも誤診あるのはしょうがないじゃん。
それを超えるメリットがあるなら導入すべきなんじゃない。
それに、それをチェックするのは人間の役割で最終的には人間が詳細な診断をして判断するものだろ。 >>5
診断の正確さが問題にされているんじゃないヨ。
誤診について原因究明が不能で
医療が一切に責任を取らなくてもいいということになれば
医療システムに対する信頼そのものが
崩壊するということが問題にされている。
極端な話、鼻風邪にAIが毒薬を処方したって、
「AI様がお決めになったことだから、何かしっかりした理由がある」
という強弁せざるを得なくなる。
AIがやることは検証不能だとなった場合、
それは実験と観察の追試によって神の光に近づこうとする
近代科学の精神の放棄だ・・・ >>7
ＡＩ自身もどうしてその答えになったか理解してるわけじゃないから説明できないよ。
強いて言えば「学習データから自然に導き出されました」と言うだけ。 AI が診断を確定する形にするからおかしなことになる
AI は「○○の可能性が高い」と指摘するだけにとどめておけばいい
あとは医者がそれをどう判断するか
その意見を採用してもいいし
採用しなくてもいいし
なんらかの決定を下す時の決定権は医師に持たせるとともに
責任も医師が持つようにすればいい 文系が噛み付く案件だな
0か100しか認めない文系
そんな彼らはポエム書いて悦に浸ってる >>288>>289
遅レスすんません
ＡＩ診断なんて人間とまともに比較できるレベルになったりしないから安心しろってことでいいんでしょうか？
だとしたらなんだってお役人も騒いでるんでしょう？
ていうか開発に大枚突っ込んでるんじゃないの？ >>307
それって何のSF？
AIが根拠なく誤った診断を出すことはあるとして考えないと
統計診断なんて無理だよ。期待されてる効果は短時間で定型的に
医師が見逃すかもしれない「疑い」を提示すること。
あなたはコンピュータの言うこと従ってりゃいい。
>>312
ねぇねぇ、なんでいまだ基幹電力に1wも貢献せず、町単位ごころか
番地単位で数日持つバッテリーもない状態で、かつ制御義務もない
自然電力発電にたいしてそのまま買い取りしてるのかな？
わかるかな？
瞬発的な発電量山ほどあるんだからむしろ事業所内の閉域で使った
方がいいのになんでそんなことするのかな？なんで何にも電気が
活かされてないところにお金出すのかな？
レベルを合わせ同期するのは人でも大変なんだよね。 何故誤診って答えられるかってんだ アホだからだろ
セックスお味も分からん奴に何できる >>314
312ですが正直何をおっしゃっているのかわかりません申し訳ありませんが私のレベルに合わせていただけませんか？
自然電力発電同様誤った政治判断で税金がムダに使われているってことでよろしいですか？ ■ このスレッドは過去ログ倉庫に格納されています
