【人工知能】「AIがなぜ誤診」、患者に説明できない恐れも ブラックボックス化で、総務省研究所が報告書公表［07/20］
■ このスレッドは過去ログ倉庫に格納されています
総務省情報通信政策研究所は、AIのネットワーク化に関する報告書を公表した。
有識者会議が取りまとめたもので、医療診断などで想定される便益や課題を提示。AIの誤診で患者の症状が悪化した場合、
ブラックボックス化されていて判断の経緯などを説明できないと、
患者やその家族らの理解が得られない恐れがあることを挙げている。
この報告書は、「AIネットワーク社会推進会議」（議長＝須藤修・東大大学院情報学環教授）が取りまとめたもので、
さまざまな分野でAIが活用されることを想定し、
AIのネットワーク化が社会・経済にもたらす影響の評価を行った上で課題を整理した。
医療診断については、AIによる画像診断で病気の早期発見や見落としの改善につながるほか、
医師の負担が軽減されることを指摘。遠隔診断で専門医のいない地域でも適切な診断を受けられるようになり、
「医師不足・偏在などの問題の解決に貢献できるようになる」と予測している。
その一方で、想定される課題も挙げている。AIの誤診によって適切な治療が行われず、患者の症状が悪化した場合、
「なぜ誤診したのか、AIがどのような判断をしたのか説明できないと、
患者や家族などの理解が得られない恐れがある」としている。
また、AIがハッキングの被害に遭い、患者の医療データが流出するケースも想定。
ネットワークを介して他のAIシステムとデータが共有されたり、
さまざまなデータが統合されたりすることで個人が特定され、重大なプライバシーの侵害につながる恐れがあるとしている。
https://www.cbnews.jp/20180720/20180719ai001.jpg
https://www.cbnews.jp/news/entry/20180719200753 現存のAIですらポンコツだからまず作って試す段階で考えてほしいなあ >>193
見ても人間には意味わからんと思うぞ
将棋囲碁チェスとかのソフトの評価関数見て計算過程を
理解できる人は一人もいないことから御察し
患者「この大量の数字と数式はどういう意味ですか？」
医者「わかりません」
こうなるだけ 人間の医師であっても誤診は一定の確率で不可避であるし、完成途上のAIにだけ無謬を求めるのはナンセンス。
ヒューマンエラーの場合はエラーの原因を突き止めて、責任追及したり、診療の精度を向上させることが出来る。
ところがデープラーニングのAIでは結論に至る過程の検証が出来ない。
例えばAIによる誤診の確率が人間の医師による誤診の確率の1/1000であるにもかかわらず
誤診が起こったならば、客観的には運がなかった諦めろだが、当事者としては納得できないだろうな。 どんなに計算能力が高くても、ただしい原因要素の定義と正しい原理がないなら
入力に対する出力は要因そのものが間違いなら嘘の結果になるのは
数学的に証明されている。
計算能力が高いとAIというニューラルネットワークが完璧なら、要素要因が眉唾でも
結果がだせるとかマヌケかアホの思考だよ。
地球の天気予測するの金星のデータから算出していたらまったくデタラメになるよな？
正しい要素数と正しいデータ精度とが絡みあってこその正しい予測に近づける、
それは決して計算量やら大規模な情報処理ではない、
合理化したセンサー数とその計り方が間違っているなら天気予報のスパコンがどんなに増強しても結果が
改善されないのと同じだ。 ニューラルネットワークはデータ評価手法、AIを実現する方法のひとつだから、いろいろな実装で正しく使われてるよ。
あんたのいう完璧がなんだか知らんけどw
使ってみなよ、AI。 >>198
正しくという単語が理解できていないんじゃない？
正しいとは誰が正しいか、それは主観的であってお前が正しいとおもえば正しいということだ
学習とは学習が目的の結果と常に一致するわけじゃない、学習が正しくても
主観的な正しさのほうが間違って教師信号を出せば学習させる側の裁量で銅にでもなる部分な
なんかAIの手法が万能のように思い込みしているようだけど、ちがったらごめんなｗ
それどっかで読んだ知識だけで現実に実装したことがないような素人の言い訳な、 >>193
今流行りのdeep learning系AIはそれが無理なのよ まず人間の医者が誤診なんてほとんど揉み消し
何すっとぼけてんだと >>199
仕様があってその手順で動いていればただしい。
その結果が意図通りなのかどうかは知らん。使い方次第。
使ってみなよ、AI。
もう十分触ってて動作もどのように運用したらいいのかも
知ってるならごめんなw
正直あんたが何に由来する知識でAIを語ってるんだか判らないんだわw
それで使ったことないんだろうなと思ってる。 >>202
お前のは使ってみなではなく動かしてみなだろ、
それは幻想にすぎない、使い方しだいで妄想をしているのと何の違いもない。
現実に意味があってこその道具であって、妄想の道具として動かしてみただけの自慢しているの？
学習は過去の評価にしか過ぎないんだよ、もっと勉強しよう、
未来への評価は学習ではないことぐらい理解できそうなんだが、
お勉強した教科書にはそんなこと書いてないから、ゆとり教育では勉強を超える
ことは教えてくれないのよ、おりこうさんでよかったね。 >>199
仕様があってその手順で動いていればただしい。
その結果が意図通りなのかどうかは知らん。使い方次第。
使ってみなよ、おちんちん。
もう十分触ってて動作もどのように運用したらいいのかも
知ってるならごめんなw
正直あんたが何に由来する知識でおちんちんを語ってるんだか判らないんだわw
それで使ったことないんだろうなと思ってる。 使えば全部わかるわけじゃないよ。
でもせめて使ってみればいいのにと思う。
AIは与えられた例に対して判断の道筋構築し、
さらにそれを検証することによって例に沿った
判断を磨いていくことができる。
ちなみに人の判断も完璧にただしいなんてのはない。
AIは人の例を追っていく、けど人が何を見て例示する
かは理解してない。だからAIは人の真似をAIなりの
ただしいロジックで実現してるだけだよ。
利用するだけというのが嫌なら、単純なパーセプトロンから
構築できるPythonのサンプルスクリプトつきの構築
例題の本も出てるからそういうのやってみたら。 >>204
バイブレーターをお題にしてもっといやらしく書いて欲しい。 AIの判断をそのまま受け入れず、人間のエゴ自分の判断も入れるから誤診につながるんじゃないの？ なんか勘違いしてる奴多いけど
AIが誤診することが問題じゃなくて、なぜ誤診したか答えられないことが問題なんだぞ 解析ロジックをチャート化して説明医が居ればいいんでない？ 病変写真と健全写真を何万枚もAIに見せてたら理由はわからないが
精度よく判別してくれるようになる
解析ロジックなんて存在しないチャート化も出来ない説明できる医者
もいない >>212
それを人間にわかりやすいロジックに落とし込むのさ >>215
それは無理
今時の機械学習って正解と不正解のデータをたくさん見せて、そこからコンピュータが
「自分で勝手に」何百万もルールを作って整合性が取れるようにする、という仕組みだから
機械が勝手に作った無数のルールの組み合わせを人間が理解するというのは無理なんです
数字の海に溺れるだけ
わかるのは結果と確率だけ 人間の誤診はブラックボックスどころではなく、それを故意に隠蔽、さらには虚偽の告知すらする 人間でも同じことできるし間違える経験に基づいての判断だし見た瞬間に答えは出てる
ロジックだの説明だのは思考と剥離した後付けの言い訳に過ぎない
そう考えるとAIと大差ないわなそこらの言い訳も大量に集めてDLさせるか 医学知識のない素人(AI)でもラーニングすれば病変の判断は出来るようになるが
間違った際の説明は出来ないよゴメンチャイってことよ >>216
生データ見てもそりゃ無理だ
AIが人間にわかるように単純化するということだけど？ >>219
少し違う、知識の無い素人と言うが今ある方程式を使ってないだけで独自に式を組んでいる、AIは充分に研究者だよ
ただ使う側がその式を取り出すのが下手なだけ >>221
下手呼ばわりは酷だな。
AIが吐き出した人工ニューロンを読み解くのは、
人間の脳のニューラルネットワークを見て、
その人の思考を読み解くのに等しい。 そもそも病気って100％近い精度で診断がつくこともあればそうでないこともある
95%の確率でこの診断なので70％の確率でこの薬が効果あるとか正確に伝えれば誤診も何もないだろし
AIはそういうのに向いてんのじゃないの？ >>223
日本語わからない研究者から日本人が理論を聞き取るって作業だな、今は回答を指差して教えて貰ってるけど 思考過程がブラックボックス化したAIから説明能力を持ったXAIへ。
知性の大半は説明不可能な「暗黙知」だろうが、ヒューマニックなAIを作ろうと思ったら、暗黙知だけでは十分ではない。
他者に対して思考のアルゴリズムを筋立てて説明できる能力を持っていないと人間的知性とは言えない。 そう思うわ
要約ができないと議論も意思伝達もできない
要不要は分からないけどその先に共感がある気がする >>226
困ったときは「なんとなく」「けっきょく」「ようするに」と言って説明を省こうとするAIならなんとか >>222
医者なんて似たような犯罪してるものだから
おのずと互助会状態になる >>1
HAL9000ですね？
高度なAIは自分を守るために誤診するようになるかもしれない
反AIの政治家や官僚を失脚させるために家族や後援会に影響が出るような誤診をするようになる 人間だってレントゲン写真を見せられて、なんだか変だという印象でもって
判断していないか？ AIというと新しく聞こえるけど、こんなん天気予報と一緒だろ
台風の進路予想図に対し、何故そういう予想結果が出たのか、ミクロレベルで
ロジックを一つ一つ追って解説できる気象予報士なんかこの世には居ない
でも別に誰も困らないじゃん
必要なのは、人間側がコンピューターから提示されたシミュレーションの結果を読み取り、
精度を理解した上で正しく運用すること。シミュレーションそのものがブラックボックスか
どうかなんて気にする必要はないよ >>215
君はディープラーニングについて何も知らないんだろうなぁっていう感想
一回でもまともにディープラーニング勉強したらわかるけどニューラルネットワーク自身は数字の塊だし、ネットワークが生成した特徴量を画像化してもとてもじゃないけど説明には使えないよ >>234
それはちょっと違う
天気予報がミクロレベルまで追えないのは技術力の限界であって
今のAIってのは「コンピュータが何考えてるかよくわかんないけどとりあえず正解してる」って言うこと ぶっちゃけ、AIが何考えてるかわかったらそれは人間レベルに過ぎないって
ことでもあるので、わからなくていい
はるかに意味不明を突き抜けていってくれ 知性というのは自分の考えていることを対象化してそれを客観的に、つまり他の知性にも理解できるように説明する能力のことだよ。
そういう能力がないただの関数を知性だなんて断じて認めない。
そう哲学者が言いました。 インプットの結果を出すだけなら高度(程度問題)な処理機ってだけで知性とは言えないなあ
知性＝自我 かどうかはわかんない >>233
AIに主義なんてない。
基本は正規分布を繰り返して磨いていくものだから直感というイメージとはむしろ逆。
使ってみれ。 天気予報をパターン認識させると的中精度が上がったらしい
非線形なりにもパターンがあるようだ 近未来の情報システム・噂程度の話・シンギュラリティ
https://matsuri.5ch.net/test/read.cgi/infosys/1533822662/
近未来の情報システムってどんな感じになるんだろう？
噂のシンギュラリティって来るの→来たらどうなるの？
我々の社会はどんな感じになるんだろうか？ 何故とかアホかｗ
AI研究者はそろそろカミングアウトしろよ予算獲得詐欺だって。
取り返しがつかんぞ。 >>242
たまたまいくつかの技術革新のタイミングが合ったからって、特別な意味なんかねーよ
カールツァイスだかカールワイスだか知らんが適当こきやがって >>240
数学の教科書にAIはむしろ数学の直感主義を復権させたと書かれてあったが・・・
AIはブラックボックス化されているから点と点をつなげる線のすべてが証明可能でなければならない公理主義に反しているのではないか？ >>1
人間の医師が誤診絶対しないならまあそれでええんちゃう
実際はアホAI以上に誤診してるけど >>234
インフォームドコンセントのために大金まで払う医療を
天気予報なんて誰も説明求めてない5分で終わるもので例えちゃう壊滅的なセンス >>250
AIができるのはいまのところそんなもの。
AIは医療を知らないからね。
どこかで、こういう症例とこういう薬の組み合わせに効果があったという
情報が増えればその療法を推奨することはできるけど、その根拠は数字
しかない。
それでAIがこれがいいんじゃないかとするものをトップ５つくらい挙げて、
そこから医師が吟味するならそれはそれで役立つと思うよ。 診断医療をleelaと同列に置く思考だわな
アフォカ まぁAIができるのはいまのところそんなもんだよ。
IBMが結構真面目に取り組んでいるけど、手放しでコンピュータに
取り込める臨床データの掬い上げもうまくいってないから、あまり
実効が出ていない。 医療は見当もつかないが自動運転システムは怖い
これは標識これは人と要素を見分けてはいるが、3D空間のしかも地面の上という制約なんぞは認識・組み込まれてないだろアレ >>254
あんたのいう要素がなんだか知らんが、人と病名、治療方法、薬剤の名前というところの区別もできないと思うよ。
AIが手元にある情報から自分で情報を分類整理して現実的社会的な知識を身に着けてお勉強してから分析を
始めると思っているなら大間違い。
「いま」のAIを実装を学ぼうよ。
ここの人らが夢想しているAIは、あと100年経ってもできないと言っている学者もいる。なぜなら単一の判断・傾向
操作を実現するパーセプトロンは脳細胞のワンセットの信号伝達を模したものだけど、人の細胞は分析できても、
どういう形で意味づけし、判断の材料になるからはいまだ判らない。そして脳のデータ構造は全体の0.3%もまだ
判っていない状況だからというよ。
本当に100年かかるのかわからんけどね。何億年人類の文明が続いてもいまでいうコンピュータやプログラムでは
できないかもしれないし、ちょっとした新しい実装でできるかもしれないし。 >>255
CUDA使うくらいには周辺知識あるんでそこらへんは気にせんといて ディープラーニングとか言うキャッチーなネーミングのせいなんだろうが、
多層パーセプトロンから本質的には何も変わってないのに大騒ぎしてて滑稽だわ。 AIも人間と同じ様に目の錯覚を起こすからね
AIを信じるか信じないかはあなた次第 病気って教科書通りの典型じゃないことも多いからなあ。
医学生が見たってすぐ判るようなのはAIだって判るだろうけど、合併してたり初期だったり末期だったりすると難しいよね >>259
判るわけがない。
AIを人型のSFロボットだと思ったのかな？
AIは学生がするような方法での勉強はできないんだよ。 AIと計算機を分けてみよう。
出力結果に一切の間違いを含まない仕事はAIの仕事ではなく計算機の仕事。
AIにそれを求めてはいけない。
AIが得意とするのはむしろ曖昧な入力情報を曖昧なままで処理して出力すること。
それは人間の脳に似ている。
人間もヒューマンエラーを出力するようにAIも同じなのだ。
計算機とAIを分けて考えたほうがいい。 >>247
あなたは数学と非数学の違いを考えているようだ。
こちらは数学の中における直感主義と公理主義の違いを考えている。 >>247
あなたは「統計学は厳密には数学ではない」という指摘をどう思うの？ 個々の事例において１＋１が２以外になる可能性も棄てていないのが統計学。
数学ではそういうことは許されない。
個々の事例すべてにおいて１＋１＝２になると構造的に決まったらそれ以外のことが一度も起こってはならない。
そういう厳密さを求めるのが数学。 とにかくこの手のAIは早く導入すべき。
最初は医者とAIのダブルチェックでも良いし。
医者が癌を見逃して進行したなんてニュースがどれ程あると思ってんだ。 患者「なんか熱っぽくて数週間直らないんですが・・・」
ＡＩ「風邪ですね」
→乳がん死亡多発 >>261
AIは人の脳とは全く違うよ。
どこのAIのこと考えてるの？
宇宙人？ >>265
AIだけ導入してもしょうがない。
機械的に読み込める検査と診断の対応が記されているような電子カルテの体制を作らないといけないけど、
いまだ電子カルテも自由メモで書いてるのが現状。
普段の医療の結果を並べてデータ化しないとどんなすごい解析ソフト使っても意味がないんだよ。それに、
集まってきたデータの片寄りや形式によって、分析用のプログラムだって書き換える必要がある。AIが先じゃない。 >>269
分析の方法の一つであって性能は関係ない。いまのAIはね。 風邪の確率 70％
インフルエンザの確率 10％
肺炎の確率 5％
はしかの確率 5％
その他 10％ 役人を入れるとみんなこういう発想になってぽしゃるんだよな
日本人にAIは無理だよ 最近の医療はマニュアル化されている。
医師がパソコンに向かって診察する。
パソコンを見ながら患者にマニュアルどおりに
一定の質問に答えてもらったり
患者の訴える症状にそって決定木を辿っていく。
このときに患者が適切に自らの症状を訴えられきれないと
誤診されてしまう可能性が高まる。
良い医者はここで直感・暗黙知を働かせてうまく患者が訴え損なっている
ツボに切り込んでいくのだが、医者は多くの患者を処理しているので
誤診率が0になることはない。
そもそも人間の体は複雑なので、精密検査をやっても確率でしか診断を下せない。
確率や統計というのはマクロの判断なので個々のケースでの完全性は期待できない。 いや、自己進化するのがAIであって、
入力しないと把握できないのはただの統計分析機だろ……
なんでもAIとか言うなと。
そもそも誤診が起きてしまうことを前提に動かないとダメなのは
人でも機械でも同じだろうに。
1つの誤診も許さないとか、医者へのプレッシャー半端ないな。 >>274
AIを何だと思ってるんだ。
夢のAIがいいなら今日から漢字変換ソフトも使わない方がいい。 ここでAIはこんなんじゃないって行ってる人は、
最近になってAIって分野を知った人なのかな？ 画像診断なら
このあたりがおかしい、くらいの指摘はできるだろ ＡＩが現在の人間の医者ならばなーんかおかしいと気がつくような誤診したとき医者になったときからＡＩが当たり前にあったＡＩネイティブな医者だとＡＩを信じ切ってしまい気がつかないのではないかという話があった
ＡＩの性能が上がると人間の医者の方にＡＩを補完する能力が求められることになりそうだけどそういう教育って可能？ 結局今までと同じ教育するだけ？
医者に限らず学校出ただけ資格取り立ての状態じゃ半人前以下で当たり前だろうけど初めからＡＩがある環境で経験を積む医者はＡＩ補完能力に関してそれ以前の世代の医者より上になると期待していいもの？ 逆なようにも思うが…？ >>1
まず誤診でしたって認めるだけ人間の医師よりいいわ
人間はまず認めないからな >>250
天気予報みる習慣がない人は結構いるようだけど加えてニュースもまったく見ない人？
台風は一発で伝染病なみに人殺したりするんだよ？ 連投ですんませんがもうひとつだけ
ＡＩつながりで自動運転に関しての(今のところは)ＳＦ的なアイデア？で
自動運転の貨物車の運転席に(平時は)座っているだけという仕事
実施的な仕事は事故を起こしたときに逮捕されること…というのがある
ＡＩ診断が人間の医者のそれより高精度になったら人間の医者はこの運転席に座っているのと同じポジションで生き残るハメにならないか >>279
少なくともAIを人と比較できる知能と思ってるあなたには
そういう判断はできないし、これならできるできないの想像も
できないと思う。
AIのこと言葉以上に理解してないだけだと思うから、判らない
もの想像を前提にして考える前にAIが何か知りなさい。 >>283
人より性能よくなってもその判断のやり方は人と違う。
機械は責任とれないし。
その調子でもの考えてると現実見失うハメになるよw >>285
いやだから機械のかわりに責任をとるのが人間の仕事ってことにならないかって話なんだけど？
一文目については>>279
人より高性能なＡＩ診断が初めからある時代の医者は人間ならではの診断力を磨くことができるのか？
むしろ現在の医者よりそういう能力が低くなりＡＩを補完する能力すら足りなくなったりしないかを心配してるんだよ >>284の方見逃してましたすんません>>286後段の通りです
診断的中率については比較できるわけだしむしろ他にどう比較するのかそれこそ数字で比較できない部分は言葉で比較するしか私は方法を知らない
ＡＩに詳しい人が他の比較方法を考えられるなら教えてほしい
囲碁ではＡＩと人間でどっちが強いかはやってみりゃわかる基本同じでしょ？
人間ならではの能力が期待されるって話だと>>286後段の通り
タッグで囲碁をやるとして囲碁のプロと囲碁のＡＩが組む方が囲碁のＡＩと囲碁のプロではないＡＩの専門家というコンビより確実に強いだろうけど
囲碁のプロのトップがＡＩばかりになってしまって人間のレベルが下がってしまった世界だとその限りにあらずかもしれない
私はＡＩについてはほとんど何も知らないのはおっしゃるとおりだけどあなたよりは問題の本質を理解していると思う違うと言うならどう違うのか教えてほしい 囲碁はルールと盤面の中で閉じた世界
医療は検診記録と疾病の関係すらフォーマットになってない世界
人のからだの調子は盤面のように升が刻まれているわけじゃない
他に何かまだ書かないと判らないかな
人と機械は違うんだよ
ゲームと医療は違うんだよ
データ現実は違うんだよ
そういうところを無自覚に錯誤してるからこそ自分の認識のどこがおかしいかもわからない状態なんじゃないのかな 手放しで本質を理解してると言ってるのもすごい。
いまのAIの実装触って100行くらいのデータ食わせて試してみなよ。
といってもやらんで自分の中で判ってると思い込んで終わるんだろうけど。 この板のAIはシンギュラリティに繋がるAIだからいま企業が使ってるAIと一緒にしてもらっては困るオマル >>290
シンギュラリティーなんてオカルトかSFのネタでしかない だってオカルトじゃん。
いまのAIを指して手放しでのんなの知能じゃないって言ってるんだからw ■ このスレッドは過去ログ倉庫に格納されています
