X



【AI】京大、AIの性能を正確に評価する方法を開発
■ このスレッドは過去ログ倉庫に格納されています
0001ノチラ ★2018/03/06(火) 20:48:28.06ID:CAP_USER
京都大学は5日、J.B.Brown医学研究科講師が、人工知能(AI)の性能評価指標の有効性を検証し、分野を問わず、正確にAIの性能を評価できる手法を世界で初めて開発したと発表した。

 研究成果は、2018年2月14日付で米科学誌「Molecular Informatics」に掲載されている(論文タイトル: Classifiers and their Metrics Quantified、DOI)

 AIによるビッグデータ解析は、社会のさまざまな分野での活用が広がっており、創薬研究・医療現場のスクリーニング検査においても、AIを使用したコンピューターモデルの二項分類による解析が、主要な研究/検査手法となっている。

 今回の研究は、AIの性能を統計的指標によって正確に評価するというもので、さまざまな指標の特性と有効性を、ヒートマップ(可視化グラフ)とiCDF (Inverse Cumulative Distribution Function: 逆累積分布関数)を使った統計学的な解析によって検証している。京都大学では、創薬スクリーニングやケミカルバイオロジーに限らず、どの分野のAIに対しても適用できる画期的なものとしている。

 そういったAIの社会普及にあたり、AI自体の性能評価も行われてきた。二項分類モデルでは、「はい(陽性・真)」と「いいえ(陰性・偽)」でデータを分類し、TP (True Positive: 正しく陽性と分類)、FN(False Negative: 誤って陰性と分類)、FP (False Positive: 誤って陽性と分類)、TN (True Negative: 正しく陰性と分類)の4種類の結果が得られるため、AIの性能は、データを4種類に正しく分類できた割合によって、TPR (True Positive Rate: 真陽性率)やACC (Accuracy: 正確率)、MCC (Matthews Correlation Coefficient: マシューズ相関係数)をはじめとする指標を用いて評価されている。

 しかし、特定の分子を検出する場合に、実験における検出成功率がコンピューターモデルの事前予測を大きく下回るといった事例がしばしば報告されており、統計的指標がコンピューターモデル(AI)の性能を過大評価している場合があったという。

AIに陽性と陰性のバランスが取れたデータ(陽性50%・陰性50%)と、陽性と陰性のバランスが極端に崩れたデータ(陽性10%・陰性90%)とを与えた場合に、ACCとMCCが下した性能評価についてヒートマップを作成して比較したところ、MCCが陽性と陰性のどちらも正しく判定した場合でなければ0.6以上の高い評価を下さない一方で、ACCは陽性をひとつも正しく分類できないAIに対しても高評価を与えてしまい、MCCがAIの性能を厳密に評価するのに対して、ACCは過大に評価する可能性が高いことがわかったという。

 そのほかの評価指標についても検証を行なっており、その中にはACCのように性能を過大に評価するものがあるため、AIを使ってデータ分類を行う場合には、本研究で行なったように、実験前にヒートマップとiCDFによって評価指標そのものの特性を十分に吟味するべきであるとしている。

 論文の追加データとして、ヒートマップとiCDFを作成するプログラムも公開しており、どのようなデータセットに対しても、実証実験で正確な分類ができる「堅牢なAI」開発への貢献を期待しているとする。
https://pc.watch.impress.co.jp/docs/news/1109945.html
0002名刺は切らしておりまして2018/03/06(火) 20:51:52.29ID:LLjrginL
入試問題を正確に精査と評価するAIを開発した方がよくね??
0004名刺は切らしておりまして2018/03/06(火) 21:09:46.15ID:HzuYOsHb
損失関数がイマイチだった、
ってだけじゃないのこれ

>>2
京大入試レベルの問題と正解が大量に用意できません
0005名刺は切らしておりまして2018/03/06(火) 21:12:27.34ID:oEu9gNxR
OPP-AIだったら乳輪のでかさとぷっくり乳首が評価基準
0006名刺は切らしておりまして2018/03/06(火) 21:18:58.01ID:DB5grznE
「ただし嘘は見抜けません」
0007名刺は切らしておりまして2018/03/06(火) 21:40:41.41ID:wqgEpilt
本当に評価できるんなら

ひとつのAIを業界に用意して 

AI転送学習やAI蒸留で、業界皆でどんどんAIを賢くして

これでAIを評価して、性能が上がれば仮想通貨をもらえる仕組みをつくって

ガスや水道を使うようにして、そのAIを利用した連中が、利用分だけ仮想通貨で支払う

本当に評価できるんなら、これやれちゃうぜ

もしできるんなら、仕組みにのせれば簡単にGoogleやアマゾンよりAI賢くなるぞ
0009名刺は切らしておりまして2018/03/07(水) 02:32:00.08ID:M+mKYGyU
2017/09/20
【AI】「AIが出した結果」の理由を探る技術、富士通らが開発
http://egg.5ch.net/test/read.cgi/bizplus/1505906735/114,118

2018/02/07
【国際】紅く染まる米AI学会 中国ネット大手が学生争奪
https://egg.5ch.net/test/read.cgi/bizplus/1517984555/62-64
2018/03/02
【企業】トヨタ、AIソフト研究開発で新会社 1000人体制、3000億円以上投資へ
http://egg.5ch.net/test/read.cgi/bizplus/1519980642/

2017/08/14
【IT】富士通やNEC、社内IT人材鍛え直し サイバー防衛・AIで
http://egg.5ch.net/test/read.cgi/bizplus/1502681283/
2018/02/20
【IT】日本人エンジニアの給料が上がらない理由。このままだと英語が達者なフィリピン人の下で働くしかなくなる
http://egg.5ch.net/test/read.cgi/bizplus/1519102965/465-469,684,685,689,719,720,724,725
0010名刺は切らしておりまして2018/03/07(水) 02:52:07.35ID:Hz2WbF0q
ポリス 「君が人間であるか確かめるために精神感応試験を行う」
0011名刺は切らしておりまして2018/03/07(水) 21:27:34.75ID:n2AvO67C
 
AIの性能を正確に評価するAIか・・・

ん?
0012名刺は切らしておりまして2018/03/08(木) 12:24:20.82ID:gf5clDZX
AIがAIを作りAIがAIを評価するようになる時代も
すぐそこだな。
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況