人工知能（AI）と、それをだまそうとする人間たちを闘わせる──。そんなユニークな実験プラットフォームを、このほどフェイスブックが立ち上げた。その目的は、既存のテストでは計りきれないAIの「真の賢さ」を計測することにある。
BUSINESS
2020.10.07 WED 08:00
TEXT BY TOM SIMONITE
TRANSLATION BY MUTSUMI FUNAYAMA
WIRED(US)


フェイスブックの人工知能（AI）研究者たちは、アルゴリズムを人間の“悪知恵”に触れさせることで改良しようとしている。
フェイスブックのAI研究所は9月24日、「Dynabench」という名のプロジェクトを立ち上げた。このプロジェクトでは仮想の円形闘技場のようなものがつくられ、そこで人間たちがAIシステムをあの手この手でだまそうとする。

例えば、文章に込められた感情を評価するAIシステムに、ネガティヴに見えるように工夫して書かれたポジティヴな文章を読ませて誤解させたり、ヘイトスピーチのフィルターをだましたりといった具合だ。最初はテキスト処理ソフトウェアを対象に実験が進められるが、今後は音声や画像、インタラクティヴゲームなどの分野も扱うことになるかもしれない。






AIの賢さをより正確に計測する

人間にAIを挑発させる目的は、AIの本当の賢さを（あるいは愚かさを）計測し、さらなる改良のためのデータを得ることだ。

AIの賢さを評価するとき、科学者たちは通常「ベンチマーク」と呼ばれる標準的なデータセットを使い、AIがどれほど正確に画像をラベリングしたり、複数選択肢の質問に答えられたりするかスコアをつけていく。

しかし、フェイスブックの研究者ダウ・キーラによると、これらのテストでは研究者たちが重視している内容を計測できないのだという。「本当に興味があるのは、AIが人間とかかわったときに間違いを犯す頻度です。現在のベンチマークでは、わたしたちがAIの自然言語処理で素晴らしい成果を出しているように見えますが、それは勘違いです。まだまだ、やるべきことはたくさんあるのですから」

研究者たちはAIが人間にだまされたケースを分析することで、アルゴリズムをもっとだまされにくくできるはずだと期待している。

一般のネットユーザーも、AI研究者たちと同じように、AIと対戦してヴァーチャルバッジを獲得する体験を楽しんでくれればとキーラは期待している。だが、このプラットフォームでは、アマゾンのクラウドソーシング・サーヴィス「Amazon Mechanical Turk」を通じて、研究者たちが研究に貢献したユーザーに報酬を支払うこともできるようになる。

また、Dynabenchプラットフォームでは、スタンフォード大学やノースカロライナ大学、ユニヴァーシティ・カレッジ・ロンドンのAI研究室もAIのテストを実施していくという。






答えを察してしまうAIの問題
　　　　　=====　後略　=====
全文は下記URLで
https://wired.jp/2020/10/07/try-sneak-bad-words-ai-filters-research/