【京都大学】ATRと京都大学、fMRIで測定した人間の脳活動のみから、その人が見ている画像や心の中でイメージした内容の画像化に成功

**しじみ ★** · 2018/01/14(日) 23:13:39.25

ATR（国際電気通信基礎技術研究所）と京都大学の研究者らは、
fMRI（機能的磁気共鳴画像法）によって測定された人間の脳活動のみから機械学習を用いて視覚像を再構成する提案を論文にて発表しました。

本稿は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化する機械学習を用いた手法を提案します。

提案手法では、画像を見る被験者からfMRIで測定した脳活動から、
画像の視覚特徴パターンを予測するよう学習したデコーダを用いてDNN（Deep Neural Network）の信号パターンへ変換します。
そして、DGN（Deep Generator Network）を組み合わせて画像を生成します。

これらのことで、人間が見ている画像に類似した画像を脳活動の情報から高いレベルで生成することを可能にしました。
以下の映像では、左に見ている画像、右に出力した画像が映し出されます。

心の中のイメージも画像化に成功
また、心の中でイメージした内容を画像化することにも成功しました。手法は上記と同じです。

上述では、見ている画像を再構成しましたが、今度は一度見た画像を記憶し、
画像を見ていない状態から心の中でイメージする脳活動だけで再構成するというものです。
被験者には、関連付いている単語と画像をペアで記憶させ、その後、単語を提示し画像を想起させました。

以下の映像では、その結果を確認する事ができます。左に記憶した画像、右に再構成した画像です。

画像：（左が見ている画像、右が再構成された画像）
http://shiropen.com/wp-content/uploads/2018/01/ezgif-4-1082d57d21.gif

図：本提案手法の概要。
http://shiropen.com/wp-content/uploads/2018/01/Deep-image-620x525.png

関連動画
Deep image reconstruction: Natural images https://youtu.be/jsp1KaM-avU
Deep image reconstruction: Visual imagery https://youtu.be/b7kVwoN8Cx4

Seamless
http://shiropen.com/2018/01/14/31458

**名無しのひみつ** · 2018/01/15(月) 06:44:19.38

著名エロ原画師の脳内イメージぜひ見たい

**名無しのひみつ** · 2018/01/15(月) 07:00:00.97

電車内でこの人痴漢です
スマホに妄想が録画されました
とかになるのか

**名無しのひみつ** · 2018/01/15(月) 07:02:21.59

これ被験者変えるとまた再設定しないといけないのかな

**名無しのひみつ** · 2018/01/15(月) 08:58:39.57

これってどの程度成功したといえるんだろうかね？
似ても似つかないようにも思えるが

**名無しのひみつ** · 2018/01/15(月) 08:59:50.96

むしろ人間の脳は曖昧なイメージだけで物体を認識しているということかな

**名無しのひみつ** · 2018/01/15(月) 09:08:18.35

具体的にどういう手法なのか知りたい

**名無しのひみつ** · 2018/01/15(月) 09:20:08.21

これは被験者になりたくないなぁ

エロいこと考えてたら嫌じゃん

**名無しのひみつ** · 2018/01/15(月) 09:32:42.64

電磁波のテンペストの人間版だな

>>39
科学という範疇においてクオリアは解決する必要性自体が無い

**名無しのひみつ** · 2018/01/15(月) 09:45:48.85

>>1
このGif動画、GoogleAIのCNNの画像まんまで笑った

視覚需要野の機能は機械的に再現できているといえよう

**名無しのひみつ** · 2018/01/15(月) 09:50:06.84

GoogleAIのはこんなん
https://vimeo.com/211758157
https://irorio.jp/wp-content/images/uploads//2015/06/b524cb032671718e8b650782e3eef83f-710x444.jpg

**名無しのひみつ** · 2018/01/15(月) 10:00:56.72

あ～これは、アカンやつやｗ

**名無しのひみつ** · 2018/01/15(月) 10:21:00.47

映画のなかで出てくるような
これ鮮明になったら犯罪とか検挙らくかな

**名無しのひみつ** · 2018/01/15(月) 10:49:01.77

脳内で美化した状態で記憶を記録できるなんて素敵やん
真実なんていらんわ

**名無しのひみつ** · 2018/01/15(月) 11:02:36.17

この被験者、どんな写真を見せても女性器の画像しか出力されないんですけど！？

**名無しのひみつ** · 2018/01/15(月) 11:03:58.01

おっぱい星人の私がぜひ被験体に

**名無しのひみつ** · 2018/01/15(月) 11:11:41.31

ちょっと前まではオカルト扱いされてたような領域まで
研究が進んで来てるんだなあ

**名無しのひみつ** · 2018/01/15(月) 11:17:48.85

頭の中でそんなリアルにイメージ出来ないんだが。
他のヤツらはできるの？

**名無しのひみつ** · 2018/01/15(月) 11:19:18.12

dqnは使わないの

**名無しのひみつ** · 2018/01/15(月) 11:20:04.63

夢録画機がついに完成したか
　 ( ﾟдﾟ)　ｶﾞﾀｯ
　 /　　ヾ
＿_L| /￣￣￣/＿
　＼/　　　/

**名無しのひみつ** · 2018/01/15(月) 11:30:57.96

ピカソの女性の絵って鼻や目の向きが変だけど
なぜ女性がそう見えるのかは
魔法使いを卒業するときに分かった

**名無しのひみつ** · 2018/01/15(月) 11:31:21.24

盗撮だな。研究者は逮捕。

**名無しのひみつ** · 2018/01/15(月) 11:51:56.92

>>1
産地直送のイメージが生成された

**名無しのひみつ** · 2018/01/15(月) 11:55:14.68

これであの人何考えてるかわかんないって言われなくなるな
大勝利！

**名無しのひみつ** · 2018/01/15(月) 12:13:45.26

何も見ないで念写できるかの実験はしたのかな

**名無しのひみつ** · 2018/01/15(月) 12:22:39.75

ドクターハウスで見た

**名無しのひみつ** · 2018/01/15(月) 12:41:31.14

>>8
児ポ画像脳内保有にて逮捕とか。

**名無しのひみつ** · 2018/01/15(月) 13:43:57.20

>>40
画像認識するに決まってるだろ

眼からきたデータそのまま取り出したって何の意味もねーよ

**名無しのひみつ** · 2018/01/15(月) 13:56:28.93

>>1
5年前の研究に比べてレベルが落ちてるんだけど
https://youtu.be/0o17Zwzam1g
こいつらディープラーニングの使い方がわかってないだろ？

**名無しのひみつ** · 2018/01/15(月) 14:21:02.33

>>39
統合情報理論で解決済みだよ

**名無しのひみつ** · 2018/01/15(月) 14:26:56.72

完全な幾何抽象に行き着く前のモンドリアンの絵みたい

**名無しのひみつ** · 2018/01/15(月) 14:35:13.74

電磁記録不要とか産業スパイはかどりまくり

**名無しのひみつ** · 2018/01/15(月) 14:51:56.61

眼には眼をとゆうやつだねw

脳的電磁機器媒体新規保存装置
電気信号だから

**名無しのひみつ** · 2018/01/15(月) 15:01:29.05

そのうち脳内で考えたエロいことを映像化して売ったり出来るのか
今は絵が上手かったり他の才能がないとダメだけど妄想力が強い奴が勝つ時代が来るのかな･･･(´・ω・`)

**名無しのひみつ** · 2018/01/15(月) 15:16:51.19

目だけははっきり分かるのがすごいな
あと唇みたいなのが見えるのがあるけど、模様パターンが似てるとかなんだろうか

**名無しのひみつ** · 2018/01/15(月) 15:48:12.72

>>70
いや、今回のがレベルが高い

**名無しのひみつ** · 2018/01/15(月) 17:58:26.83

>>75
絵描いてる人間の脳内イメージって全然明確じゃないよ
曖昧なイメージに手探りでディテールを足していくことで成り立つ
だからまずラフを描くわけで

**名無しのひみつ** · 2018/01/15(月) 20:34:03.53

>>52
似てる気がしなくもない

**名無しのひみつ** · 2018/01/15(月) 20:54:30.99

>>59
細部まで再現出来てないけど再現出来た感覚になってる
細部まで明確にイメージ出来るなら飛ばし読みじゃない速読が出来るレベル

**名無しのひみつ** · 2018/01/17(水) 16:34:13.23

70のやつとの違いが分からない

**名無しのひみつ** · 2018/01/17(水) 20:37:52.28

人間には使わない方が良いんじゃないかなぁ…もっと良い応用が考えられる。

**名無しのひみつ** · 2018/01/17(水) 21:07:08.85

関係ないけどイマージュっていう精神科学雑誌を
昔読んでたな
ラカンとか全然わからんかったな

**名無しのひみつ** · 2018/01/17(水) 22:25:41.85

>>82
じゃ、言ってみな。どんな利用だよ？

**名無しのひみつ** · 2018/01/17(水) 22:55:16.21

ムスカは倒されラピュタは空へ登っていったけれど
現実ではそううまくことは運ぶことはないかもしれない
悪魔と闘うしかない

**名無しのひみつ** · 2018/01/17(水) 23:18:34.62

え～と、コレは言うなって事かなｗ

既に実行されてる気がするけど、応用で実行したのか、
実行されてる事がヒントにコレを開発したのか、
単に俺の妄想か…

**名無しのひみつ** · 2018/01/18(木) 00:00:11.43

>>86
めんどくさい人ですね

**名無しのひみつ** · 2018/01/18(木) 00:10:57.56

>予算獲得の為に無理矢理金魚の画像並べて成果が出たって
>言ってるだけだろ。

ほんこれ。

**名無しのひみつ** · 2018/01/18(木) 00:27:42.23

よっっしゃ教師のロリコン判定に使えはよ使えまた犯罪が起こる前に

**名無しのひみつ** · 2018/01/18(木) 23:29:06.93

>>87
もっとシンプルにしたいんだけど、何故か許してくれないんだ

**名無しのひみつ** · 2018/02/13(火) 00:54:31.16

頭の中覗けるってことか
これはダメでしょ

**名無しのひみつ** · 2018/02/13(火) 07:54:25.51

>>50
>科学という範疇においてクオリアは解決する必要性自体が無い

そんな事はない

**名無しのひみつ** · 2018/02/13(火) 07:56:12.94

エロい画像ばっかり映ったら恥ずかしいなあ。