【京都大学】ATRと京都大学、fMRIで測定した人間の脳活動のみから、その人が見ている画像や心の中でイメージした内容の画像化に成功

**しじみ ★** · 2018/01/14(日) 23:13:39.25

ATR（国際電気通信基礎技術研究所）と京都大学の研究者らは、
fMRI（機能的磁気共鳴画像法）によって測定された人間の脳活動のみから機械学習を用いて視覚像を再構成する提案を論文にて発表しました。

本稿は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化する機械学習を用いた手法を提案します。

提案手法では、画像を見る被験者からfMRIで測定した脳活動から、
画像の視覚特徴パターンを予測するよう学習したデコーダを用いてDNN（Deep Neural Network）の信号パターンへ変換します。
そして、DGN（Deep Generator Network）を組み合わせて画像を生成します。

これらのことで、人間が見ている画像に類似した画像を脳活動の情報から高いレベルで生成することを可能にしました。
以下の映像では、左に見ている画像、右に出力した画像が映し出されます。

心の中のイメージも画像化に成功
また、心の中でイメージした内容を画像化することにも成功しました。手法は上記と同じです。

上述では、見ている画像を再構成しましたが、今度は一度見た画像を記憶し、
画像を見ていない状態から心の中でイメージする脳活動だけで再構成するというものです。
被験者には、関連付いている単語と画像をペアで記憶させ、その後、単語を提示し画像を想起させました。

以下の映像では、その結果を確認する事ができます。左に記憶した画像、右に再構成した画像です。

画像：（左が見ている画像、右が再構成された画像）
http://shiropen.com/wp-content/uploads/2018/01/ezgif-4-1082d57d21.gif

図：本提案手法の概要。
http://shiropen.com/wp-content/uploads/2018/01/Deep-image-620x525.png

関連動画
Deep image reconstruction: Natural images https://youtu.be/jsp1KaM-avU
Deep image reconstruction: Visual imagery https://youtu.be/b7kVwoN8Cx4

Seamless
http://shiropen.com/2018/01/14/31458

**名無しのひみつ** · 2018/01/14(日) 23:17:25.33

これが実用化されたら、人間関係がメチャクチャに壊れそうな予感が･･･

**名無しのひみつ** · 2018/01/14(日) 23:20:27.30

　

　　＿ﾉ乙(､ﾝ､)＿↓キャー、変態！変態！↓

**名無しのひみつ** · 2018/01/14(日) 23:21:59.46

えーー凄いな

**名無しのひみつ** · 2018/01/14(日) 23:22:55.62

電車でみた胸チラとか帰宅してPCに繋げばもう一度見られる訳か！

**名無しのひみつ** · 2018/01/14(日) 23:25:19.33

サヴァン症候群の人いたら盗撮状態になるんじゃないかなｗ

**名無しのひみつ** · 2018/01/14(日) 23:26:46.66

オレは歩いている女を完全に裸にして視る事ができる

**名無しのひみつ** · 2018/01/14(日) 23:27:47.44

児ポ見た奴はバレて逮捕な

**名無しのひみつ** · 2018/01/14(日) 23:28:06.08

>>1
１０年程前から定期的に出て来るよな、この研究

**名無しのひみつ** · 2018/01/14(日) 23:29:51.43

これAI使ってるってこと？

**名無しのひみつ** · 2018/01/14(日) 23:33:47.34

画像、これで「高いレベルで生成」なのか？
1つの写真を見ていても色々出まくって何がなんだか分からないが…

**名無しのひみつ** · 2018/01/14(日) 23:37:48.58

ATRにしてはかなりレベルの低い研究成果だな
DeepLearningの素人による研究だわ

**名無しのひみつ** · 2018/01/14(日) 23:38:41.63

ATRと聞いて割れたゲルマニウムがフラッシュバック
謝罪と賠償をorz

**名無しのひみつ** · 2018/01/14(日) 23:41:11.34

男性は知らない。すべての女性がやっていることを。
http://www.geocities.jp/xdud_0407/0114.html

「結婚はエラい、子供がいればもっとエライ」と思う人へ...4ページのマンガが話題
http://www.geocities.jp/xdud_0407/011116.html tr

**名無しのひみつ** · 2018/01/14(日) 23:41:32.24

男性は知らない。すべての女性がやっていることを。
http://www.geocities.jp/xdud_0407/0114.html

「結婚はエラい、子供がいればもっとエライ」と思う人へ...4ページのマンガが話題
http://www.geocities.jp/xdud_0407/011116.html

**名無しのひみつ** · 2018/01/14(日) 23:42:12.37

ディープラーニングつえぇえええええ！
しこしこやってる職人系研究者は死亡

**名無しのひみつ** · 2018/01/14(日) 23:43:39.19

> 心の中のイメージも画像化に成功

あの娘を四つん這いにさせて後ろから！はあ！はあ！

あなた！

ギクッ！

そして画像がネットに晒されるのであったｗ

ネットは広大だわｗ

**名無しのひみつ** · 2018/01/14(日) 23:47:37.59

今までやった女の子の映像が
全部映し出せるとか胸熱

**名無しのひみつ** · 2018/01/14(日) 23:47:44.56

これさ和月に使ったら幼女の画像がでてくんの?

**名無しのひみつ** · 2018/01/14(日) 23:58:30.75

エロでやればよりいっそう

**名無しのひみつ** · 2018/01/15(月) 00:01:05.82

右の画像だけで金魚イメージできるかと問われたら
それはむりだろ。
実験は失敗してる。

**名無しのひみつ** · 2018/01/15(月) 00:02:11.62

街中で俺のスーパーアイが透視し、脳内インプットした女児のマンコ画像が
デコーダーで出力できる時代になったのか。胸熱や。

**名無しのひみつ** · 2018/01/15(月) 00:02:53.32

予算獲得の為に無理矢理金魚の画像並べて成果が出たって
言ってるだけだろ。

**名無しのひみつ** · 2018/01/15(月) 00:14:58.10

>>21
人間の認知能力自体がしょぼいからな
>>1のGIF画像も眼球がハッキリと映ってるのは, 人間が眼球にしか注視してないともいえる

**名無しのひみつ** · 2018/01/15(月) 00:20:19.85

これはヤバいｗｗｗ

**名無しのひみつ** · 2018/01/15(月) 00:29:47.75

すっげ
文字とか簡単な記号なら余裕だな

**名無しのひみつ** · 2018/01/15(月) 00:29:59.52

むやみにエロい想像も出来ない世の中がやってくるのか

**名無しのひみつ** · 2018/01/15(月) 00:37:00.99

被験者は１人？
画像に対するfMRIで測定されるパターンって人によって違うの？同じなの？

**名無しのひみつ** · 2018/01/15(月) 00:37:22.05

やっぱみえてんだな(〃ﾉωﾉ)

**名無しのひみつ** · 2018/01/15(月) 00:47:41.48

神奈川三浦市長吉田英男
公用車でソープランド税金不正
https://goo.gl/YuSPqp

**名無しのひみつ** · 2018/01/15(月) 00:50:55.29

　　　　　　　　(<、,,> ":::::::::::::::::::::::::::: ､
　　　　　～〈／::::::::::::::::::::::::::::::::::::::::::::)
　　　　　　〃:::::::::::::::::::::::::::::::::::::::::＜、　　ど　ロ　こ
　　　　~そ:::::::::::::::::::::::::::::::::::::::::::::::::::::,）　　も　リ　の
　､_　,, /::::::::::::::::::::::::、,ゝ=＝=く:::::::,:::::ヽ　め　コ
　　 `V::::::::::::::::::::､_γ　　　　　｀ヾ,_　＜　！　ン
　　　ｌ::::::::::::::::::::::く( 　 r,J三;ヾ　　)>　く,
　～v,ん:::::::::::::::´:::::::=; {三●;= } 　,=ﾆ｀／l／!／⌒Y
　　　 l:::::::::::::::::::::::::::::ゝ≡三＝イ ´::::ﾞ:::::::::::::::::::::::::::::::
　､m,.. ,ゞ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
　´　" ~ ﾍ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
　　　　　　　　　　　　　　　fMRI　　　　　　　　　　　　

**名無しのひみつ** · 2018/01/15(月) 00:53:11.66

これ事前に何枚か画像を見せてからやってんでしょ？
研究者センスないな
俺ならもっとうまくやるわｗ

**名無しのひみつ** · 2018/01/15(月) 00:53:46.60

テクノロジーが進み過ぎて人間が人間でなくなる日も遠くないな

**名無しのひみつ** · 2018/01/15(月) 04:31:59.36

脳の活動のみで
画像やイメージをアウトプット出来るのか
これは凄いなぁ

**名無しのひみつ** · 2018/01/15(月) 04:36:17.89

>>21
人間の視覚環世界は見た通りの映像ではなく
脳内に用意されたスタンプ的なパーツ名をタグ付け分類したり
パターンから相対的に推測した色や図形をあてはめたり
視界の中心以外はキャッシュをコピペするなどして都合よく解釈したもので間に合わせている
そのため脳は楽できるが錯覚を起こすパターンがたくさん存在する

**名無しのひみつ** · 2018/01/15(月) 04:42:26.63

>>24
（他者の）目は生活というか生存に大きくかかわるパターンなので
優先的に処理している（天敵にタゲられているかどうかなど）
処理の優先度が条件反射的に決まっているという点では優れたシステムだともいえる

**名無しのひみつ** · 2018/01/15(月) 04:49:17.06

これは酷い

視神経からの信号が脳に送られてまだ何の高次処理も行われてない段階の部分を観測したってだけの話じゃねーか

**名無しのひみつ** · 2018/01/15(月) 04:56:02.97

取り出した情報をもう一度脳に感覚としてフィードバックして、
「頭でエロいシチュエーションを想像する → 実際に気持ちイイ」
にしてほしい。

**名無しのひみつ** · 2018/01/15(月) 05:29:35.06

この技術が完成したところでクオリア問題は解決しないんだよなぁ…

**名無しのひみつ** · 2018/01/15(月) 05:39:07.07

>>37
高次処理ってこの後なにすんだ？
細分化されて各々認識ニューロンに分散してくだけじゃねーの？

**名無しのひみつ** · 2018/01/15(月) 05:49:06.20

iPhone のアプリはいつ？

**名無しのひみつ** · 2018/01/15(月) 06:10:06.71

エスパーはこれ

**名無しのひみつ** · 2018/01/15(月) 06:44:19.38

著名エロ原画師の脳内イメージぜひ見たい

**名無しのひみつ** · 2018/01/15(月) 07:00:00.97

電車内でこの人痴漢です
スマホに妄想が録画されました
とかになるのか

**名無しのひみつ** · 2018/01/15(月) 07:02:21.59

これ被験者変えるとまた再設定しないといけないのかな

**名無しのひみつ** · 2018/01/15(月) 08:58:39.57

これってどの程度成功したといえるんだろうかね？
似ても似つかないようにも思えるが

**名無しのひみつ** · 2018/01/15(月) 08:59:50.96

むしろ人間の脳は曖昧なイメージだけで物体を認識しているということかな

**名無しのひみつ** · 2018/01/15(月) 09:08:18.35

具体的にどういう手法なのか知りたい

**名無しのひみつ** · 2018/01/15(月) 09:20:08.21

これは被験者になりたくないなぁ

エロいこと考えてたら嫌じゃん

**名無しのひみつ** · 2018/01/15(月) 09:32:42.64

電磁波のテンペストの人間版だな

>>39
科学という範疇においてクオリアは解決する必要性自体が無い

**名無しのひみつ** · 2018/01/15(月) 09:45:48.85

>>1
このGif動画、GoogleAIのCNNの画像まんまで笑った

視覚需要野の機能は機械的に再現できているといえよう

**名無しのひみつ** · 2018/01/15(月) 09:50:06.84

GoogleAIのはこんなん
https://vimeo.com/211758157
https://irorio.jp/wp-content/images/uploads//2015/06/b524cb032671718e8b650782e3eef83f-710x444.jpg

**名無しのひみつ** · 2018/01/15(月) 10:00:56.72

あ～これは、アカンやつやｗ

**名無しのひみつ** · 2018/01/15(月) 10:21:00.47

映画のなかで出てくるような
これ鮮明になったら犯罪とか検挙らくかな

**名無しのひみつ** · 2018/01/15(月) 10:49:01.77

脳内で美化した状態で記憶を記録できるなんて素敵やん
真実なんていらんわ

**名無しのひみつ** · 2018/01/15(月) 11:02:36.17

この被験者、どんな写真を見せても女性器の画像しか出力されないんですけど！？

**名無しのひみつ** · 2018/01/15(月) 11:03:58.01

おっぱい星人の私がぜひ被験体に

**名無しのひみつ** · 2018/01/15(月) 11:11:41.31

ちょっと前まではオカルト扱いされてたような領域まで
研究が進んで来てるんだなあ

**名無しのひみつ** · 2018/01/15(月) 11:17:48.85

頭の中でそんなリアルにイメージ出来ないんだが。
他のヤツらはできるの？

**名無しのひみつ** · 2018/01/15(月) 11:19:18.12

dqnは使わないの

**名無しのひみつ** · 2018/01/15(月) 11:20:04.63

夢録画機がついに完成したか
　 ( ﾟдﾟ)　ｶﾞﾀｯ
　 /　　ヾ
＿_L| /￣￣￣/＿
　＼/　　　/

**名無しのひみつ** · 2018/01/15(月) 11:30:57.96

ピカソの女性の絵って鼻や目の向きが変だけど
なぜ女性がそう見えるのかは
魔法使いを卒業するときに分かった

**名無しのひみつ** · 2018/01/15(月) 11:31:21.24

盗撮だな。研究者は逮捕。

**名無しのひみつ** · 2018/01/15(月) 11:51:56.92

>>1
産地直送のイメージが生成された

**名無しのひみつ** · 2018/01/15(月) 11:55:14.68

これであの人何考えてるかわかんないって言われなくなるな
大勝利！

**名無しのひみつ** · 2018/01/15(月) 12:13:45.26

何も見ないで念写できるかの実験はしたのかな

**名無しのひみつ** · 2018/01/15(月) 12:22:39.75

ドクターハウスで見た

**名無しのひみつ** · 2018/01/15(月) 12:41:31.14

>>8
児ポ画像脳内保有にて逮捕とか。

**名無しのひみつ** · 2018/01/15(月) 13:43:57.20

>>40
画像認識するに決まってるだろ

眼からきたデータそのまま取り出したって何の意味もねーよ

**名無しのひみつ** · 2018/01/15(月) 13:56:28.93

>>1
5年前の研究に比べてレベルが落ちてるんだけど
https://youtu.be/0o17Zwzam1g
こいつらディープラーニングの使い方がわかってないだろ？

**名無しのひみつ** · 2018/01/15(月) 14:21:02.33

>>39
統合情報理論で解決済みだよ

**名無しのひみつ** · 2018/01/15(月) 14:26:56.72

完全な幾何抽象に行き着く前のモンドリアンの絵みたい

**名無しのひみつ** · 2018/01/15(月) 14:35:13.74

電磁記録不要とか産業スパイはかどりまくり

**名無しのひみつ** · 2018/01/15(月) 14:51:56.61

眼には眼をとゆうやつだねw

脳的電磁機器媒体新規保存装置
電気信号だから

**名無しのひみつ** · 2018/01/15(月) 15:01:29.05

そのうち脳内で考えたエロいことを映像化して売ったり出来るのか
今は絵が上手かったり他の才能がないとダメだけど妄想力が強い奴が勝つ時代が来るのかな･･･(´・ω・`)

**名無しのひみつ** · 2018/01/15(月) 15:16:51.19

目だけははっきり分かるのがすごいな
あと唇みたいなのが見えるのがあるけど、模様パターンが似てるとかなんだろうか

**名無しのひみつ** · 2018/01/15(月) 15:48:12.72

>>70
いや、今回のがレベルが高い

**名無しのひみつ** · 2018/01/15(月) 17:58:26.83

>>75
絵描いてる人間の脳内イメージって全然明確じゃないよ
曖昧なイメージに手探りでディテールを足していくことで成り立つ
だからまずラフを描くわけで

**名無しのひみつ** · 2018/01/15(月) 20:34:03.53

>>52
似てる気がしなくもない

**名無しのひみつ** · 2018/01/15(月) 20:54:30.99

>>59
細部まで再現出来てないけど再現出来た感覚になってる
細部まで明確にイメージ出来るなら飛ばし読みじゃない速読が出来るレベル

**名無しのひみつ** · 2018/01/17(水) 16:34:13.23

70のやつとの違いが分からない

**名無しのひみつ** · 2018/01/17(水) 20:37:52.28

人間には使わない方が良いんじゃないかなぁ…もっと良い応用が考えられる。

**名無しのひみつ** · 2018/01/17(水) 21:07:08.85

関係ないけどイマージュっていう精神科学雑誌を
昔読んでたな
ラカンとか全然わからんかったな

**名無しのひみつ** · 2018/01/17(水) 22:25:41.85

>>82
じゃ、言ってみな。どんな利用だよ？

**名無しのひみつ** · 2018/01/17(水) 22:55:16.21

ムスカは倒されラピュタは空へ登っていったけれど
現実ではそううまくことは運ぶことはないかもしれない
悪魔と闘うしかない

**名無しのひみつ** · 2018/01/17(水) 23:18:34.62

え～と、コレは言うなって事かなｗ

既に実行されてる気がするけど、応用で実行したのか、
実行されてる事がヒントにコレを開発したのか、
単に俺の妄想か…

**名無しのひみつ** · 2018/01/18(木) 00:00:11.43

>>86
めんどくさい人ですね

**名無しのひみつ** · 2018/01/18(木) 00:10:57.56

>予算獲得の為に無理矢理金魚の画像並べて成果が出たって
>言ってるだけだろ。

ほんこれ。

**名無しのひみつ** · 2018/01/18(木) 00:27:42.23

よっっしゃ教師のロリコン判定に使えはよ使えまた犯罪が起こる前に

**名無しのひみつ** · 2018/01/18(木) 23:29:06.93

>>87
もっとシンプルにしたいんだけど、何故か許してくれないんだ

**名無しのひみつ** · 2018/02/13(火) 00:54:31.16

頭の中覗けるってことか
これはダメでしょ

**名無しのひみつ** · 2018/02/13(火) 07:54:25.51

>>50
>科学という範疇においてクオリアは解決する必要性自体が無い

そんな事はない

**名無しのひみつ** · 2018/02/13(火) 07:56:12.94

エロい画像ばっかり映ったら恥ずかしいなあ。