ATR（国際電気通信基礎技術研究所）と京都大学の研究者らは、
fMRI（機能的磁気共鳴画像法）によって測定された人間の脳活動のみから機械学習を用いて視覚像を再構成する提案を論文にて発表しました。
本稿は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化する機械学習を用いた手法を提案します。
提案手法では、画像を見る被験者からfMRIで測定した脳活動から、
画像の視覚特徴パターンを予測するよう学習したデコーダを用いてDNN（Deep Neural Network）の信号パターンへ変換します。
そして、DGN（Deep Generator Network）を組み合わせて画像を生成します。
これらのことで、人間が見ている画像に類似した画像を脳活動の情報から高いレベルで生成することを可能にしました。
以下の映像では、左に見ている画像、右に出力した画像が映し出されます。
心の中のイメージも画像化に成功
また、心の中でイメージした内容を画像化することにも成功しました。手法は上記と同じです。
上述では、見ている画像を再構成しましたが、今度は一度見た画像を記憶し、
画像を見ていない状態から心の中でイメージする脳活動だけで再構成するというものです。
被験者には、関連付いている単語と画像をペアで記憶させ、その後、単語を提示し画像を想起させました。
以下の映像では、その結果を確認する事ができます。左に記憶した画像、右に再構成した画像です。
画像：（左が見ている画像、右が再構成された画像）
http://shiropen.com/wp-content/uploads/2018/01/ezgif-4-1082d57d21.gif
図：本提案手法の概要。
http://shiropen.com/wp-content/uploads/2018/01/Deep-image-620x525.png
関連動画
Deep image reconstruction: Natural images https://youtu.be/jsp1KaM-avU
Deep image reconstruction: Visual imagery https://youtu.be/b7kVwoN8Cx4
Seamless
http://shiropen.com/2018/01/14/31458
fMRI（機能的磁気共鳴画像法）によって測定された人間の脳活動のみから機械学習を用いて視覚像を再構成する提案を論文にて発表しました。
本稿は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化する機械学習を用いた手法を提案します。
提案手法では、画像を見る被験者からfMRIで測定した脳活動から、
画像の視覚特徴パターンを予測するよう学習したデコーダを用いてDNN（Deep Neural Network）の信号パターンへ変換します。
そして、DGN（Deep Generator Network）を組み合わせて画像を生成します。
これらのことで、人間が見ている画像に類似した画像を脳活動の情報から高いレベルで生成することを可能にしました。
以下の映像では、左に見ている画像、右に出力した画像が映し出されます。
心の中のイメージも画像化に成功
また、心の中でイメージした内容を画像化することにも成功しました。手法は上記と同じです。
上述では、見ている画像を再構成しましたが、今度は一度見た画像を記憶し、
画像を見ていない状態から心の中でイメージする脳活動だけで再構成するというものです。
被験者には、関連付いている単語と画像をペアで記憶させ、その後、単語を提示し画像を想起させました。
以下の映像では、その結果を確認する事ができます。左に記憶した画像、右に再構成した画像です。
画像：（左が見ている画像、右が再構成された画像）
http://shiropen.com/wp-content/uploads/2018/01/ezgif-4-1082d57d21.gif
図：本提案手法の概要。
http://shiropen.com/wp-content/uploads/2018/01/Deep-image-620x525.png
関連動画
Deep image reconstruction: Natural images https://youtu.be/jsp1KaM-avU
Deep image reconstruction: Visual imagery https://youtu.be/b7kVwoN8Cx4
Seamless
http://shiropen.com/2018/01/14/31458