解码脑电信号，AI重构脑中的画面

一贯借黑科技刻画人性阴暗面的英剧《黑镜》刚出第四季，其中第三集《鳄鱼》的提到的视觉记忆提取，就已经被日本科学家Yukiyasu Kamitani实现了。相关工作Deep image reconstruction from human brain activity已经发表在biorxiv上。

　　△京都大学脑情报研究所所长Yukiyasu Kamitani教授

　　基于人脑fMRI扫描数据，Tomoyasu Horikawa带领的研究团队新开发的算法可以根据脑血管中血流的变化来检测的脑电信号，然后运用神经网络把人脑中的画面高清度地重现出来。

　　有了这项技术，以后就可以轻易地知道一个人曾经发生过什么事，去过哪些地方，甚至连白日做梦的场景都可以被读取出来。

　　对于那些已经成为植物人的患者来说，读取他们大脑里存储的回忆，可能是他们的爱人连接他们的唯一方式。

　　△《黑镜》S4E3 Crocodile的提到的视觉记忆提取器

　　论文一作Tomoyasu Horikawa说，“我们发现，不管志愿者看到的图是自然的还是人工合成的，解码后生成的图还原度很高，或者可以反映出来看图时的主观感受。”

　　△志愿者脑里想字母或者是动物，都可以被解码出来

　　Horikawa还提到，“即使这种算法只用自然图像训练过，但依然可以成功地重构人工合成的图像。说明我们的模型是根据脑电活动来重构图像的，而不是简单地匹配学习过的例子。”

　　△根据fMRI扫描的数据，神经网络可以预测出看到物体的特征。比如说这个鬣蜥。

　　△3个志愿者被要求盯着动物的图片看，比如说猫头鹰。

　　在志愿者看的时候，研究团队会同时观察他们的脑部活动。

　　△该神经网络经过50张自然图像的训练，比如像这个天鹅。

　　研究团队还使用了第二种算法，DGN（深度生成网络），来检查所生成的图像看起来是否足够逼真，然后想办法优化，使得它们更容易被识别。

　　△团队使用的第二种算法，DGN，用于优化图像真实度的深度生成网络

　　这项研究，是延续Kamitani教授之前的fMRI解码脑电工作。

　　根据发表在Nature Communications论文Generic decoding of seen and imagined objects using hierarchical visual features称，研究团队是通过分层处理视觉特征，来决定所观察物体的种类，比方说可以区分出乌龟和蜥蜴。

　　Kamitani坦言，“虽然，还原出来的图像清晰度因人而异，但是这项技术的意义，是打开了一个全新的窗口，让我们可以更加了解人的内心世界。”

　　△不同人的脑电信号不同，还原出来的图也不尽相同

　　当志愿者看到同一张图片时，研究团队发现脑电活动是存在一定模式和规律的。

　　△训练的图像还包括了各种符号或几何形状

　　伦敦大学学院的神经影像专家Geraint Rees认为，这项技术会带来翻天覆地的变化。他对AI能够辨识从来没学过的字母感到十分震惊。“他们（在解码脑电重构图像的）早期工作是个巨大的进步。”

　　最后，附原文链接：
http://www.dailymail.co.uk/sciencetech/article-5231179/AI-create-images-based-pictures-looking-at.html

　　以及新发表的论文链接：
https://www.biorxiv.org/content/biorxiv/early/2017/12/30/240317.full.pdf