一种新的算法使用大脑活动来创建被观测的照片(下面的两行)的重建图(第一行)

想象一下，在一堆数码照片中快速搜索你想要的人或图像。或者在不拿笔的情况下，画出你喜欢的人的样子。一台能读懂你的大脑的计算机会在日常生活中提供很多帮助。现在，科学家们已经创造出了第一个这样的算法，能够解读并精确地复制人类看到或想象的图像。但是，也许要过几十年，这项技术才会被应用到实际应用中。

使用算法来解读心理图像并不是项新技术。自2011年以来，研究人员通过将大脑活动与在观看图像时记录的活动相匹配，重新创建了电影片段、照片甚至梦境图像。但是，这些方法都有其局限性:有些只能处理像人脸形状这样的窄域，而另一些则必须从预先设定的图像，像是“人”或“鸟”这样的类别中进行选择。

日本京都大学的四位科学家正在将这一技术变得越来越接近现实。去年12月下旬，Guohua Shen, Tomoyasu Horikawa, Kei Majima和Yukiyasu Kamitani公布了他们最新的研究成果，他们利用人工智能在一个叫做BioRxiv的科学平台来解读想法。

机器学习以前被用于研究脑部扫描(核磁共振成像)，并在提及简单的二进制图像时生成人类的想法，二进制图像可以是黑白字母或简单的地理形状(如下图所示)。

但是这些科学家们开发了利用深度神经网络(人工智能)“解读”思想的新技术。这项新技术让科学家们可以解读更复杂的“等级”图像，这些图像有多层的颜色和结构，比如鸟的图片，或者戴着牛仔帽的人。

“我们一直在研究一种方法，通过观察一个人的大脑活动，来重建或重新创造一个人看到的图像，”Kamitani说道。“我们之前的方法是假设图像由像素或简单的形状组成。但众所周知，我们的大脑是通过分层提取不同层次的特征或组件来处理视觉信息的。”

新的人工智能研究让计算机能够探测到物体，而不仅仅是二进制的像素。Kamitani说:“这些神经网络或人工智能模型可以作为人类大脑的层次结构的代表。”

在这项研究中，在10个月的时间里，三个实验对象被展示成了自然的图像(如鸟或人的照片)，人造的几何形状，以及按照排序的字母，展示的时间长短不一。

他们绘制了分辨率为2毫米的视觉处理区域，三个人分别看了超过1000幅图像。他们的目标是仅仅考虑这些活动的反应，最终让计算机绘制出几乎相同的活动图像。

但是，他们并没有展示他们的实验对象，而是为大脑构建了一个软件替身，一个有几层简单的处理元素的深度神经网络(DNN)。

通过使用一个“解码器”，研究人员在深度神经网络中创造出了大脑对图像的反应。从那时起，他们不再需要真正的功能核磁共振成像测量。

在猜测某人在看什么时，深度神经网络作为一个模板，功能核磁共振成像数据被放在一边。然后，系统尝试绘制一幅图片，它将触发深度神经网络以与该模板匹配的方式进行响应。通过反复试验，直到它能描绘出想要的图像。为了更接近理想的图像，系统计算了深度神经网络活动和模板化的深度神经网络活动之间的区别。这些计算使它能够以这种方式使像素越来越清晰，直到它接近它的理想图像。

为了使最终产生的图像结果更加准确，研究人员使用了一个“深度生成器网络”(DGN)，这个算法在这个例子中被预先训练以生成基于其输入的真实图像。DGN对这些画作进行了改良，使其看起来更自然。研究人员在上个月底的一篇论文中称，一旦这一要素被添加到训练中，人类观察者在99%的时间就能分辨出两张照片中哪张图像是重建的。

接下来，科学家们仅仅通过想象图像来试图解读人们的思维。这一次，他们扫描了三个受试者的大脑，要求他们回忆之前展示过的图像，包括鱼、飞机和简单的彩色图形。该方法的效果不是很好，生成器在83%的时间内创建了一个可识别的图像。

下面的流程图打破了可视化是如何被“解读”的科学。

下面的两张图表显示了计算机为那些在查看自然图像和字母图像时的活动被记录的对象所重建的结果。

Kamitani说:“与以前的方法不同，我们可以通过想象一些记忆的图像来重建一个人的视觉图像。”正如下图所示，当解读大脑信号时，人工智能系统在重建时变得更加困难。这是因为一个人很难准确地记住他所看到的一只猎豹或一条鱼的形象。Kamitani说:“在这种情况下，大脑的激活就变得更少了。”

随着该技术的准确性不断提高，潜在的应用程序是令人难以置信的。这种可视化技术可以让你通过想象一些东西来画画或者创作艺术;你的梦想可以通过计算机来实现;此外，精神病患者的幻觉可以变得可视化，方便医生为他们进行治疗;Kamitani还提到，大脑机器界面可能有一天会允许人类与图像或想法进行交流。