中国团队推出脑电图图像生成模型 清华、腾讯参与研究_3DM单机

IT之家今日（7月5日）消息，清华大学深圳国际研究生院、腾讯人工智能实验室（AI Lab）和鹏城实验室的研究人员近日发表论文称，研究团队开发了一个名为DreamDiffusion的图像生成模型，该模型可以直接通过脑电图（EEG）信号生成高质量图像。相关论文发表于美国康奈尔大学旗下在线学术论文平台arXiv上。

目前已有不少团队研究了使用文本到图像的扩散模型从人脑生成图像的方法，但大多数采用的都是功能性磁共振成像（fMRI）技术捕捉大脑活动从而生成图像。这种技术缺乏实用性，因为它需要专家操作并且需要昂贵且难以携带的fMRI设备。

相比之下，脑电图是一种记录大脑电波活动的非侵入性、低成本方法，且已有一些便携式商业产品可以轻松采集脑电图信号。于是，研究团队提出了一种“稳定扩散”的图像生成方法，能够减少脑电图信号的噪声干预，使扩散模型的预训练更稳定有效。

研究团队向6位受试者展示了属于40个不同对象类别的2000张图像，进而通过采集受试者的脑电图信号来生成高质量图像。下图中每组左边标有GT的是原始图像，右边的Sample图像为脑电图生成图像。

为了评估该方法的准确性，研究团队将其与最近的另一项类似研究Brain2Image进行了定性比较，结果证实，其准确率明显高于Brain2Image生成的图像，从而证明了该方法的有效性。