你知道吗?你知道吗?果蝇被认为是人类研究最彻底的生物之一。迄今为止,对果蝇的研究已经获得了八项诺贝尔奖,促进了分子生物学、遗传学和神经科学的发展。
科学家们一直梦想通过绘制大脑神经网络的完整结构来了解神经系统是如何工作的。
最近研究的一个主要目标是果蝇的大脑。
果蝇的一个重要优势是体积:果蝇的大脑比较小,只有10万个神经元,相比之下,小鼠大脑有1亿个神经元,人类大脑有1000亿个神经元。
这使得果蝇的大脑更容易作为一个完整的回路来研究。
今天,谷歌与霍华德休斯医学研究所(HHMI)和剑桥大学合作,发布了对果蝇大脑进行深入研究的新研究成果——,该成果自动重建了果蝇的整个大脑。
这篇论文的题目是“使用洪水填充网络和局部调整的连续切片成像的果蝇脑的自动重建”:
共有来自谷歌、霍华德休斯医学研究所(HHMI)Jane lia研究园和剑桥大学的16名研究人员参与了这项研究。其中,第一作者Peter H. Li是谷歌的研究科学家,主要研究方向包括普通科学、机器智能和机器感知。
他们还提供了果蝇完整大脑图像的展示,任何人都可以下载和查看,或者使用交互式工具在线浏览。他们开发了一个名为Neuroglancer的3D交互界面。
果蝇的大脑已经不是第一次被完全绘制出来了。今年1月,《科学》杂志在封面报道称,来自麻省理工学院和霍华德休斯医学研究所(HHMI)的科学家成功对果蝇的整个大脑进行了成像,清晰度达到了纳米级别。但这仍然是一种人工方法,使用了两种最先进的显微镜技术。
几十年来,神经科学家一直梦想着绘制一个完整的大脑神经网络的精细地图,但对于拥有1000亿个神经网络的人脑来说,要处理的数据量是不可想象的。如果果蝇的大脑可以自动重建,可能就离自动绘制人脑更近了一步。
这并不是Peter H. Li的团队第一次尝试用AI方法绘制大脑神经元。他们分别在2016年和2018年对较小的数据集进行了研究,如下图右下角所示。
40万亿像素果蝇大脑的三维重建:右下角是Google AI分别在2016年和2018年分析的较小数据集。
2018年,谷歌与德国马克斯普朗克神经生物学研究所合作,开发了一种基于深度学习的系统,可以自动绘制大脑中的神经元。他们重建了一百万立方微米斑马雀的大脑扫描图像。
研究人员表示,由于成像的高分辨率,即使只有一立方毫米的脑组织也可以产生超过1000TB的数据。所以这次整个果蝇大脑的重建,数据量之庞大可想而知。
用来处理数据的,是谷歌的云TPU,而且有上千个!
谷歌AI负责人杰夫迪恩(Jeff Dean)也在推特上感叹:
谷歌自动重建了果蝇的完整大脑:首次公布了40万亿像素的图像。
TPU真的会飞!GoogleAI的科学家利用TPU来帮助重建整个果蝇大脑的神经连接!
下面,新智元带来了这项研究的详细解释:
实验过程中使用的主要数据集是FAFB,是“全成体苍蝇大脑”的简称(相关数据集信息见文末)。
在这个数据集上,研究人员将果蝇的大脑切割成数千个40纳米的超薄切片,然后用透射电子显微镜对每个切片进行成像,产生了超过40万亿像素的大脑图像。并将这些2D图像整合成果蝇的连贯3D大脑图像。
接下来,研究人员使用成千上万的云TPU和应用洪水填充网络(FFN)来自动跟踪果蝇大脑中的每个神经元。
上图中的a是三维渲染的FAFB数据集的平滑组织掩膜。任意冠状切片(数据集的XY平面)显示了整个内部FAFB-FFN1分割。B-E显示增加缩放比例后的效果。
虽然该算法整体运行效果较好,但当配准不完善(连续切片中图像内容不稳定)或偶尔由于成像过程中多个连续切片丢失时,性能会有所下降。
为了解决这个问题,研究人员将FFN与两个新程序结合起来。
首先估计三维图像每个区域切片的一致性,然后在FFN跟踪每个神经元时局部稳定图像中的内容。
其次,研究人员使用SECGAN计算图像体积中的缺失切片,当使用SECGAN时,研究人员发现FFN可以更可靠地跟踪多个缺失切片的位置。
在处理包含数万亿像素的3D图像和形状复杂的对象时,可视化既重要又困难。受谷歌开发新可视化技术历史的启发,研究人员设计了一种可扩展、功能强大的新工具,任何人都可以通过支持WebGL的网络浏览器访问。
结果就是Neuroglancer,一个在github上的开源项目,可以查看petabyte级3D volume,并支持许多高级功能,如任意轴横截面重构(arbitrary-axis cross-sectional reslicing),多分辨率网格,以及通过与Python集成开发自定义分析workflow的强大功能。该工具已被合作者广泛使用,包括艾伦脑科学研究所、哈佛大学、HHMI、马克斯普朗克研究所(Max Planck Institute)、MIT、普林斯顿大学等。
未来工作
谷歌表示,HHMI和剑桥大学的合作者已经开始使用这种重建来加速他们对果蝇大脑学习、记忆和感知的研究。然而,由于建立连接组需要识别synapses,因此上述结果还不是真正的connectome。他们正与Janelia Research Campus 的FlyEM团队密切合作,利用“ FIB-SEM ”技术获得的图像,创建一个高度验证且详尽的果蝇大脑的connectome。