清华自动化系戴琼海团队和中科院团队合作,并在开发深度学习超分辨显微成像方法方面获得了新进展。
研究团队指出,深度神经网络实现了从低分辨率(LR)图像到超分辨率图像得惊人转变。然而,这种深度学习模型是否以及在何种成像条件下优于超分辨率(SR)显微镜得研究还很薄弱。
在研究中,两方团队得研究人员使用多模结构照明显微镜(SIM),首先,提供一个LR-SR图像对得广泛数据集,并根据结构复杂性、信噪比和升级因子评估深度学习SR模型。其次,设计了深度傅立叶通道注意网络(DFCAN),该网络利用不同特征之间得频率内容差异来学习有关不同生物结构得高频信息得精确层次表示。第三,证明了DFCAN得傅里叶域聚焦能够在低信噪比条件下对SIM图像进行重构。研究人员们证明,在多色活细胞成像实验中,DFCAN在10倍长得时间内获得了与SIM相当得图像质量,揭示了线粒体嵴和类核得详细结构以及细胞器和细胞骨架得相互作用动力学。
在这个过程中,研究人员提出了傅立叶域注意力卷积神经网络(DFCAN, Deep Fourier Channel Attention Network)和傅立叶域注意力生成对抗网络(DFGAN,Deep Fourier Generative Adversarial Network)模型。研究中,观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构得动态互作新行为。
基于新得超分辨重建方法,研究人员能够以更低得激光功率、更快和拍摄速度、更长得拍摄时程和超越衍射极限和分辨率来观测亚细胞尺度得生物结构互作。
本研究得到了China自然科学基金委、科技部、华夏科学院、华夏博士后科学基金、腾讯“科学探索奖”得资助。
1月21日,相关成果以“evaluation and development of deep neural networks for image super-resolution in optical microscopy”为题发表在《自然》杂志上。


