banner

深度学习赋能全光纤千万帧率高速成像

2022年3月17日,清华大学精密仪器系先进激光技术研究团队提出了一种基于多模光纤模式色散和深度学习的高速全光纤化成像方法,实现了千万帧率高速成像,该工作近期以“深度学习赋能全光纤高速图像探测”(All-fiber high-speed image detection enabled by deep learning)为题发表在《自然·通讯》(Nature Communications)期刊上。


多模光纤成像技术因其超细微型探头和柔性结构带来的灵活性优势,在生物体内成像、工业检测等领域具有广阔的应用前景,获得了业界广泛的关注。目前,多模光纤成像技术主要分为两类,一类通过在光纤远端产生聚焦点进行扫描成像,另一类通过探测光纤近端的散斑场来恢复光纤远端被探测的全场图像。这两种技术途径已有较完善的理论支撑,能得到较清晰的探测图像,但同时也具有一些难以弥补的劣势。例如,受限于空间光调制器、电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)器件的刷新速度,成像帧率较低,难以对高速的事件进行成像;结构中包含自由空间光学元件,因此需要精密的光学对准,无法与传像主体集成实现全光纤化,限制了其应用范围;成像波长受限于CCD或CMOS器件的感光光谱范围,限制了其在红外波段的成像能力。
为此,清华大学精密仪器系先进激光技术研究团队基于十多年来在光纤激光器、光纤器件和光纤传感的技术积累,提出了基于多模光纤模式色散和深度学习的高速全光纤化成像技术。该技术采用皮秒脉冲光纤激光照明被测物,利用多模光纤的模间色散特性将被探测图像的空间信息在时域上展开,时域信息通过单像素探测器进行探测,并借助神经网络训练的方法,由一维时域信息恢复出二维图像信息,整体结构和原理如图1所示。

图1 高速多模光纤成像系统示意图。(a)实验原理图;(b)用神经网络进行图像恢复的流程图;(c)光纤探头示意图;(d)照明光(黄色箭头)侧面注入探测光纤的示意图,信号光(红色箭头)在纤芯中传播;(e)探测光纤远端照片,端面通过烧球来更好地聚焦照明光,比例尺500微米。

该技术通过一个光纤侧面耦合器将皮秒脉冲光纤激光耦合到探测光纤中,然后从光纤的远端出射照到物体上,反射光进入探测光纤后紧接着进入与之连接的一公里长的50/125微米直径多模阶跃光纤中传播。由于模间色散的存在,进入多模光纤的脉冲光会产生分裂形成脉冲串,如图2所示,这是由于不同的光纤横模有不同的群速度,因此在时域上会彼此分离,而这些横模包含了被探测图像的空间信息,通过模式色散便可将被探测物体的空域信息在时域上展开。

图2 模式色散导致的脉冲分裂

通过超快光电探测器可以获得脉冲串波形,实验中通过一个大带宽示波器存储波形,将大量的图像/波形集输入到经神经网络模型进行训练后,可以得到波形到被探测图像的映射关系,从而直接从不同的脉冲波形中恢复出被探测图像,如图3所示。图4展示了来自不同数据库中图案的成像效果。

图3 被探测图像与其对应的波形和恢复结果

图4 不同类型图案的成像效果

该系统的最大成像帧率主要取决于脉冲光源的重频,目前实验中通过使用15.4 MHz重频的皮秒脉冲光源实现了高达15.4 Mfps帧率的成像,并实验验证了达到53.5 Mfps帧率的可行性。由于实验中使用的示波器一次可以存储多达1万个波形,因此该具备连续采集1万帧图像的能力。如果采用重复频率更高的激光照明源,并搭配更快的光电探测器和时域波形采集设备,其帧率可以持续提升。
团队所提出的新技术的突出优点是:帧率主要由脉冲光源的重频决定,成像帧率高;全光纤化的系统结构紧凑,细如发丝的探头大大增加了灵活性;单像素成像,探测波段不再受限于可见光,可扩展到近红外、甚至中波红外等其他波段;采集时域信号而非空间分布,抗干扰能力强。该系统在某些高速成像场景中比如体内高速细胞成像,或者工业场景下对难以开放系统的内部高速成像检测等领域具有巨大应用潜力。
该论文通讯作者为清华大学精密仪器系肖起榕副教授,第一作者为清华大学精密仪器系2018级博士生刘洲天。该研究得到了国家自然科学基金资助。
清华大学精密仪器系先进激光技术研究团队学术带头人为系主任、教授柳强,团队以现代化强国建设与国家重大需求为导向,着眼于光电子技术领域的科学与技术发展前沿,围绕固体激光、光纤光学、自适应光学、激光探测等方向,开展基础科学探索、应用基础研究和系统技术研发,全面覆盖高功率激光光源、光束控制、光电探测等技术领域。团队承担国家科技重大专项、国家重点研发计划、“973”计划、“863”计划、重点验证、专项配套型号研究等一系列重大项目,形成了从高功率激光光源到微弱光电信号测控的整套技术链条,具备完整的激光光电和测控技术能力,在相应研究方面取得了重要进展。2018年获批建设光子测控技术教育部重点实验室,2019年入选重点领域科技创新团队。

论文链接:
https://www.nature.com/articles/s41467-022-29178-8