近期，中国科学院上海光学精密机械研究所空天激光技术与系统部司徒国海研究员团队，提出了一种基于深度神经网络的、能应用于自然场景的实时非侵入式透过散射介质光学成像方法。相关成果以“Learning-based real-time imaging through dynamic scattering media”为题发表于Light: Science & Applications。
透过散射介质成像对道路交通安全、火场救援、安防监控、水下探测与医疗诊断等领域具有重要的科学意义和应用价值。随着近些年人工智能技术的兴起，研究人员已经利用深度神经网络实现从散斑图样中复原出清晰的物体、通过优化光场调控实现透过散射介质聚焦、以及实现超17倍光学厚度的散射成像等工作。这些研究成果无不彰显着人工智能技术带来的收益。然而，受限于实际应用场景的数据集难以采集，大多已有研究只能用空间光调制器依次加载大量图像，在实验室人造散射环境中，人造光源侵入式照明条件下，用相机采集相应的散射图像。这样设计的实验条件与实际散射场景在光学特性上大相径庭，用这些数据训练的深度神经网络只能应用在类似的实验环境，而无法应用在真实的外场散射环境中。
图1：DescatterNet算法框架。（a）实验装置。利用不发光且漫反射的墨水屏模拟真实物体，采集模拟真实散射场景的数据集。（b）数据处理流程。首先利用数据预处理方法消除不均匀本底同时增强图像特征，然后训练优化的网络模型，最终应用于真实物体和真实场景的散射成像。
针对这一问题，研究团队提出了一种深度学习技术应用于真实散射场景的解决方案，分别从实验装置设计、数据集设计、数据预处理方法、AI模型优化和部署等方面进行研究，最终在真实物体和自然场景中取得显著的散射成像效果。
图2：DescatterNet在不同散射程度条件下的复原结果。第一行是相机采集原始图像归一化显示的结果。第2~4行是网络模型对不同样本的复原结果。右图是散射图和复原图的评价指标随散射程度变化的曲线
如图2所示，随着散射程度加深，原始散射图像迅速退化，并完全无法分辨。 DescatterNet对真实物体实现了高质量的散射成像，大大提高了成像系统的探测性能。
图3：DescatterNet应用于自然场景的散射成像。（i）采集的原始散射图像；（ii）暗通道去雾算法的结果；（iii）Retinex算法的结果；（iv）本文方法的结果；（v）清晰图像
在前面工作基础上，研究人员进行了自然场景的散射成像实验，并搭建了如图3a所示的成像装置。在这项实验中，该研究成功实现了透过户外5.9km的浓雾环境对自然场景进行散射成像。传统图像增强方法比如暗通道和Retinex等都难以复原出清晰图像，而DescatterNet则取得最优的复原结果。
该成果表明解决AI技术应用于真实散射场景的关键在于适配的数据集、数据处理算法以及强大的神经网络。结合光学成像原理研制的新一代智能成像技术极大地提高了系统的探测性能，在恶劣天气下交通安全、视频监控、火场救援和水下探测等领域展现出巨大的应用前景。
本工作得到了国家自然科学基金委、上海市学术带头人项目、上海市科技重大专项以及上海扬帆计划等项目的支持。
