科学研究

物理科学与工程学院王占山和程鑫彬团队的王绪泉等人在《Advanced Imaging》发表最新成果——基于边缘敏感度分析的单片红外计算成像加速重建

发布时间:2025-06-05 发布者: 来源: 浏览:

AI赋能的计算成像技术可以使用简单紧凑的光学系统实现高质量的红外成像。然而,专用的图像重建算法引入了额外的探测时延,显著增加了系统的算力和功耗需求,严重阻碍了计算成像技术在无人机遥感、生物医学诊疗等高速、低功耗场景的实际应用。神经网络模型压缩是边缘加速的重要手段,但传统模型压缩策略主要侧重于网络复杂度(Complexity)和乘加运算(MACs)层面优化,忽略了计算成像的特有约束和边缘芯片硬件架构的特定要求,使其在计算成像的边缘应用中效率提升有限。

鉴于此,同济大学物理科学与工程学院王占山教授和程鑫彬教授团队的王绪泉、邢裕杰等人,提出面向计算成像硬件特性感知的边缘AI加速重建策略,在边缘神经网络芯片上综合采用了算子适配性重构、敏感度剪枝和混合量化等手段,实现了单片红外计算成像相机的重建速度和质量之间的高效平衡。2025年6月,相关成果以“Edge accelerated reconstruction using sensitivity analysis for single-lens computational imaging”为题,在线发表于计算成像领域权威期刊《Advanced Imaging》。


图1 基于边缘敏感度分析的单片红外计算成像加速重建策略


文章针对单镜片计算成像系统提出的端到端敏感度分析边缘加速重建方法如图1所示。该策略以恢复算法在AI芯片上的实际性能(包括图像恢复质量和网络推理速度等)作为优化目标,对部署于NPU芯片上的重建网络进行高效轻量化压缩。为确保AI芯片与算法之间的最佳兼容性,文章首先开展了芯片算子的适配性和网络模块的剪枝/量化敏感度分析,并在此基础上进一步实现了芯算适配性和边缘敏感度引导下的定制化模型压缩。


图2 (a)单片红外计算成像系统样机 (b)U-Net图像重建网络结构


图3 不同模型压缩策略的重建图像结果


文章提出的边缘加速策略实现了超过了25 fps的实时图像重建,并保持了与原始模型相当的图像重建质量。相比未采用硬件特性感知的剪枝和量化方案,这种边缘加速重建方法通过硬件和软件的联合优化实现了性能和效率之间的平衡,为无人机载光学探测和原位医学诊疗等领域的轻量化、低延迟计算成像应用铺平了道路。

同济大学为论文第一单位,同济大学程鑫彬教授、顿雄副教授为论文的共同通讯作者,同济大学助理教授王绪泉和邢裕杰为论文共同第一作者,对论文做出重要贡献的合作者还包括同济大学的王占山教授和博士生赵紫昱。


论文链接:http://dx.doi.org/10.3788/AI.2025.10003