红外偏振摄像机动目标检测跟踪系统（特邀）
以下文章来源于微信公众号光电e+ ，作者红外与激光工程
引用格式
张景程, 乔新博, 赵永强. 红外偏振摄像机动目标检测跟踪系统（特邀）[J]. 红外与激光工程, 2022, 51(4): 20220233. doi: 10.3788/IRLA20220233
导读
基于红外偏振摄像的机动目标检测跟踪系统对实时性要求较高，而且在野外场景下需要具备低功耗的特点。FPGA具有并行计算的特性，能够极大地提高系统吞吐量和处理数据速度，能够满足实时性的要求，因此一种基于FPGA的目标检测跟踪系统被设计出来并得以实现。
在硬件开发平台上采用模块化以及软硬件协同设计的方式，将具有不同计算特点的任务分别在PS端(ARM)以及PL端(FPGA)实现，其中PL部分负责部分算法的加速、FPGA和ARM处理器之间数据传输以及HDMI等接口逻辑控制等，PS部分负责实现较为复杂的检测跟踪算法，以及负责控制FPGA端的各个模块。
最后，对目标检测跟踪系统进行实验测试和分析，给出系统的硬件资源消耗及功耗，结果表明该目标检测跟踪系统能够满足实时性的要求，并且具备低功耗的特点。
研究背景
在复杂背景以及目标与背景达到热平衡后，传统的红外成像技术将难以区分目标与背景，使后续的检测、跟踪等任务难以实现。红外偏振成像技术不仅能获取目标与背景的红外辐射强度信息，还能得到目标与背景的偏振信息。
偏振信息能表示目标的理化特性，即使处于复杂背景或当目标与背景达到热平衡后依然能体现出目标与背景在偏振信息上的差异，提高目标与背景之间的对比度。基于机载、弹载的硬件设备对地面目标检测跟踪时，通常需要较高的实时性以及较低的功耗，因此检测跟踪系统的设计和实现至关重要。
目标检测算法利用了局部对比度信息，局部对比度信息是目标信息和背景信息之间的对比，它能够更好地突出目标并且抑制背景，使得目标在检测过程中更加突出。文中利用局部对比度的机理，提出了基于偏振权重的偏振度显著图。光波的任意偏振态可以由斯托克斯矢量来表示，利用斯托克斯矢量可以计算出偏振度图像。
偏振度显著图则是利用局部对比度计算得来。局部对比度的计算是通过滑窗操作来增强滑窗中心的目标区域。为了对目标区域进一步增强，引入中心区域的偏振度与背景区域偏振度的差值作为局部对比度的权重。对整个图像进行遍历之后，得到整个图像的偏振度显著图，通过显著图可以快速关注到较为显著的目标。
文中利用自适应阈值操作来对目标与背景进行分割。文中利用偏振梯度直方图作为特征提取法，跟踪算法采用KCF跟踪算法。
主要内容
图1 微偏振片阵列和红外偏振马赛克图
文中数据采集所使用的分焦平面红外偏振相机是将检偏器件通过微纳加工覆盖在焦平面上，焦平面上每个像元对应一个微偏振片，由微纳光栅构成的微偏振片阵列中每2×2个像元为一组，如图1所示。图1的左侧为2×2的微偏振片阵列，对应的偏振角度分别为：左上角0°、右上角45°、右下角90°、左下角135°，图1右侧为由2×2的微偏振片阵列重复排列所构成的红外偏振马赛克图像。
图2 检测跟踪系统软硬件协同设计框图
图2中的箭头指向代表控制信号和数据流向。该设计的工作流程为：PS端首先对系统进行初始化，并将红外偏振马赛克数据读入DDR3 内存中，然后检测算法模块通过VDMA（Video Direct Memory Access）读取第一帧图像得到目标的初始位置，特征提取模块利用目标初始位置对目标进行特征提取，然后跟踪算法利用目标特征对目标位置进行预测。最后，PS端将图像和跟踪结果通过VDMA送至HDMI显示模块，并在显示器进行显示。
图3 系统结构图
基于上述的软硬件协同设计方式给出了整个系统的框架，系统结构如图3所示。该系统根据不同任务的计算特点将其分配到PL和PS端执行，利用FPGA和ARM各自优势进行协同计算，使系统具备更快的数据处理能力以及更高的计算精度和灵活性。
该设计将计算结构简单、重复性较强的梯度计算在 FPGA 中实现，利用行缓存的方式对数据流进行处理。对于梯度的幅值和相角计算以及直方图统计，这部分涉及到大量的浮点运算并且难以采用行缓存的形式来实现，因此放入 ARM 中执行。这样的分平台计算既可以减少精度损失、也可以利用 FPGA 的特性来实现部分算法的加速。
因此，基于 ARM+FPGA 平台的特征提取软硬件协同计算综合考虑了速度以及精度问题，能够较好地实现算法，并且合理地利用硬件平台的资源。
基于FPGA的场景一的车辆目标检测跟踪结果如图4所示，图4(a)~(d) 为第 1、20、45、60 帧的目标检测结果，图 (e) 为 Dop 图像，图 (f) 为 Dop 显著图像。场景一在跟踪过程中存在相似的车辆目标干扰，可以发现道路上的车辆在偏振度图像上较为明显，因此跟踪中并未出现错误跟踪的情况。
图4 场景一检测跟踪结果
结论与展望
传统红外检测、跟踪系统在复杂背景以及目标与背景达到热平衡时难以对目标进行检测、跟踪。文中基于红外偏振摄像技术构建了红外偏振目标检测跟踪系统。系统采用模块化以及软硬件协同设计的方式，将软件的不同任务分平台执行，对整体硬件系统进行设计。
对系统的检测跟踪结果进行的分析，并对系统的硬件资源消耗及功耗进行测试，结果表明文中的红外偏振目标检测跟踪系统具有较高的检测跟踪精度，并且具有低功耗、较高实时性等特点。若能充分利用 FPGA 的计算能力，对跟踪过程进行加速，系统有望获取更低的功耗与更高的实时性。
作者介绍
通讯作者：赵永强，西北工业大学自动化学院教授，博士生导师。长期从事偏振成像、高光谱遥感、图像处理与模式识别、目标检测跟踪识别。先后主持/参与了多项国家重点项目、十余项其它项目的研究工作。先后在IEEE Trans.、ISPRS、OSA等处发表学术论文100余篇，授权发明专利20余项，研制出的非制冷型分焦平面红外偏振焦平面、非制冷型分焦平面红外多光谱焦平面等成果填补了多项国内空白，研制出的FPGA嵌入式高性能AI平台解决方案已得到多项应用，先后获省部级奖5项。
原文链接：
