当前位置: 编码机 >> 编码机发展 >> 无人机交通巡检无人机车辆跟踪实现自动巡逻
通过无人机车辆跟踪技术,锁定车辆后,基于人工智能视觉分析技术,结合无人机摄像头,可实现对车辆的自动轨迹跟踪,下面介绍几种效果较好的无人机车辆跟踪所涉及的技术。
TCTrack:TemporalContextsforAerialTracking
在现有的视觉跟踪器中,连续帧之间的时间背景远未得到充分的利用。在这项工作中,ZiangCao和ZiyuanHuang等人提出了一个全面的框架:TCTrack,以充分利用时间背景进行空中跟踪。时间背景被纳入两个层面:特征的提取和相似性地图的完善。
图1TCTrack框架概览具体来说,对于特征提取,ZiangCao和ZiyuanHuang等人提出了一个在线时间自适应卷积,利用时间信息增强空间特征,这是通过根据先前的帧动态校准卷积权重来实现的。对于相似性图的细化,提出了一个自适应的时间变换器,它首先以一种节省记忆的方式有效地编码时间知识,然后再对时间知识进行解码以准确调整相似性图。
图2研究框架实际测试中的特殊挑战包括不同的光照、尺度变化、遮挡、运动模糊和低分辨率场景。图3显示了对实用无人机跟踪记录的可视化情况。当面对部分遮挡和低照度时(第一行),跟踪器通过利用连续的时间知识,可以保持令人印象深刻的稳定性和鲁棒性。
图3在嵌入式平台上记录真实世界的测试同时,当面对运动模糊和被遮挡的物体时(第二行),跟踪器也取得了令人满意的准确性。此外,第三行的视觉效果强烈显示了跟踪器在摄像机运动条件下的强大能力。最后,跟踪器在面对运动模糊和被遮挡的物体时保持在没有TensorRT3加速的测试中,速度超过27FPS。
MeMOT:Multi-ObjectTrackingwithMemory
JiaruiCai和MingzeXu等人提出了一种在线跟踪算法,该算法在一个共同的框架下进行物体检测和数据关联,能够在很长的时间跨度上,将物体联系起来。通过保留一个大型的时空存储器来存储被追踪物体的身份嵌入,并根据需要自适应地引用和聚合存储器中的有用信息来实现的。
图4MeMOT的可视化JiaruiCai和MingzeXu等人的模型被称为MeMOT,由三个主要模块组成,它们都是基于变形器的。一是假设生成,产生当前视频帧中的物体建议;二是内存编码,从内存中提取每个被跟踪物体的核心信息;三是内存解码,同时解决多物体跟踪的物体检测和数据关联任务。在对广泛采用的MOT基准数据集进行评估时,MeMOT观察到非常有竞争力的性能。
图5长期和短期注意力的视觉化提出了MeMOT,通过联合进行物体检测和数据关联来实现在线MOT。MeMOT保留了大量的时空记忆,并通过一个基于注意力的聚合器主动编码过去的观察结果。通过将对象表示为动态更新的查询嵌入,MeMOT用注意力机制预测对象状态,而不需要任何后处理。
图6对MOT挑战数据集的评估结果广泛的实验验证了MeMOT在拥挤场景中物体定位和关联的有效性。MOT技术在现实世界中有许多应用,如病人或老人的健康监测、自动驾驶和协作机器人。然而,可能会有一些意外的使用,提倡在遵守适用法律和法规的情况下负责任地使用。
TowardsGrandUnificationofObjectTracking
BinYan和YiJiang等人提出了一个统一的方法,称为Unicorn,它可以用一个网络使用相同的模型参数同时解决四个跟踪问题(SOT、MOT、VOS、MOTS)。由于物体跟踪问题本身的定义比较零散,大多数现有的跟踪器都是为解决单一或部分任务而开发的,并且过度专注于特定任务的特征。
图7Unicorn由三个主要部分组成相比之下,Unicorn提供了一个统一的解决方案,在所有跟踪任务中采用相同的输入、骨干、嵌入和头部。BinYan和YiJiang等人第一次完成了跟踪网络架构和学习范式的大统一。
图8LaSOT和TrackingNet的最先进比较BinYan和YiJiang等人将Unicorn与最先进的SOT追踪器在两个流行的、具有挑战性的基准上进行比较,即LaSOT和TrackingNet。这两个数据集都用以下指标来评估跟踪性能:成功率、精度(P)和归一化精度(Pnorm),所有这些指标都是越高越好。
图9目标先验的可视化Unicorn首次实现了统一的网络结构和物体跟踪的学习范式,广泛的实验表明,Unicorn在8个具有挑战性的任务上的表现与特定任务的对应模型相当或更好。在8个具有挑战性的基准上,Unicorn的表现与特定任务的对应方相当或更好。当然希望,Unicorn可以作为迈向通用视觉模型的坚实一步。