AR增强现实跟踪技术有哪些?

Jyadmin 提交于 周一, 10/21/2019 - 11:26

 

跟踪理论会涉及到一些空间坐标转换的基础知识,以摄像机跟踪为例,分为模型坐标空间、世界坐标空间、摄像机坐标空间和图像坐标空间。

1.固定式跟踪系统

机械跟踪器通过控制机械臂各个关节的转动来跟踪机械臂末端的空间位置,属于比较老的跟踪方式,但是精度可以控制得比较高。

电磁跟踪器是通过一个固定的发射源发射出三维正交的电磁场,接收端通过检测接收到的电磁场的方向和强度来确定位姿。

固定式跟踪系统

 

超声波跟踪器则是通过测量一个声音脉冲从发射源到传感器的飞行时间来测量距离。

2. 移动式传感器

GPS,全称是全球定位系统。这个系统在智能手机上应用很普遍。它通过接收多颗卫星信号来确定当前所处的位置。对于户外大范围增强现实有着重要意义。

无线网是通过检测移动设备接入点信息来粗略确定移动设备所处位置的。它可以配合GPS使用。

移动式传感器

 

磁力计,也称电子罗盘,通过检测地球的磁场来确定方向。 

陀螺仪和线性加速度计都是依靠惯性来进行测量的。陀螺仪测量三轴角度变化,线性加速度计测量位置变化。它们通常会配合使用,并且常以微机电系统(MEMS, Micro-Electro-Mechanical System)的形式存在。

里程计是通过轮式或者光电编码器来测量所走过路程的一种传感器,常用在机器人或者交通工具中。

3. 光学跟踪技术

(1)跟踪模式

有些跟踪需要对被跟踪的目标预先建模,例如一些图像跟踪工具箱。有的则不需要提前建模,例如同步定位与跟踪技术(SLAM)。多数跟踪是需要提前建立一个待跟踪模型数据库的,然后在运行中实时提取特征并且与数据库中的数据进行比对。而SLAM则可以实时根据获得的特征,自主建立空间地图,并且确定摄像头相对于环境的位置。

目前研究的比较火热的是SLAM。因此,可以研究SLAM中的各个环节,从跟踪、建图、回环检测等角度研究如何提升SLAM系统的精度,以及面对复杂环境的稳定性问题。

光学跟踪技术

 

(2)照明种类

跟踪的稳定性与环境光有关,尤其是基于视觉的跟踪。有些跟踪系统不需要自主添加光源,只是利用环境光,称为被动照明;有些跟踪需要主动发射某种照明光线,来实现其跟踪,称为主动照明。被动照明是比较常见的,例如平面标志跟踪就是在普通的环境照明下实现的。主动照明最典型的就是结构光照明,例如Kinect。还有一种主动发射红外光的OptiTrack系统,做姿态跟踪效果很好。

(3)人工标志与自然特征

人工标志指的是人造的用于跟踪的图像标志等。例如二维码、棋盘格等。自然特征指的是自然环境中本身就有的特征,不是人为放置用来跟踪的特征。普通的室内环境、街边的楼宇都可以认为是自然特征。人工标志根据其种类不同,需要特定针对性算法进行检测和跟踪,自然特征通常使用SIFT、SURF、ORB等特征描述子来进行特征提取和跟踪。

人工标志与自然特征

 

4.传感器融合

互补式融合:不同的传感器测量的是不同种类的参数,可以互相补充。

竞争式融合:不同传感器测量的是同一个种类的参数,则使用某种方式将它们结合起来,产生一个更好的测量结果。

协作式融合:不同传感器之间是协作关系,其中某个传感器可能依赖于其他的传感器才能得出结果。

跟踪技术研究,不仅可以服务于增强现实,也可以服务于虚拟现实,以及其他需要用到该技术的领域。研究跟踪技术,可以从多视图几何方向入手,通过几何的方式来估计位姿。也可以从特征角度入手,针对特定的问题,设计不同的特征表述方式,解决问题。

SLAM研究者们通常会考虑怎样建立更加稳健的SLAM系统,怎样对抗真实环境中的噪声,怎样进行更好的回环检测等。研究惯性测量单元(IMU)与视觉融合进行SLAM的也大有人在,多传感器数据融合对于SLAM来讲有重要的意义。