AR增强现实系统标定和注册简单介绍

Jyadmin 提交于 周一, 10/28/2019 - 16:43

 

跟踪、标定和注册是AR系统研究的三个核心问题。

跟踪、标定和注册是AR系统研究的三个核心问题.png

1 摄像机标定

(1)标定内参数

摄像头是基于视觉的AR系统的重要组件。所以在使用中必须先标定摄像头的内参数。对于普通的摄像头,可以采用matlab自带的摄像头标定工具箱来标定。不仅可以标定出摄像头的内参数,还能标定出镜头畸变。该工具箱采用的是棋盘格标定法。

标定内参数

 

(2)校正镜头畸变

镜头畸变可以分为径向畸变和切向畸变两种。它们也都可以通过标定来确定畸变参数。镜头畸变是普遍存在的,所以在使用之前要记得先进行标定。

2 显示器标定

(1)单点主动对准法

对于光学透射式头盔显示器,要进行AR开发的话,必须加上一个摄像头。摄像头与头盔显示器之间的位置关系需要标定。最常用的一种方法是单点主动对准法(SPAAM)。这个方法要求用户佩戴头盔显示器,并且将屏幕上的一些十字光标与真实世界中的物体进行多次对齐,多次对齐需要通过头部转动完成。数据获取后,通过DLT方法构建方程组求解投影矩阵。

单点主动对准法

(2)使用瞄准转置

该方法需要将瞄准装置与显示器上的十字叉丝对准,而不是使用在SPAAM中用到的静止标定点。这种瞄准装置经常是作为AR设备的一部分,并且包括一个触发器来确认对准完成。瞄准装置有一个优势,用户不必再移动头部来完成对准,取而代之的是,可以通过移动手臂来完成。

3 注册

跟踪系统在进行测量的时候,会存在测量误差,导致位置估计不准。这种误差会导致注册的虚拟物体与真实物体之间会存在不匹配的情况。所以,在每一个步骤要严格控制误差,不要让误差在后面的环节中传播。

对于光学透射式增强现实来说,还有另一个非常重要的问题,那就是延迟。由于真实的环境背景是直接透射进人眼的,可以认为是零延迟的。但是虚拟信息是通过摄像头捕捉环境,建立跟踪注册信息,然后渲染输出到头盔显示器上。这个回路的处理时间导致虚拟信息的渲染比头部转动会有延迟。一个比较有效的方法是在视觉跟踪的基础上,加入高反应速度的IMU,对这种延迟进行补偿。头部的快速运动可以根据IMU的反馈来渲染图像。

摄像头标定本身已经是一个很成熟的领域了,除非有什么新的摄像头类型推出。光学透射式头盔显示器的标定也比较成熟,但是还是存在问题。比如标定程序复杂,不同用户之间通用性低。所以可以根据人眼与HMD之间的特殊性,研究提升标定效果的方法。另外,还可以考虑减小延迟,比如考虑视觉-IMU融合。这种方法已经在Hololens上获得成功应用。减小延迟的方法除了使用视觉-IMU融合,应当还有别的途径,这些都是值得研究的地方。