基于双目视觉的三维重建技术研究

点击此处进入 花蝉精彩视频网

符亚云  胡庆胜  牛一  杨少杰

摘 要：随着计算机运算速度的提高以及图像采集设备的更新换代，人们越来越不满足于传统三维测量方式，非接触式测量技术蓬勃发展，成为国内外学者研究的热点，双目三维重建是研究重点之一。本文首先介绍了基于双目视觉的三维重建技术，然后在MATLAB和OpenCV实验平台上，采用经典立体匹配算法即AD-Census算法对花瓶进行三维重建。

关键词：双目视觉;三维重建;AD-Census算法

中图分类号：TP391.41文献标识码：A文章编号：1003-5168（2021）01-0016-03

Abstract： With the improvement of computer operation speed and the update of image acquisition equipment， people are more and more dissatisfied with the traditional three-dimensional measurement method. The non-contact measurement technology is booming， and has become a hot spot of scholars at home and abroad. Binocular three-dimensional reconstruction is one of the research focuses. This paper first introduced the 3D reconstruction technology based on binocular vision， and then used the classical stereo matching algorithm ad census algorithm to reconstruct the vase on the experimental platform of MATLAB and OpenCV.

Keywords： binocular vision;3D reconstruction;AD-Census algorithm

以双目视觉为基础的三维重建技术是光学深度获取的重要方法之一，具有非接触、测量速度快等优点，被广泛应用于众多领域。目前，双目三维重建技术被广泛应用于工业生产、机器人视觉导航、文物修复、目标识别[1]等领域。基于双目视觉的三维重建技术的原理是人眼视物，通过视差来获取被测物体的深度信息，继而实现三维重建，即利用双目相机拍摄的图像，将目标在图像上的二维像素坐标转化为三维世界坐标[2]。双目三维重建的工作流程主要包含4步，即双目标定、图像校正、立体匹配和三维重建，其中立体匹配是关键步骤[3-4]。

1 双目相机标定

相机标定精度直接影响重建结果，物体和成像平面上像素的几何位置取决于相机成像模型。相机标定是双目三维重建的基础，通过相机标定可以获得相机的内参和外参。相机内参反映相机几何特性和光学特性，用来去除图像畸变，确定像素坐标与世界坐标的关系;相机外参反映相机的位置关系，用于计算图像深度。

在三维重建过程中，要确定世界坐标系、相机坐标系、图像坐标系及像素坐标系之间的关系。此处，世界坐标系用[Xw]、[Yw]、[Zw]表示;相机坐标系用[Xc]、[Yc]、[Zc]表示;图像坐标系用[X]、[Y]表示;像素坐标系用[u]、[v]表示。

像素坐标与世界坐标之间的关系为：

以上为理想情况下的双目相机模型。为了获得更好的成像效果，研究者在相机前方增加了透镜，由透镜形状引起的畸变称为径向畸变;在相机组装过程中，不能使透镜和成像平面严格平行，否则会引入切向畸变。

2 通过双目相机模型进行图像校正

双目相机类似于人眼视物，通过左右相机的视差来判断物体的距离。在匹配之前，利用相机标定的信息去除镜头畸变，使得极线对齐，极线对齐的过程叫立体校正。图1为双目相机校正后的模型圖。通过三角测量原理得到视差与深度的关系。图2为双目相机几何原理示意图。根据三角形[POlOr]与三角形[Pplpr]相似，可以得出深度与视差的关系：

3 立体匹配

在双目视觉系统中，对于左图像中的某一特征点或者某一小区域，在右图像中可能存在几个相似的待匹配点。为了减少误匹配，需要借助额外的信息或者约束作为判断的依据，一般采用的约束有极线约束、唯一性约束、视差连续性约束、顺序一致性约束[5]。

本文采用的AD-Census立体匹配算法是Xing Mei等人在2011年提出来的[6]。AD-Census算法是将AD算法和Census算法进行结合，Census算法对光照和图像噪声具有鲁棒性，AD算法对差异性比较敏感。AD-Census算法具有速度快、精度好的优点，主要包含代价计算、代价聚合、扫描线优化和多步视差优化。匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。

AD-Census中采用十字交叉法进行代价聚合;扫描线优化进一步较少匹配的模糊性，提高匹配精度;视差优化普遍存在于立体匹配过程中，是立体匹配必不可少的过程。

4 实验结果

实验过程中搭建了如图3所示的实验平台，黑色背景布可以吸收光照，减少光的反射对物体的影响。

4.1 标定

实验利用MATLAB标定工具箱对相机进行标定，使用的标定板规格是9×12，每个小方格的规格是20 mm×20 mm。为了得到更精确的标定结果，首先用双目相机拍摄了30组标定板的图片进行标定。从标定结果可以看出，部分图像对的标定误差比较大，因此，要删除误差比较大的图像对，保证剩余的图像对在10组到20组，以得到更精确的标定结果。通过对剩余照片进行标定计算及误差计算，可以得到左右相机的内外参数、畸变参数、基础矩阵、本质矩阵等。图4（a）为27组照片的标定误差，图4（b）为14组照片的标定误差。

4.2 校正

由于透镜自身和安装的原因，相机拍摄的图像不能直接用于三维重建，利用标定获取的相机内外参数和畸变参数对图像进行校正。图5为校正结果。

4.3 立体匹配

图6是通过算法AD-Census处理得到的视差图，图7是通过三角测量原理得到的点云图。

5 结语

本实验采用AD-Census算法对花瓶进行重建，AD-Census算法在计算视差图时具有速度快、精度好的特点。但是，由于被重建的花瓶纹理少，再加上受实验环境等的影响，重建的花瓶点云效果并不好，实验效果有待提高。为了使重建效果更好，可以采用结构光三维重建的方式。

参考文献：

[1]胡庆胜，符亚云，牛金星.采摘机器人视觉系统的目标识别提取研究[J].河南科技，2020（25）：5-8.

[2]周科杰，冯常.基于双目视觉的三维测量技术研究[J].计算机测量与控制，2019（1）：22-25，31.

[3]陈炎，杨丽丽，王振鹏.双目视觉的匹配算法综述[J].图学学报，2020（5）：702-708.

[4] TIPPETTS B ， LEE D J ， LILLYWHITE K ， et al. Review of stereo vision algorithms and their suitability for resource-limited systems[J]. Journal of Real-Time Image Processing，2016（1）：5-25.

[5]王良丹.双目结构光视觉系统及三维重建方法实现[D].杭州：浙江工业大学，2017：20-21.

[6] MEI X ， SUN X ， ZHOU M ， et al. On building an accurate stereo matching system on graphics hardware[C]// IEEE International Conference on Computer Vision Workshops.2012.