第２７卷第２期 湖 北 工 业 大 学 学报 ２Ｏ１２年Ｏ４月 ＶＯ１．２７ Ｎｏ．２ Ｊｏｕｒｎａｌ ｏｆ Ｈｕｂｅｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ Ａｐｒ．２０１２ ［文章编号］１００３—４６８４（２０１２）０２—００７９—０４ 基于混合编程的双目视觉三维重建方法 袁 宁 ，范有情 ，何 涛 （１湖北工业大学现代制造质量工程重点实验室，湖北武汉４３００６８；２湖北工业大学机械工程学院，湖北武汉４３００６８） ［摘要］利用Ｍａｔｌａｂ实现相机标定和三维绘图功能，同时利用Ｖｃ＋＋实现程序界面、图像采集以及立体匹配等 功能，提高了开发效率和软件产品质量． ［关键词］三维重建；ＶＣ＋＋；Ｍａｔｌａｂ；混合编程 ［中图分类号］ＴＮ９１１．７３ ［文献标识码］：Ａ 随着计算机视觉技术的发展，对三维重建的开 在编程环境中使用Ｍａｔｌａｂ引擎扩展编程的基 发效率、软件产品质量以及重建速度的要求越来越 本操作步骤为：１）对开发环境进行必要的设置；２）创 突出Ｅ１］．在数值化计算程度高的双目视觉三维重建 建Ｍａｔｌａｂ引擎对象；３）向引擎空间写入数据；４）调 的应用程序开发中，利用Ｍａｔｌａｂ实现矩阵计算和数 用Ｍａｔｌａｂ命令处理数据；５）从引擎空间读取数据； 值计算较多的相机标定部分以及三维绘图部分，利 ６）释放Ｍａｔｌａｂ引擎对象．如果在ＶＣ集成环境下利 用ＶＣ＋ 实现程序界面、图像采集以及立体匹配 用Ｍａｔｌａｂ引擎实现ＶＣ和Ｍａｔｌａｂ的混合编程，一 等部分．而Ｍａｔｌａｂ语言和Ｃ语言相比较，它具有语 般需要对ＶＣ＋＋与Ｍａｔｌａｂ混合编程的编译环境 言简单、内涵丰富、易学易用等优点，尤其是它提供 进行设置，在完成了若干基本步骤后即可利用Ｍａｔ— 了丰富的绘图函数和命令，可方便地绘制一维、二维 ｌａｂ引擎库函数ｅｎｇＥｖａｌＳｔｒｉｎｇ来调用Ｍａｔｌａｂ的内 和三维图形，如线性图、极坐标图、直方图、等高线 建函数 Ｊ． 图、落差图等ｌＬ２］．针对传统的利用单一环境实现三维 重建的软件开发效率和重建速度受局限等问题，本 ２ 系统开发环境及流程 文提出了一种基于ＶＣ＋＋与Ｍａｔｌａｂ混合编程的 双目视觉三维重建方法． 双目视觉的三维重建系统包括两个ｃｏｍｐｕｔａｒ １ ＶＣ＋＋利用Ｍａｔｌａｂ ｅｎｇｉｎｅ实现与 的１６ ｍｍ镜头和２个西安方诚科技的ＶＤＣ—ＦＤ ｍａｔｌａｂ的混合编程技巧 １３０Ｍ型ＣＣＤ相机（图１）． Ｍａｔｌａｂ可以通过引擎的方式与其他编程环境 下的程序实现通信，将Ｍａｔｌａｂ作为一个计算引擎使 用，让其在后台运行，完成复杂的矩阵计算，简化前 台用户程序设计的任务．与其他各种接口相比，引擎 所提供的Ｍａｔｌａｂ功能支持是最全面的．通过引擎方 式，应用程序会打开一个新的Ｍａｔｌａｂ进程，可以控 制它完成任何Ｍａｔｌａｂ所支持的计算和绘图等操作． 图１双目视觉示意图 在数据交流方面，可以对几乎所有的基本数据类型 提供支持．同时以引擎方式打开的Ｍａｔｌａｂ进程以非 该三维重建系统的软件部分是以ＶＣ＋＋为基 常友好的界面方式支持Ｍａｔｌａｂ的各种操作［２］． 本框架，调用Ｍａｔｌａｂ ｅｎｇｉｎｅ来实现三维重建的工 ［收稿日期］２０１１—１１—２４ ［基金项目］湖北省教育厅产学研项目（Ｃ２ｏ１００２９），武汉市科技攻关项目（２００８１０３２１１５７，２００９１０３２１０９６） ［作者简介］袁 宁（１９８７一），男，河南商丘人，湖北工业大学硕士研究生，研究方向为图像检测技术、无损检测技术、自 动检测技术 ８０ 湖 北 工 业 大 学 学 报 ２０１ ２年第２期 作．开发环境：Ｗｉｎ２０００、Ｖｃ＋＋６．０和Ｍａｔｌａｂ７．０． 该系统采用的具体流程如图２所示． 相机标定 图像获取Ｎ＞ｔ图像预处理 特征点提取 三维重构ｌ＜ 立体匹配 图２三维重建基本流程 ３三维重建方法 ３．１ 相机标定 为了从图像中获取世界坐标系中三维物点与像 点的对应关系（图３），计算物体的形状位置等信息， 必须建立相机成像的集合模型并获得其参数．在大 多数条件下，这些参数必须通过计算与实验才能得 到，这种求解参数的过程称为相机标定［５］． （ ，Ｙ ，Ｚ ） 图３相机标定模型 设（Ｘ ，Ｙ ，Ｚ ）是三维世界坐标系中某目标 点Ｐ的三维坐标，（ ，ｙ，ｚ）是该点在相机坐标系 （定义如下图所示）中的坐标．相机坐标系定义为： 中心在０点（光学中心），Ｚ轴与光轴重合，（Ｘ，ｙ）是 中心在０ 点（光轴 与图像平面的交点）且平行于 ｚ，Ｙ轴的图像坐标系，有效焦距．厂是图像平面和光 心的距离．（ｚ ，Ｙ ）是在理想Ｐｉｎ—ｈｏｌｅ模型下Ｐ点 的图像坐标，（ ，Ｙ 是由透镜畸变引起的（ｄｘ ， ｄ ）偏离的实际图像坐标＿１ ． 相机标定部分涉及到了大量的矩阵运算，而 Ｍａｔｌａｂ具有强大的数学运算功能，并且有专业的相 机标定工具箱． 利用Ｍａｔｌａｂ相机标定工具箱对一个基于１５张 平面西洋跳棋盘图片的全面标定．具体步骤：１）装入 标定图片；２）提取图像角点；３）运行主标定程序；４） 显示结果；５）控制精度；６）添加或减少图片；７）纠正 图片畸变；８）以不同格式输出标定数据．标定板图集 如图４所示． 标定的结果被保存在Ｍａｔｌａｂ的二进制文件 （ｍａｔ文件）里以便于数据传递．图５所示为左右两 个相机与标定板之间的位置关系．图６所示为相机 标定工具箱获得标定结果的误差分析．从图中可以 看出每个标定板图像的误差范罔，便于添加或减少 图片，通过进一步标定获得误差更小的标定结果． 图４标定板图集 ２００ ０ 图５ 双相机与标定板之间的位置关系 图６误差分析 通过Ｍａｔｌａｂ相机标定工具箱可以简便快速地 完成相机的标定以及标定结果数据的存储与传递， 避免了利用ＶＣ＋＋标定的复杂过程，有效提高了相 机标定的效率． ３．２图像预处理 通过ＣＣＤ工业相机获取图像后，考虑到光照、 噪声以及相机性能等条件的影响，需要对获取的图 像做进一步处理，以提高图像清晰度，改善视觉效 果，将图像转换成更适合犬或计算机分析处理的形 式［４］．该过程包括两个部分：１）图像的滤波、增强及 平滑；２）目标物体与背景的分离．在ＶＣ＋＋环境中 有图像预处理算法集，能够完全满足三维重建中原 第２７卷第２期 袁 宁等 基于混合编程的双目视觉三维重建方法 ８１ 始图像的预处理要求．因此，图像预处理部分在ＶＣ ＋＋环境中实现． 按键调用Ｍａｔｌａｂ ｅｎｇｉｎｅ来绘制三维图．图９ａ为左 相机拍摄轴承图片，图９ｂ为右相机拍摄轴承图片， ３．３特征点提取和立体匹配 特征点提取是通过Ｈａｒｒｉｓ［ 算法实现．Ｈａｒｒｉｓ 特征提取算法的思想是：在图像中设计一个局部检 测窗口，当该窗口沿任一方向做微小移动时，检测窗 口平均能量的变化．当能量变化值超过了设定阈值 时，则将窗口中心像素点设为角点．图像亮度 Ａ Ｃ Ｍ： Ｃ Ｂ ． （１） 式中：Ａ一 ａＩ＋ ，Ｂ＝ ＋ ｃｕ，ｃ＝ ＋ ∞． 表示卷积运算． ａＩ， 分别为图 像在ｚ和Ｙ方向上的导数．（２ｋ＋１）（２ｋ＋１）的高斯 卷积函数 ￣－ｏ１．，．ｆ＝一＝： —了 ｅ（ ）．，． （２）Ｌ ， Ｈａｒｒｉｓ算法的角点响应函数 Ｒ＝＝＝ｄｅｔ（Ｍ）一ｋ（ｔｒａｃｅ（Ｍ）） ＞Ｔ． （３） 式中，ｄｅｔ（Ｍ）一 １ ２＝ＡＢ—Ｃ ；ｔｒａｃｅ（Ｍ）＝ １＋Ａ ２ ：Ａ＋Ｂ；ｋ为经验值，取０．０４．角点对应于函数Ｒ的 局部极大值点．当图像上某点像素的Ｒ值大于给定 的阈值Ｔ时，就把该点作为特征点． 立体匹配是三维重建的核心问题．立体匹配是 指将在不同视点下拍摄到的同一空间场景的投影图 像中的映像点对应起来，并生成相应的视差图的过 程ｌ＿７］．对于实际的立体图像对，求解其对应问题极具 挑战性，可以说是立体视觉中最困难的一步．Ｂａｒ— ｎａｒｄ［ 回顾了立体重构的基本原理，对主要的匹配 方法做了综述，并且给出了算法新能的评价标准． Ｄｈｏｎｄｌ９ 总结了大量的立体匹配算法，并介绍了分 级处理思想，提出了使用三目约束减少立体匹配的 不确定性．Ｋｏｓｃｈａｎ［ 对动态立体和主动立体、早期 的遮挡和元纹理问题以及实时立体视觉实现进行了 探讨与总结． 本文设计了一种基于置信度传播的立体匹配算 法模型，在Ｈａｒｒｉｓ角点提取算法的基础上实现立体 匹配．图７为本文立体匹配流程图． ３．４三维重构 在ＶＣ＋＋的编译环境中编写程序的主界面 （图８）．在程序主界面中，点击按键可以有效调用 Ｍａｔｌａｂ内置函数．基于双目视觉的三维重建中包含 相机标定、立体匹配、三维重构等三部分． 三维重构部分在ｍａｔｌａｂ环境中实现，因其有着 强大的绘图功能，在前期工作的数据结果基础上，可 以快速获得需要的三维图．图８中的“显示三维图” 图９ｃ为三维重建以后获得的轴承三维图． Ｉ图像前期处理Ｉ ｔ 校验视差一致性 ｔ ｌ生成高置信度视差图ｌ ｔ 过滤分割视差图 牢 ｌ获得高精度匹配点ｌ ｔ 生成高精度高置信度视差图 图７立体匹配流程 图８三维重建程序主界面 （ａ）左相机图像 （ｂ）右相机图像 （ｃ）三维图 图９轴承三维重建图 ８２ 湖 北 工 业 大 学 学 报 ２０１２年第２期 本文的三维重建是ＶＣ＋＋和Ｍａｔｌａｂ混合编 Ｅｚ］王素立，高洁，孙新德．ＭＡＴＩ ＡＢ混合编程与工程 程的一个应用，即以ＶＣ＋＋环境为程序主框架，并 应用［Ｍ］．北京：清华大学出版社，２００８． 且利用其完成每个界面，同时利用Ｍａｔｌａｂ强大的数 ［３］景征骏，许家民．ＶＣ＋＋与ＭＡＴＬＡＢ混合编程及其 学计算和绘图功能，完成整个工作．在实际的数值计 应用［Ｊ］．计算机与信息技术，２００６（１２）：７０—７１． 算、控制系统开发等工程应用中，可以很好地利用二 ［４］冯 宇．基于计算机立体视觉的三维重建系统研究 者混合编程技术，从而简化应用程序的开发． ［Ｄ］．青岛：青岛科技大学图书馆，２００９． ［５］赵娟，曾强，魏林嫒，等．基于立体视觉的三维模型 重建系统设计［Ｊ］．光电系统，２０１１（２）：１２～１４，３０． ４ 结束语 ［６］Ｈａｒｒｉｓ Ｃ，Ｓｔｅｐｈｅｎｓ Ｍ．Ａ Ｃｏ ｍｂｉｎｅｄ ＣＯｒｎｅｒ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ［Ｃ］ ｛Ｆｏｕｒｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ，１９８８ ｔ 三维重建技术是计算机视觉、人工智能、虚拟现 １４７—１５１． 实、医学图像等前沿领域的热点和难点，也是在基础 ［７］魏 冲．基于数码相机图像的三维重建技术研究［Ｄ］． 研究和应用研究中面临的重大挑战之一．本文通过 太原：中北大学图书馆，２００９． 对ＶＣ＋＋和Ｍａｔｌａｂ的集成开发，以精练的代码和 ［８］Ｂａｒｎａｒｄ Ｓ Ｔ，Ｆｉｓｃｈｌｅｒ Ｍ Ａ．Ｃｏｍｐｕｔａｔｉｏｎａｌ ｓｔｅｒｅｏ［Ｊ］． 较高的运行效率实现对二维图像的三维重建．该系 ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒｖｅｒｙｓ・１９８２． 统不仅稳定，而且操作简单，提高了自动化的程度． ［９］Ｄｈｏｎｄ Ｕ Ｒ，Ａｇｇａｒｗａｌ Ｊ Ｋ．Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｓｔｅｒｅｏ－Ａｒｅ— ｖｉｅｗ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｓｙｓｔｅｍｓ，Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔ— ｉｃｓ，１９８９，１９（６）：１ ４８９—１ ５１０． ＥｌＯ］Ｋｏｓｅｈａｎ Ａ．Ｗｈａｔ ｉｓ ｎｅｗ ｉｎ ｃｏｍｐｕｔａｔｉｏｎａｌ ｓｔｅｒｅｏ ｓｉｎｃｅ ［ 参 考 文 献 ］ １９８９：Ａ ｓｕｒｖｅｙ ｏｆ ｃｕｒｒｅｎｔ ｓｔｅｒｅｏ ｐａｐｅｒｓ［Ｒ］．Ｂｅｒｌｉｎ： Ｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｂｅｒｌｉｎ，１９９３． ［１］史利民，郭复胜，高伟，等．基于语义交互的三维重建 ［１１］张楠．双目立体视觉的摄像机标定方法研究ＦＤ］．武 ［Ｊ］．计算机辅助设计与图形学学报，２０１１（５）：７３１— 汉：湖北工业大学图书馆，２００８． ７３４． ３ Ｄ Ｒｅｃ０ｎｓｔｒｕｃｔｉ０ｎ ｏｆ Ｂｉｎｏｃｕｌａｒ Ｖｉｓｉｏｎ Ｂａｓｅｄ ｏｎ Ｈｙｂｒｉｄ Ｐｒｏｇｒａｍｍｉｎｇ ｏｆ ＶＣ＋＋ａｎｄ Ｍａｔｌａｂ ＹＵＡＮ Ｎｉｎｇ ，ＦＡＮ Ｙｏｕ—ｑｉｎｇ ，ＨＥ Ｔａｏ ，。 （１ Ｈｕｂｅｉ Ｋｅｙ Ｌａｂ ｏｆ Ｍｏｄｅｒｎ Ｍａｎｕｆａｃｔｕｒｅ Ｑｕａｌｉｔｙ Ｅｎｇｉｎ．，Ｗｕｈａｎ ４３００６８，Ｃｈｉｎａ； ２ Ｓｃｈｏｏｌ ｏｆ Ｍｅｃｈａｎｉｃａｌ Ｅｎｇｉｎ．，Ｈｕｂｅｉ Ｕｎｉｖ．ｏｆ Ｔｅｃｈ．，Ｗｕｈａｎ ４３００６８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ｐａｐｅｒ ｐｒｅｓｅｎｔｅｄ ａ ｍｅｔｈｏｄ ｏｆ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ ３ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｈｙｂｒｉｄ ｐｒｏ— ｇｒａｍｍｉｎｇ ｏｆ ＶＣ＋＋ａｎｄ Ｍａｔｌａｂ．Ｔｈｅ ｍｅｔｈｏｄ ｕｓｅｄ Ｍａｔｌａｂ ｔｏ ｒｅａｌｉｚｅ ｔｈｅ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ａｎｄ ３Ｄ ｄｒａｗｉｎｇ ｆｕｎｃｔｉｏｎ，ａｎｄ ａｌｓｏ ｕｓｅｄ ＶＣ＋＋ｔｏ ｒｅａｌｉｚｅ ｔｈｅ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅ，ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ ｔｈｒｅｅ—ｄｉ— ｍｅｎｓｉｏｎａｌ ｍａｔｃｈｉｎｇ，ａｎｄ ｏｔｈｅｒ ｆｕｎｃｔｉｏｎｓ．Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｍｅｔｈｏｄ ｉｍｐｒｏｖｅｓ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｅｆ— ｆｉｃｉｅｎｃｙ ａｎｄ ｓｏｆｔｗａｒｅ ｑｕａｌｉｔｙ． Ｋｅｙｗｏｒｄｓ：３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ；ＶＣ十—卜；Ｍａｔｌａｂ，ｈｙｂｒｉｄ ｐｒｏｇｒａｍｍｉｎｇ ［责任编校：张众］