立体图像的遮挡边界区域检测技术

http://www.studa.net/Clinical/080823/15142212.html 立体图像的遮挡边界区域检测技术 来源：中国论文下载中心    [ 08-08-23 15:14:00 ]    编辑：studa20                    作者：郭大波， 卢朝阳， 焦卫东， 崔玲玲 【摘要】  针对平行结构立体摄像机存在较大的遮挡边界区域问题，本文提出了一种基于可信图的遮挡边界检测算法。首先通过采样计算立体图像对中几条扫描线的可信值，从而得到遮挡边界的若干采样点；然后通过RANSAC算法得到遮挡边界。理论和实验分析 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明该算法对复杂背景的立体图像有好的检测精度；对人肩像等简单背景图像的检测精度不好，但通过校正后仍可得到较准确的遮挡边界。 【关键词】  边界区域检测； 视差估计； 立体图像编码        Abstract: Aimed at the presence of large occluded regions in stereo image pairs obtained from stereo camera pairs, an algorithm which can detect occluded boundary areas based on reliability map is proposed. Firstly, a number of sampled occluded boundary points are obtained by calculating reliability of the disparity on the corresponding sampled scan lines. Secondly, the boundary line is calculated by RANSAC method. Theoretical and experimental analyses showed  that the proposed algorithm gives a good boundary detection accuracy for stereo images with complex backgrounds. But for stereo images with homogenous background, the results are not good, however, the algorithm can also give a relatively good accuracy after certain correction.     Key words:  detection； boundary region; disparity estimation; stereo image coding     在立体图像处理技术领域，立体匹配、视差估计是非常重要的技术。对于由平行摄像机所获得的立体图像对，由于左右摄像机的视角所限，左图像的左边界区域往往在右图像中找不到对应点；右图像的右边界区域在左图像中找不到对应点，可把这种情况视为一种特殊的遮挡，把这种边界区域称为遮挡边界区域。     应当指出,遮挡边界问题只出现在平行摄像机的情形中。对于会聚型摄像机所获得的立体图像对，由于两摄像机对准同一对象，这种遮挡现象一般不会出现［1，2］。然而，越来越多的应用场合的立体图像和序列是由平行摄像机获得的［3］，因而遮挡边界区域的计算是一个不可忽视、必须解决的问题。     R. Wang 和Y. Wang［4］定义这个边界区域的宽度为全局视差 (global disparity)，并给出了二种算法。其中一种为移动帧差法，即左图像和逐点移动的右图像做帧差，并求差值绝对和，当取最小值时两图像之间的距离为全局视差，这种算法对于图像背景是均匀的 (homogenous) 低纹理区时是有效的，但不适合复杂背景情形；第二种算法是针对复杂背景情况，称之为移动对象相差法，即用左图像的前景对象与移动的右图像的前景对象做差值，并绝对求和比较，但前景对象的分割本身是一个不成熟、计算成本很高的问题，因此这种算法还不具有现实可行性。     J. H. Park 和 H. W. Park［5］首先稠密计算视差图，然后利用右图像的最左边点加上其对应视差得到它在左图像对应点，这些点连接起来就形成了左图像遮挡边界区域线；利用左图像的最右边的点加上对应的视差可得到它在右图像的对应点，这些点连接起来形成右图像遮挡边界区域线。但问题是视差估计是不可靠的，边界点的视差尤为不可靠，这种方法难以得到可靠的遮挡边界。     本文提出了一种基于可信图 (reliable map)的遮挡边界检测方法，可以克服前几种方法的不足，得到可靠的遮挡边界。     1  立体视差和视差估计     立体视差是立体图像对对两个对应点之间的差值矢量，设左右图像中的某一对对应点为PL、PR，则其从左到右的视差矢量可选用基于块的MAD法计算：dR→L=arg mind∈ΒMAD(PL),(1)其中B为一个矩形搜索框［(－dx,max,dx,max),(－dy,max,dy,max)］，MAD (mean absolute difference) 计算公式 六西格玛计算公式下载结构力学静力计算公式下载重复性计算公式下载六西格玛计算公式下载年假计算公式 为：MAD(PL)=1   N2P∈W|IR(P+d)－IL(P)|,(2)其中W为以PL为中心的正方形窗口，P为窗口内的任一点。同理可求出从右到左的视差矢量dR→L。     2  交叉对应(CC)和可信图(reliability map)    对某一点估计所得到的视差矢量是否可靠或可信(reliable)，过去主要根据最优化过程的MAD值判断［6］，如小于某一阈值就判定该点是可信的。但有些误匹配点的MAD值也可能很小，因此现在大多采用CC (Cross Correspondence) 来判定［2］。     CC(x,y)=  1,   if‖dL→R(x,y)+     dR→L(x+dL→R(x,y),y)‖≤1，     0,   otherwise.(3)    如某一点的CC值为1，则该点是可信的；否则就是不可信的。当然也可将两个条件结合起来判断可信。图1就是利用式(3)得到的JISCT的Corridal的稠密可信图，其中白色区域是可信区域，黑色区域是不可信区域。由于遮挡区、大片的均匀单一背景区域及重复纹理区的视差是不可信的，因此我们可利用可信图，并结合边界信息检测出遮挡边界。     图2中的左右遮挡区是真实存在的，而两个待扩展区是由于边界点的视差估计不准确而导致不能交叉对应造成的，我们可假设待扩展区的视差是均匀的，并与邻近视差场是平滑的，这样就可将邻近的视差场扩展到这个区域，如将最邻近的两点的视差矢量平均值赋予这个区域的水平线上的各点。     4个区域边界线的检测算法如下：     (1) 从顶到底均匀采样10条扫描线，计算左右图像线上各点的视差值；     (2) 计算左右图像扫描线上各点的CC值；     (3) 在左图像中沿扫描线从左到右检测非可信区，得到点集{LL(0),LL(1),…,LL(9)}，各点分布如图2所示；     (4) 调用RANSAC模块进行直线拟合，得到直线LL，与顶部的交点为LLU，与底部的交点为LLB。     同理可得LR，RL，RR。     4  实验分析     我们对常用的标准立体图像对(皆来自JISCT)检验算法的有效性。图3为JISCT的Venus，白线表示检测出的遮挡边界，从主观观测可知，检测效果比较好。表1  常用立体图像对的遮挡边界检测结果从表1可以看出，对于多数自然景象的图像对，检测效果是好的，但对于人肩像这样的背景均一场合效果欠佳。原因是这种图像中有大片的低纹理区域，对其进行的视差估计是不准确的，因而造成可信区域的不规则，干扰了边界遮挡区的检测。但由于人肩像的对象在图像下部，我们可给下面的采样点以较大权重，这样也能得到遮挡边界信息，如Man序列的第四帧，我们得到的全局视差为42像素，而不是文献［4］中推荐的52像素。     5  应用     参考文献［7］算法，将这一技术检测的遮挡边界应用于基于DT网格的立体图像编码的视差估计和对右图像预测，从图4中可以看出，左右可见部分DT网格进行精确对应和映射，而边界遮挡部分就不必考虑了(这一区域图像作为殘差图像编码)。从图5中与R. Wang 和Y. Wang［4］ 的方法的对比，即采用不同的遮挡边界，后处理完全相同，从预测图像的结果来看，本文方法好于文献［4］方法。图4  得到边界区域后对左右图像进行DT分割和匹配     6  结论     平行结构立体图像对的遮挡边界检测是一个前期处理过程，其精度直接影响到后期处理的结果，是一个不容忽视的问题。     本文算法可用于复杂背景立体图像的遮挡边界检测，在简单背景情形下需校正后方可使用本算法。 【参考文献】   ［1］ Malassiotis S, Strintzis M G. Joint motion/disparity MAP estimation for stereo image sequences ［A］, Proc Inst Electr ［C］. Eng 1996， 143(2):101-108. ［2］ Tzovaras D, Grammalidis N, Strintzis M G. Disparity field and depth map coding for multiview 3D image generation ［J］. Signal processing Image Communication, 1998, 11(3):205-230. ［3］ 刘莉,姜志国,谢凤英等.光学体视显微图像立体测量系统研究与开发 ［J］.中国体视学与图像分析, 2003, 8(4):220-224. ［4］ Wang R, Wang Y. Multiview video sequence analysis, compression, and virtual viewpoint synthesis ［J］. IEEE Trans Circ Sys Video Technol, 2000, 10(3):397-410. ［5］ Park J H, Park H W. A mesh-based disparity representation method for view interpolation and stereo image compression ［J］, IEEE Trans Image Processing, 2006, 15(7):1751-1762. ［6］ Fan H, Ngan K N, Disparity map coding based on adaptive triangular surface modeling ［J］. Signal Process Image Communication，1998, 14(2):119-130. ［7］ 薛健,张兆田,熊晓芸等. 工业过程断层图像的三维动态可视化 ［J］. 中国体视学与图像分析,2005,10(3):183-188. 转贴于 中国论文下载中心 http://www.studa.net