一种面向快速全局运动估计的渐进精细阈值方法

一种面向快速全局运动估计的渐进精细阈值 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 一种面向快速全局运动估计的渐进精细阈 值方法 第38卷第6期 2011年6月 计算机科学 ComputerScience Vo1.38No.6 June2011 一 种面向快速全局运动估计的渐进精细阈值方法 郑嘉利.覃团发 (广西大学计算机与电子信息学院南宁530004)(中国科学院计算技术研究所北京100190) 摘要快速全局运动估计的关键在于全局运动区域与局部运动区域的分割,其难点在于阈值的设定.提出一种面 向快速全局运动的渐进精细阈值方法,该方法分为两步:第一步,用一个将统计特性与均值阈值相结合的亮度残差阈 值模型来大致划分局部运动区域与全局运动区域,从而得到全局运动估计区域的近似集合;第二步,使用一种运动矢 量残差分级阈值技术在能量残差函数最小化迭代过程中逐步细化全局运动像素点集合,最后分离出完整的全局运动 区域,从而实现快速的运动估计. 关键词全局运动估计,阈值方法,亮度残差,运动矢量残差 中图法分类号TP391.41文献标识码A ProgressiveFineGranularThresholdMethodOrientedtoFastGlobalMotionEstimation ZHENGJia-li'.QITuawfa (SCh~IofComputerandElectronicInformation,GuangxiUniversity,Nanning530004,Chi na) (InstituteofComputingTechnology,ChineseAcademyofSciences,Beijing100190,China) AbstractThemethodofthefastglobalmotionestimatinfocusesonseparatingglobalmotionregionandlocalmotion region.Thekeypointofthismethodishowtosettheappropriatethreshold.Thispaperproposedaprogressivefine granularthresholdtechniquetosolvethisproblem.Thetechniqueisdividedintofollowingtwosteps:firstly,distinguis— hingcoarselytheglobalmotionregionandlocalmotionregionbyusingaluminanceerrorthresholdmodelintegrating statisticsmethodandaveragethresholdmethod;secondly,duringtheiterationforminimizingerror,refiningthesetof theglobalmotionpixelsbyusingahierarchicalthresholdmethodbasedonmotionvectorerror.Bythismeansthewhole globalmotionregioncanbeobtainedandthefastglobalmotionestimationcanbeachieved. KeywordsGlobalmotionestimation,Thresholdmethod,Iuminanceerror,Motionvectorerror 1全局运动估计背景 在视频图像中,运动通常由摄像机运动和场景中的物体 运动产生,由摄像机运动产生的运动将影响整个图像,称之为 全局运动.物体的运动称为局部运动.如果视频图像可以用 一 个全局运动建模_】],则用于视频编码时就可以节省大量的 运动信息.全局运动估计ll2J(GlobalMotionEstimation, GME)就是根据一定的镜头运动模型,利用视频序列中背景 的运动信息得到该模型的具体参数.全局运动估计在视频压 缩与编码,动态场景 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 ,视频内容分析l_3]和运动目标跟踪技 术_4]等数字视频处理方面有着广泛的应用. 但是,以往的研究表明,全局运动估计存在着计算量大的 问题[5].全局运动估计关键是对全局运动模型参数的估计. 理论上来说,对于一个确定的全局运动参数模型,如仿射六参 数运动模型,只需3个背景像素点的运动矢量即可求得6个 运动参数的值.但一般的运动矢量方法只能得到精度有限的 运动矢量,如果仅用很少几个像素的运动矢量来估计全局运 动模型参数,得到的结果精度非常低,因此需要更多像素的运 动矢量参与全局运动模型参数估计来提高准确性.这样,参 数估计就成了一个解矛盾方程组的问题,可用最小二乘法如 高斯牛顿迭代法6J来求解.通过数次迭代计算解方程组,直 到最后全局运动模型参数值收敛于一个较为稳定的值.但这 一 迭代过程是全局运动估计中计算复杂度最高的部分,尤其 在需处理的全局运动模型较为复杂,迭代次数较多的情况下. 再者,大多数的视频场景都包含有全局运动和局部运动, 如果让所有像素的运动矢量都参与全局运动估计,则作局部 运动的像素点以及运动矢量估计误差较大的像素点会对全局 运动估计产生很大的干扰?7],使得运动模型参数估计要被迭 代很多次才能收敛于一个稳定值.这不但降低了全局运动估 计的精度,而且使得运算复杂度大大升高. 局部运动区域里的像素点称为外点,全局运动像素点称 为内点.我们要研究的快速全局运动估计方法的重点,就是 把局部运动区域从整幅图像中有效分割出来,使得全局运动 区域包含尽可能多的内点和尽可能少的外点.区分外点和内 点的关键和难点在于阂值丁的确定.在有些文献l_8]中,丁设 置为一个固定的值(称之为固定阈值法),但是往往很难找到 一 个合适的固定阈值T胜任于整个迭代过程:如果T太小, 迭代过程很可能,开始就收敛于需要局部运动区域的局部, 尤其是局部运动区域占整个场景的比例较大的时候;而如果 T太大则迭代结束的时候,全局运动像素点将有一部分被错 到稿日期:2010—07—21返修日期:2010—12—23本文受广西大学科研基金项目 (XB2091010)资助. 郑嘉利(1979一),男,博士,副教授,主要研究方向为多媒体通信,视频编码;覃团发 (1966一),男,博士,教授,主要研究方向为视频编码,视频检索. ? 293? 判为局部运动点,从而大大影响参数估计的准确性.文献Eg] 中提到用百分比阈值r代替阈值T(称之为固定百分比阈 值法),即令外点集合为残差值较大的r像素的集合.但是 由于不同视频中全局运动区域占整个场景的比例大小都不相 同,因此这种方法要么只能得到部分的全局运动区域,要么在 内点集合中会包含很多外点.文献[1O]中提出了一种改进的 方法:令阈值丁为所有像素的残差的均值(称之为残差均值 阈值法),但是残差均值法并不一定能很好地刻画全局运动区 域和局部运动区域的差异,实验结果也表明在有些情况下这 种方法可能使内点集合收敛于局部运动区域. 前面提到的这些内区域确定方法很难兼顾参数估计的准 确性和鲁棒性,而且针对不同的视频场景往往需要事先选择 一 个理想的阈值,适应性较差.本文提出一种快速分割全局 运动区域和局部运动区域的方法——渐进精细阈值法来克服 这些缺陷. 2亮度残差阈值法 在全局运动估计的初始阶段,我们提出一种基于亮度残 差_ll_的阈值法来快速地大致区分全局运动区域和局部运动 区域.该方法具有实现简单,算法复杂度低的特点,适合前景 运动物体所占图像比例较小的情况.亮度残差均值阈值法的 原理是设定阈值为所有像素运动补偿后的亮度与相邻帧 相同位置像素点亮度之间残差的均值,令亮度残差低于该阈 值的像素点归为全局运动像素点集合,其余的是局部运动像 素点集合. 2.1亮度残差法 在运用递归最小二乘法估计全局运动时,初始化输入值 是图像中各宏块经过块匹配运动估计后得到的运动矢量.处 于局部运动区域的宏块的运动矢量不属于全局运动内点的集 合,而是对全局运动参数估计造成干扰的外点,其将会消耗大 量的运算时间.因此,如果在使用块匹配算法进行运动估计 时就能够对宏块运动估计的属性进行预判,提前发现可能会 干扰全局运动估计的宏块并予以剔除,必然会大大降低全局 运动估计的计算量. 对视频图像的分析可以发现,全局运动区域的纹理较为 丰富;而局部运动一般位于纹理灰度一致或灰度极其平滑的 区域.这是因为局部运动区域所包含的运动信息比较少,相 对来说,原始帧与参考帧对应块之间的亮度残差也很少.因 此,本文通过宏块运动补偿后的亮度信息来对每个宏块进行 预分析,以判断该宏块是否属于局部运动宏块,如果是,则把 该宏块在进行全局运动估计之前从全局运动宏块集合中剔除 出去,以节省全局运动估计的计算开销,提高全局运动估计的 精度. 算法的主要思路是:首先用sobel算子[1.分别计算当前 块内所有像素的梯度均值S(i,),其中,S(i,)一??s/ mXTl,以及在参考帧中的对应块内所有像素的梯度均值S (,),其中,S(,)一??Sti,i/mX1"1.比较S(i,)和S(, )残差绝对值的大小,也即lS(i,j3一S(,)l,如式(1)所示. 一 ??ls一s,,l/mX,z(1)i=?=1 式中,mXT/是块大小.比较与梯度阈值C的大小,把梯 度均值残差小于阈值的块从全局运动估计中剔除出去. ? 294? 2.2阈值的推导 考虑到视频图像中纹理分布的不一致性以及前景运动物 体所占比例的多样性,本文提出一种基于统计特性的亮度残 差阈值法,其通过对主流的各种分辨率测试视频的实验验证, 确定阈值因子.阈值根据式(2)来确定: 一 是.G 』i一1 (2) 式中,N是图像被划分成互不重叠的块的个数,是图像中 1N 第i个块的亮度残差(根据式(1)计算),?G代表当前帧』,一I 的亮度残差均值.如果当前块的亮度残差小于c,则当 前块被判定为局部运动区域块,从全局运动宏块集合中剔除 出去. 该算法分为以下3步: (1)把整幅图像分成互不重叠的块,块大小是16×l6,用 块匹配算法对每一个块做运动估计,得到每一个块的运动矢 量(zXx,/Xy).理论上来说,块大小越小,运动估计结果越精 确,一个极端的情况是当块大小为一个像素点时,运动估计结 果最准确.但这样一来,运动估计的复杂度将大大升高,需要 编码传输的运动矢量比特数也更多.本算法采用16×16的 块,并兼顾考虑计算复杂度与运动估计精确性.同时,对于块 匹配运动估计,我们采用的是三步搜索快速运动估计,以进一 步降低运动估计的复杂度.通过块匹配算法得到的每一个块 的运动矢量(ZXx,Ay)需要保存下来,作为执行第二环节运动 矢量残差分级阈值法的初始化输入. (2)使用上一步块匹配算法得到的运动矢量(?r,dxy)对 当前帧每一个块做运动补偿,得到当前帧每一像素点的预测 值.因为(zXx,/Xy)代表的是由于物体本身运动所引起的帧 间局部运动位移MV1,做帧间运动补偿以后,则可以通过阈 值化当前帧像素(,)的亮度与下一帧中((i,)+MV1) 位置处像素的亮度的差异来判断当前帧像素(i,)是全局 运动区域像素还是局部运动区域像素. (3)使用阈值分割全局运动区域与局部运动区域.阈 值的取值如式(2)所示,其中,因子k值的确定是本算法的 关键,本文接下来通过实验统计特性来讨论因子k的取值. 图1是在采用不同的值下,对全景视频"village"里的 第十六帧的全局运动参数的估计结果.的取值:O,255. 其中,"86"代表该帧做运动估计/*b偿后,由Sobel算子计算 的平均亮度残差值;"113"代表该帧的临界阈值. 图1不同的值下所得到的全局运动参数al,a2,a.的估计结果 由图1可以清楚地看到,当的取值超过113,全局运 动参数n,.z,a.的估计结果精确度急剧下降,直至为零,也 就是全局运动估计失败.这是由于当的值超过临界点,过 多的全局运动像素点被排除出全局运动估计过程,将导致全 局运动估计结果严重偏差.另一方面,从图1中我们注意到, 由Sobel算子计算的当前帧平均亮度残差值"86"与阈值临界 点"113"还有一定距离,如果单纯地使用平均亮度残差值"86" 为当前帧的全局运动估计阈值,将会使得参与全局运动估计 的全局运动像素集合包含过多的局部运动像素点,全局运动 参数估计过程将不得不迭代多次才能逐渐排除局部运动像素 点的干扰,从而得到一个较为稳定的参数结果.由以上分析 得知,全景视频"village"里第十六帧的亮度阈值应取为113, 即一113,则该帧的全局运动估计在确保结果准确性的前 提下可以达到更快的迭代过程收敛的目的. 是一个临界点阈值.为了正确客观地估计的值, 我们对一些典型的测试序列,包括QC/F格式的"Bus","Con— tainer","Football","News"和CIF格式的"Mobile","Fore— man" ,"Tempete","Silent","Paris"以及全景视频序列,包括 720×576格式的"Forest","Children","Reporter",1280×720 格式的"Bridge","Car","Garden"和1920×1024高清格式的 "Village","Hall","City"做了大量的统计分析工作.我们令 1N 运动补偿后的亮度残差均值G倒一?G,实验结果如表1vf=l 所列. 表1不同的测试序列下亮度残差均值G.和亮度残差阈值c的 取值 从表1可以看出,亮度残差均值G一般情况下并没有达 到临界值,如果单纯使用当前帧的亮度残差均值作为阈值点, 将不能完全地从全局运动像素点集合中剔除所有的异常点. 同时,也观察到,亮度残差均值和阈值临界点c的值随 着视频编码码率高低的不同而不同.码率越高,和c的 值越大,反之,G|删和C的值越小.这是因为视频序列的码率 越高,场景的细节更多,运动特征更明显,纹理更丰富. 根据表1有效的统计分析,并且考虑到阈值临界点的 取值过大将会导致全局运动参数估计失败,确定式(3)中k的 取值为:低码率情况下,如编码CIF,QCIF格式的视频序列, 志一1.1;高码率情况下,如编码4CIF,高清,全景视频序列, 愚一1.2,也即如下式所示: 一1.1,低码率情况下… 一1.2G,高码率情况下 3运动矢量残差分级阈值法 3.1运动矢量残差法 运动矢量残差分级阈值法主要是基于运动矢量残差 法l13_分离局部运动区域的过程.因为局部运动是前景物体 所做的个体运动,全局运动是摄像机运动引起的背景运动,两 者的差异往往非常大,根据这一准则,如果当前块的块匹配运 动矢量与全局运动矢量的残差值比较大,超过了某一阈值,则 可判定该当前块为局部运动区域块,反之,该当前块是全局运 动区域块,如式(4)所示. D一(Ax--Ax)十(Ay--Ay)(4) 式中,(,Zxy)是当前块经过传统的块匹配算法得到的运动 矢量,(,ZXy)是由当前块所选择的运动模型计算方程以及 当前模型参数计算得到的该点的运动矢量. 3.2分级阈值方法 运动矢量残差法的原理主要是基于全局运动矢量与局部 运动矢量的差异,对这一差异的度量是该方法的关键点.本 文采用一种分级阈值的方法来实现该度量的准确划分.这个 算法的主要思路是:在迭代的初始阶段,先用一个大的百分比 阈值去除绝大部分的外点.因为在一开始的时候,与内点差 异较大的外点在图像中占的比例是最大的(特别是局部运动 区域,往往与全局运动区域有较为明显的运动性质差异),采 用一个大的百分比阈值可迅速去除这些差异性大的外点,若 先排除了差异性较大的外点的干扰,则整个迭代过程收敛得 更快;第一次迭代后,已经得到了一个粗略的全局运动估计结 果,这个时候图像中剩下的待处理的外点是与内点差异较小 的像素点,在图像中占的比例不大,在接下来的几次迭代中, 可以分级减少百分比阈值的值,逐渐排除这些差异性小的外 点,精确细化内点的集合,直到把尽可能多的外点都排除出内 点集合.具体算法步骤如下: (1)使用块匹配算法估计当前帧每一块的局部运动位移. 该步骤在上一环节,即基于亮度残差的阈值法中已经执行. (2)估计运动模型参数.考虑到全局运动区域一般集中 在图像背景区域,也就是图像的边缘部分,我们选取图像左上 角,右上角,左下角3个48×48图像区域的中心块(块大小为 16×16)的运动矢量作为第一次高斯牛顿迭代估计模型参数 过程的初始化输入值,通过高斯牛顿迭代计算,可得出初始化 的若干个运动模型参数值. (3)计算图像中每一个块的全局运动矢量(Ax,Ay). 图像中,背景区域的块运动属于全局运动,而前景区域的块运 动属于局部运动,但仍然可以通过把上一步骤中得到的运动 模型参数值重新代人高斯牛顿迭代中,根据每一个块中心像 素点的坐标(z,)的值,分别计算出每一个块的"全局运动矢 量".对于局部运动块,该运动矢量是伪全局运动矢量. (4)计算运动矢量残差.对于同一个块,把步骤(1)得出 的该块的运动矢量(,Ay)与步骤(3)中得出的该块的运动 矢量(,Ay)作方差,如式(4)所示.计算运动矢量残差的 目的是为了判断该像素块的实际运动矢量与全局运动矢量的 差异,如果运动矢量残差较大,则说明该块很有可能是局部运 动块,反之,该块很有可能是全局运动块. (5)设置百分比阈值来排除局部运动块.我们采用一个 分级递减的百分比阈值P来逐步精细全局运动区域,同时设 置一个分级递减的运动矢量残差阈值丁来判断本次迭代是 否可以结束.在第一次迭代过程中,设置P的初始值为50, 同时设置T为0.04,即: ~/(一)+(一Ay)>T(5) 把满足上式条件的最多不超过图像块数目总和的P百 分比的块标记为局部运动块,剩余的标记为全局运动块,作为 下一次全局运动估计迭代计算的块集合.如果本次全局运动 估计块集合里所有块的运动矢量残差都不满足上式条件,则 结束本次迭代,生成最终的运动模型参数,同时可根据每次迭 代所标记的局部运动块集合分割出局部运动区域.P和T 的递减规则:每次进入新一轮的迭代计算前,将P更新为P 的四分之--(P=P/4),即第二次迭代过程中,P设为12.5,第 ? 295? 三次迭代过程中,P设为3.125……这是因为随着迭代次数 的增加,内点集合越来越趋于稳定,所包含的外点越来越少, 所以P值需要线性递减,以免迭代收敛于内点集合的局部. 同时将T更新为T—T—O.O1,因为每次迭代结束以后,剩下 的块的运动矢量残差更小,其中有一部分是与全局运动属性 差异更小的局部运动块,需要用一个更小的T来分辨它们. 当迭代结果趋向稳定时,用递减的T能同时达到加快迭代收 敛,减低计算复杂度和保证全局运动估计结果逐步精细的目 的.第一次高斯牛顿迭代结束以后,将得到新的一套运动模 型参数值.把这套运动模型参数值作为下一轮高斯牛顿迭代 的输入值. (6)重复步骤(3)一步骤(5),直到所有块的运动矢量残差 都小于T或者迭代次数等于4,则结束迭代过程.实验证明, 当迭代次数超过4次,模型参数的解的精确性增加极其有限, 也就是说,第4,第5,第6次迭代的结果非常近似,甚至无异, 模型参数的解已经达到了该分级阈值迭代法精确性的一个极 限. 4实验结果与分析 在本文仿真实验中,采用六个视频序列,涵盖从高分辨率 到低分辨率,包括分辨率为2048×768的"Village"和"Hall", 分辨率为1280×352的"City"和"Bridge"以及分辨率为720× 176的"Car"和"Garden".帧率都是每秒25帧. 如上面讨论可知,运动模型参数估计过程是全局运动估 计中较为耗时的部分,迭代次数越多,计算复杂度越高.而迭 代收敛的快慢主要受全局运动像素点集合的纯度的影响,全 局运动像素点集合纯度越高,迭代收敛得越快;反之,越慢. 如图2所示,采用传统的基于平移运动模型的运动估计/运动 补偿方法,平均需要5,6次高斯牛顿迭代才能趋于全局运动 参数的精确解;而采用本文所提出的渐进精细阈值法的快速 全局运动估计技术,平均使用2,3次高斯牛顿迭代就可获得 精度比前者更高的全局运动参数解.实验证明,在运动剧烈, 运动纹理更丰富的视频序列,例如"Bridge",采用本文所提出 的方法能更有效地提高运动预测精度和编码性能.而运动剧 烈的视频序列往往是传统运动估计/运动补偿难以处理的视 频内容. 在已有的全局运动模型参数估计过程中亮度残差阈值法 和运动矢量残差分级阈值法并不会给编码器带来很大的额外 计算开销.表2列出了本文所提出的快速全局运动估计方法 中各步骤所需要的计算运行时间.块匹配过程和全局运动参 数估计过程是全局运动估计过程中计算复杂度开销最大的部 分,平均占总运行时域分别为50.6和32.5,而执行亮度 残差阈值法和运动矢量残差分级阈值法二者加起来的运算时 间不到总计算开销的l7. Brldge(1280x35225f*)…, Garden(7208x17625fps) 童.一l: =_-=】【?]f]rr_A^I^Af,? 口5IIIfl儿Ijllli~n13J删 一ItlW 】l_V11V—ulW1l^l—L一一^jI讲 口 .^M.^.一一一一一. 呈;【AIM^删?fllfI/Un腰删哪刚【J g 芭B— 暑艟矗,f.内删^Y】66cH墉YDd弛uY,U州 161116筠313B414851拍61?n76n阱酆17I3192531374349556l677379弱9lg7 tamenumberrrltmenumber (b) 图2采用阈值方法与不使用阈值方法两种情况下全局运动参数 估计过程的迭代次数比较 表2快速全局运动估计各步骤运算时域 通过加入阈值器.以较小的计算开销代价,使得全局运动 参数估计过程收敛得更快,全局运动估计结果更精确.表3 列出了渐进精细阈值法的全局运动估计方法与其他3种分别 基于固定值阈值法,均值阈值法,固定百分比阈值法的全局运 动估计方法的全局运动估计时域和重构图像峰值信噪比的对 比数据.本文所采用的快速全局运动估计方法在保证重构图 像质量不下降,而且还有略微提升的前提下,分别比固定百分 比阈值法节省25.6,比均值阈值法节省32.5,比固定值 阈值法节省52.3的运动估计计算开销. 表3使用渐进精细阈值法与其他阈值方法的性能比较 结束语本文研究了一种面向快速全局运动估计的渐进 精细阈值方法.该方法结合亮度残差阈值法和运动矢量残差 阈值法,分两步逐步细分前景物体对象和背景区域,最终实现 快速全局运动估计.实验证明,该阈值方法兼顾了全局运动 估计的准确性和鲁棒性,对大多数视频序列的全局运动估计 ? 296? 具有算法复杂度低,运动参数估计精确的效果. 通过渐进精细阈值法,可以得到全局运动的模型参数,全 局运动区域和局部运动区域.从理论上说,全局运动区域对 应了视频场景中的背景区域,而前景运动目标对应了局部运 动区域,但是由于块匹配估计运动矢量时的孔径问题和噪声 问题,全局运动区域中还存在一些前景运动物体像素.我们 下一步的研究工作是通过对全局运动区域的一些辅助处理, 如运动矢量场的后处理,时空联合分析等 措施 《全国民用建筑工程设计技术措施》规划•建筑•景观全国民用建筑工程设计技术措施》规划•建筑•景观软件质量保证措施下载工地伤害及预防措施下载关于贯彻落实的具体措施 来进一步净化 全局运动区域,从而得到更为精确的全局运动估计结果. 参考文献 [1]郭丽,龚声蓉,崔志明.一种快速全局运动估计算法[J].中国图 形图像,2007,12(12):2119—2126 [2]李乔亮,汪国有,张桂林,等.基于掩模金字塔的高精度全局运动 估计算法_J].计算机辅助 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 与图形学,2009,21(6):758— 762 r3]ArvanitidouMG,GlantzA,KrutzAeta1.Globalmotionesti— mationusingvariableblocksizesanditsapplicationtoobject segmentation[C]fProceedingsofImageAnalysisforMultime— diaInteractiveServices.2009:173-176 [4]彭小宁,杨明,邹北骥,等.基于局部图金字塔的不规则块匹配视 频分割方法【J].计算机科学,2008,4:233—237 [5]ZhengJia-li,JiXiang-yang,NiGuang-nan,eta1.ExtendedDirect ModeforHierarchicalBPictureCodingEJ].Proceedingsof IEEEInternationalConferenceonImageProcessing(ICIP), 2005,2(1):265—268 [6]PressWH,eta1.NumericalRecipesinC:theArtofScientific Computing[M].Cambridge:CambridgeUniversityPress,2005 [7]ZhengJia-li,ShenYan-fei,ZhangYong-dong,eta1.AdaptiveSe— lectionMotionModelforPanoramicVideoCoding[c]?Pro— ceedingsofIEEEInternationalConferenceonMultimedia &Expo(ICME).2007:13191322 [8]RathGB,MakurA.Iterativeleastsquaresandcompression basedestimationsforafour-parameterlinearglobalmotion modelandglobalmotioncompensation[J].IEEETransactions onCircuitsandSystemsforVideoTechnology,2005,9(7): 1075-1099 r9]LiWP,eta1.MPEC-4VideoVerificationModelversion16.0, ISO/IEC/JTC1/SC29/WG11,Doc.No.N3312[S].Netherlands, 2006 [1o]AlbuF,FloreaC,ZamfirA,eta1.LowComplexityGlobalMo— tionEstimationTechniquesforImageStabilization[C]?Pro— ceedingsofInternetionalConferenceonConsumerElectronics. 2008:1-2 [u]BjnQ,GhazalM,AmerA.RobustGlobalMotionEstimationO— rientedtoVideoObjectSegmentation[J].IEEETransactionson ImageProcessing,2008,17(6):958—967 [12]GonzalesRC,WoodsRE.DigitalImageProcessing[M].Addi— son-Wisley,2005 [13]ChenYM,BajicIV.MotionVectorOutlierRejectionCascade forGlobalMotionEstimation[J~.IEEETransactionsonSignal Processing,2009,17(2):197—200 (上接第269页) 本文定义了"进球","点球"和"角球"3类视频语义图. 实验数据如表2所列. 表2实验数据集 实验结果如表3所列,从表中可以看出查到率都高于查 准率,而且平均准确率大于85.这说明采用VSG描述的 几类足球视频语义是准确的,且本文提出的算法实用可行. 表3实验结果 分析实验结果发现,造成"进球"匹配错误主要是由视频 中出现的精彩射门引起的.而"角球"的正确匹配数量小于实 际数量的原因是比赛视频中,有些角球镜头没有给出角球区 镜头.相比之下,"点球"的匹配准确率最高,这是因为点球的 情况较少,并且描述点球的视频一般比较 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 ,受其他情况影 响较少. 采用简单线性加权的融合方法l4]对测试数据进行实验, 查准率和查全率的平均值分别是42和83,可见本文的方 法明显优于基于简单线性加权的融合方法. 结束语提出了新的图模型的视频语义内容建模方法, 构建了视频语义图(VSG).从3个方面详细地阐述了图模 型,第一,如何定义每个建模元素的图形符号;第二,如何定义 图形符号之间的位置关系;第三,如何将表示法映射到抽象语 法.针对足球视频,对模型进行了深入的讨论,提出了基于图 模型的足球视频语义内容建模方法.可以将其推广到其他视 频语义内容建模,允许用户自行定义图形元素表示的语义. 在分析了图匹配的相关问题之后,提出了基于DFS的图模型 的视频检索算法,详细阐述了算法思路和步骤,分析了算法的 复杂度,并用实验验证了算法的可行性. 参考文献 [1]JainR.MultimediaInformationRetrieval:WatershedEvents. MIR'08[c]?Vancouver,BritishColumbia,Canada,October 2008:30—31 [2]RuiY,GuptaA,AceroA.Automaticallyextractinghighlights forTVbaseballprograms[,ACMMultimedia.2000 [3]WangFeng,JiangYu-gang,Ngo(2-W.VideoEventDetectionU— singMotionRelativityandVisualRelatedness[,}ACMMM08. Vancouver,BritishColumbia,Canada,2008 [4]白亮.本体支持的视频情报分析方法与技术研究[D].长沙:国 防科技大学,2008 [5]李刚.知识发现的图模型方法[D].北京:中国科学院软件研究 所,2001 [63严蔚敏,吴伟明.数据结构[M].C语言版.北京:清华大学出版 社,1997 [7]GoldbergAB,LiM,ZhuX.Onlinemanifoldregularization:A newlearningsettlngandempiricalstudy[C]f}ECMLPKDD. 2008 [8]AlyR,HiemstraD.ConceptDetectors:HowGoodisGoodE— nough[C]?MM'09.Beijing,2009 [9]HanBo,YanYan,ChenZhen-ghua,eta1.AGeneralFramework forAutomaticOn—lineReplayDetectioninSportsVideo[C]ff MM'09.Bering.2009 [1O]侯绿林,白亮,老松杨.一种压缩域中的体育视频慢镜头探测方 法[J].计算机科学,2009,36(9):283—286 ? 297?