宁波大学本科毕业设计(论文)
开 题 报 告
题 目 XXXXXXXXX 指导教师 XXX
学 院 XXXX 专 业 XXXX 班 级 XXXX
学 生
姓 名
XXX 学 号 XXXXXXX 开题日期 XXXX
1、选题的背景与意义
1.1 研究目的与意义
随着计算机、通信及网络技术的发展,实时的二维视频可视通信已经走向成熟,基于各
种国际
标准
excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载
(如MPEG系列、H.26x系列等)的视频产品已经进入了人们的生活、学习、工作
等各个方面。然而,人们对于数字视频的要求日益提高,人们希望看到
表
关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf
征自然景物的数字
视频能够更加地清晰、更加地真实,而二维视频在真实性上存在很大的局限。相比之下,立
体视频增加了景物的深度信息,增强了视觉的现实感和逼真感。因此,立体视频技术作为当
前的一个研究热点,已经吸引了越来越多的国内外的学者,并在各个领域得到了广泛应用,
如立体数字电视(3DTV)、远程教育、远程工业控制、三维视频会议系统、虚拟现实系统、远
程医疗、遥控机器人、自动导航、消费电子等诸多方面。
立体视频是利用人眼的双目视差原理,双目各自独立地接收来自同一场景的特定摄像点
的左右图像,左眼看偏左的图像,右眼看偏右的图像,形成双目视差,大脑能得到图像的深
度信息,使欣赏到的图像具有深度感和逼真感。由于技术条件的限制,立体视频一直没有得
到快速的发展,进入20世纪90年代后,随着三维显示技术的进步,立体视频技术得到了全世
界学者的关注,成为了一个研究的热点。
立体视频与传统的单通道视频相比,要处理至少翻一倍的数据量,所以必须采用更高效
的数据压缩编码技术,才能对立体视频数据进行有效的存储和传输。同时,随着人们对视频
观看质量要求的提高,高分辨率、高清晰度是今后的趋势,这将带来视频数据量的急剧增加,
仅仅依靠网络带宽的提高和存储容量的提升是无法解决这个问题的,还必须采用高效的视频
编码压缩技术。
多媒体数据压缩国际标准MPEG-4采用基于对象的编码方法,要求在编码前把视频序列
的场景分解为多个视频对象平面,此过程即视频对象分割,是MPEG-4标准关键技术。视频
对象分割的主要目的是通过一系列连续图像帧中抽取感兴趣的对象,把视频表示成一个视频
对象(VO),为基于对象的编码和基于对象的表达提供技术支持。视频对象分割技术是新一代
视频编码标准MPEG-4的一个重要支撑技术,有着很广的应用范围,如多媒体检索、目标跟
踪、基于内容的视频编码等。
现实世界中场景的极度复杂性和多样性,很难建立一个统一的先验模型,这也决定了很
难找到一种单一的方法来完成所有的视频对象分割任务,这是视频对象分割最大的难点。虽
然立体视频也受到颜色、深度等的影响,但是立体视频的形成是由于有视差场的存在,视差
估计是去除立体视频数据空间冗余的有效方法,能够有效地对立体视频数据进行编码压缩,
是立体视频处理中的关键技术之一,因此立体视频分割技术需要考虑视差的影响。本论文确
定的一个重要研究内容是基于视差的立体视频对象的分割。
1.2 立体视频对象分割研究现状和发展趋势
1.2.1 视频对象分割技术
视频对象分割是计算机视觉中的一个基本问题,也是当前视频信号处理研究的前沿与热
点之一。视频对象分割是指在时空域上将视频分割为一些视频语义对象的组合,也就是将每
一个视频帧分割成为一些不同的语义对象区域,从而能够对视频实现灵活处理。视频对象分
割具有广阔的应用前景,如视频编码、视频检索、视频监控、多媒体创作、图像理解、模式
识别等。
1.2.2 视频对象分割研究现状
在MPEG-4标准的制定过程中,国外的一些研究机构和大学就提出了一些视频分割算法,
并向MPEG组织提交了算法报告。目前,国内外一些研究机构和高等院校仍在积极探索鲁棒
的、快速的视频对象分割算法,取得了很大的进展,提出了许多视频对象分割算法。这些方
法从不同的角度或不同的目的对视频对象分割问题进行了研究。
目前,国内外研究的视频对象分割根据所用的信息不同,大致可分为时域分割,空域分
割以及时空域的联合算法。由于视频对象本身内容特别复杂,同时人工智能技术的现状决定
了当前计算机仍然不具有人的观察、识别、理解图像的能力。因此,目前还不存在一种通用
并且有效的解决方法。当前国内外视频分割算法的研究趋势之一是寻找更好的基于时域信息
的运动分割和时空域信息联合分割方法。
1.2.3 视频对象分割发展趋势
尽管视频对象分割算法的研究得到了广泛的重视,并且已经提出了众多的算法,但是,
视频对象分割算法与MPEG-4标准及计算机视觉、模式识别等应用的要求相比还远未成熟。
今后应从视频对象分割的实用化出发,充分利用计算机硬件处理图像能力并充分研究视频分
割的实时性要求,从人工智能、图像理解及视频内容的先验知识上考虑视频分割,以便推广
到任意视频序列的应用上来。
二、研究的基本内容与拟解决的主要问题
2.1 研究的基本内容
为了研究基于视差的立体视频对象分割,做了如图2-1的框图,大致介绍研究的流程。
视差估计技术
视频分割技术的研
究
设计基于
视差的立
体视频对
象分割
评价基于视差的立
体视频对象分割
图 2-1基于视差的立体视频对象分割的基本流程
2.1.1 视差估计技术
双目成像是最简单的模拟人双眼感知三维景物的成像方式。图 2-2为平行双目摄像系统
的俯视图。图 2-2中,基线 1C rC 和外极线 1L 、 rL 两两相互平行,构成了平行双目摄像系统,
图示为平行双目摄像系统的俯视图。X 轴为水平方向,和基线重合;Z 轴为摄像机和物体的
距离轴;垂直方向的 Y轴没画出。图 2-2中两条粗黑线表示左右成像平面, 1O 和 rO 是成像
平面的中心; 1P 和 rP 是三维空间 P 点在左右成像平面上的成像点 1U 和 rU 相对于平面中心
的位移,其中 1P 为正值、 rP 为负值;摄像机的焦距为 f,基线 1C rC 的长度为 2h。由图得到
视差与深度的关系为
Z
hfd 2= 。
图 2-2 平行双目摄像系统的俯视图
从图 2-2平行双目摄像系统入手,根据视差的估计来求取场景 P点的左右视差图。
2.1.2 视频分割技术的研究
视频分割技术基于直方图的方法,通过像素的分布情况,利用直方图从 MATLAB 工具
分割出所需要的对象。
2.1.3 设计基于视差的立体视频对象分割
通过对视差和立体视频对象分割的理解,然后利用视差图对立体视频对象进行分割。
2.1.4 评价基于视差的立体视频对象分割
视差估计是去除立体视频数据空间冗余的有效方法,能够有效地对立体视频数据进行编
码压缩,通过对视差的估计,能够有效地从视频对象中分割出视差图。这个方法使用了相对简
单的方法来完成所有的视频对象分割任务。
2.2 视差估计的理论依据
从了解传统的2D视频对象分割技术和人体的立体视觉机制,从而分析视差估计的理论依
据。
2.2.1 传统的2D视频对象分割技术
传统的2D视点视频对象分割,主要是利用灰度、边缘以及运动等信息,而对于立体视频
来说,可以获得2D视频中所没有的视差(深度)信息,深度信息是接近语义对象的,对于对象
分割是有利的,从而使得在立体视频中有更多的信息用于分割。由于视差信息的利用,在立
体视频对象分割中,可以用相对简单的方法解决在单视频对象分割中难以解决或用复杂方法
才能解决的问题。
h h
Z
P(x,y,z)
C
rC 1C
1U
rU
f 1
L
rL
1P
rP
X
Z
1O rO
2.2.2人体立体视觉的机制
在知觉的大小恒常性和形状恒常性的特点中,我们都提到对距离的知觉。距离知觉也称
深度知觉,它使人们能够把二维的视网像解释为三维的世界,以认识事物的真面貌。深度知
觉线索来自两个方面,一方面是以刺激物的特性作为线索,另一方面则产生于视觉系统本身
的特性。其中来自刺激方面的深度线索,如大小,视野中的高度,遮挡,线性透视,纹理变
化及光照与阴影等。其次是来自视觉线索本身的深度线索。
由于人眼的生理构造和位置,在看位于不同距离的物体时,引起不同的神经细胞活动,
他们所提供的信息也为知觉提供着深度线索,最重要的是来自眼肌的调节与幅合,他们自动
进行而引起的各种神经活动却是深度知觉的重要线索。
由于两个眼睛的位置不同,同一物体投射到两眼的图像是有差异的,距离越远,差距越
小,是大脑把两个不同的信息结合起来使人知觉到一个具有深度的立体。立体图像和立体电
影就是利用双眼视差,将两种稍有差异的图像片分布同时呈现给眼睛,引出立体的视觉效果。
2.3 立体视频分割技术的理论依据
图像分割就是指把图像分成各具特性的区域并提取出感兴趣的目标的技术和过程。这里
的特性可以是灰度、颜色、纹理等,目标可以对应于单个区域,也可以对应于多个区域。而
视频是一串连续的图像序列,视频中的每一帧(某一时刻的采样)即可视为一幅图像。因此,
视频实际上是图像在时间维的扩展,但并不是简单的扩展,这是因为视频序列中相邻帧之间
存在着大量的时间冗余,即相关性很强。从上述的图像和视频的关系可以看出,视频分割也
必然与图像分割存在着一些联系。图像分割常被称为“低级”分割,它主要依赖于像素级的低
级特征,如灰度、颜色和纹理的一致性。相比而言,视频分割出的对象必须是具有语义意义
的实体。单视点视频主要利用同一性准则(颜色或运动等)来进行对象分割,目前还不能很
好的识别语义对象,因为语义对象通常包括由不同颜色和运动属性组成的区域。然而在立体
或多视点视频分析系统中,却能将更多的物理特征信息(视差或深度信息等)用于分割语义
对象。
2.3.1 直方图的介绍
直方图是一张二维的坐标系,其横轴代表的是图像中的像素,由左向右,根据立体视频
对象的像素不同,进行像素的统计。
直方图能够使我们真实、直观地看出照片的像素情况,它有一个特点:越靠近人的物体,
像素值越大,越远离人的物体像素值越低。因此层次感很强,能够反映不同物体离人的距离。
在立体视频对象分割中,从直方图统计的像素中提取出一段像素,从而分割出该像素段的视
频对象。
2.3.1.1 一维直方图
数字图像中用来表示灰度级与其频数或频率间的关系图像称为灰度直方图,灰度级的频
数即灰度级在图像中出现的像素个数。灰度级的频率是指该灰度级中的频数与图像总像素的
百分比。
假设图像由具有单峰灰度分布的目标和背景组成,在目标或背景内部的相邻象素间的灰
度值是高度相关的,但在目标和背景交界处,两边的像素在灰度值上有很大的差别。如果图
像满足这些条件,它的灰度直方图基本上可看作是由分别对应目标和背景的二个单峰直方图
混合而成。此时如果这二个分布大小(数量)接近且均值相距足够远,而且均方差也足够小,
则直方图应是双峰的。对这类图像用取阈值方法可得到较好的分割效果。
2.3.1.2 二维直方图
二维灰度直方图即像素的灰度值及其领域平均值分布所构成的直方图。它不仅反映了灰
度分布信息,而且反映了图像像素领域空间的相关信息,运用二维直方图提供的空间相关信
息对彩色图像进行分割的方法要好于以为灰度直方图阈值化方法。
如果图像中有多个灰度值不同的区域,那么可以选择一系列的阈值将每个像素分到合适
的类别中去。
2.4 拟解决的主要问题
在进行上面的研究内容的过程中,有下面几项关键技术是值得关注的
(1)
对原始的图像进行滤波处理。
(2)
视差信息的求取。根据双目视差原理,对立体视频对象进行视差估计。
(3)
利用直方图对立体视频对象的分割。
三、研究的方法
基于上面的理论分析,初步制定了基于视差的立体视频对象分割的流程图如3-1所示。
左视点视频 右视点视频
左视差图 右视差图
预处理 预处理
视频对象分割视频对象分割
主观实验
基于视差的立体视
频对象分割的评价
图 3-1 基于视差的立体视频对象分割
3.1 视差信息提取的方法
根据人眼的双目视差原理,我们理解了立体视频的产生原理,同样地,利用双目视差原
理,我们采用视差来提取立体视频中所需要的对象,从而对对象进行分割。
图 3-1 中先对左右视点视频求取视差图,对视差图进行滤波等预处理,为接下来的视频
对象分割做好准备工作。
3.2 立体视频对象分割方法
对于立体视频对象,可以利用直方图来进行分割,对于不同的对象进行单阈值的分割和
多阈值的分割。通过直方图里的像素分布情况提取各个对象。
3.3 主观实验
为了
证明
住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问
算法的可行性,将对本论文提出的立体视频对象分割方法做一个主观实验。基
本内容如下:邀请20位同学去观看立体视频,同时标明视频中的各个对象,在几分钟后关闭
视频,请观看者独立选出两样自己感兴趣的对象,通过统计来证明本论文所作的算法带来的
视频对象分割的优势。
3.4 评价基于视差的立体视频对象分割
通过对本课题的深入了解,以及主观实验的客观数据,来证明基于视差的立体视频对象
分割的可行性。
四、研究的总体安排与进度
1、2009年 11月 15日——2009年 12月 1日:深入研究课题,了解课题的具体任务要求,制
定详细的
计划
项目进度计划表范例计划下载计划下载计划下载课程教学计划下载
安排。
2、2009年 12月 2日——2009年 12月 20日:查阅相关文献资料,理清思路,写文献综述和
开题报告。
3、2009年 12月 21日——2010年 1月 13日:熟悉了解 VC++平台,及 H.264编码规则。
4、2010年 1月 14日——2010年 2月 06日:求取立体视频的视差。
5、2010年 2月 07日——2010年 3月 20日:根据视差图进行视频对象的分割。
6、2010年 3月 21日——2010年 4月 15日:完成所有项目与毕业论文等工作。
五、主要参考文献
[1] 毕厚杰,王健.新一代视频压缩编码标准—H.264/AVC(第二版)[M].北京:人民邮电出版社,
2009.
[2] 张瑞合.基于计算机视觉的空间目标定位系统研究[J].南京农业大学农业工程学院,2000.
[3] 袁惇,吕朝辉.立体视频对象分割综述[J].北京:中国传媒大学,信息工程学院,2006.
[4] 安平,刘苏醒,高欣,张兆杨.基于视差和阈值分割的立体视频对象提取[J].中国图象图形学
报,2006,11(11):1669-1672.
[5] 徐彬,郁梅,叶锡恩,蒋刚毅.一种基于H.264的立体视频编码中的视差估计快速算法[J].浙江
大学学报(理学版),2006,33(4):412-416.
[6] 高欣,安平,刘佳,张兆扬.基于视差和变化检测的立体视频对象分割[J].上海大学学报(自然
科学版),2006,12(2):116-119,124.
[7] 李世平,蒋刚毅,郁梅.基于 H.264的立体视频编码方法[J].计算机工程与应用,2005,41(1):
77-79.
[8] 王世刚,王学军,陈贺新.基于 H.264标准的双目立体视频压缩编码与实现[J].中国体视学与
图像分析,2008,13(1):11-16.
[9] 朱仲杰,郁梅,蒋刚毅.用于立体视频会议系统的立体对象分割与跟踪算法[J].计算机辅助
设计与图形学学报,2004,16(3):16-20.
[10] 徐奕,周军,周源华.立体视觉匹配技术[J].计算机工程与应用,2003,15:1-5.
[11] 张倩 ,张兆杨 ,安平 .基于压缩域信息的立体视频对象分割方法 [J].中国图象图形学
报,2008,13(10):2047-2050.
[12] 王露茵.视觉形象感知与评价研究[J].计算机科学与技术学院设计艺术专业,2005.
[13] 钱曾波,邱振戈,张永强.计算机立体视觉研究的进展[J].测绘学院学报,2001,18(4),267-272.
[14] ATZPADIN N,ASKAR S,KAUFF P, et al. New concept for Joint Disparity Estimation and
Segmentation For Real-time Video Processing [J].Picture Coding Symposium,2003:23-25.
[15] DOULAMIS N D, DOULAMIS A D,AVRITHIS Y S, et al. efficient summarization of
stereoscopic video sequences[J].IEEE Trans.Circuits and Systems for Video
Technology,2000,10(4):501-507.
指导教师审核意见:
指导教师签字
年 月 日