移动视频监控系统中流媒体传输控制的设计与实现

移动视频监控系统中流媒体传输控制的 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 与实现 浙江工业大学硕士学位论文 移动视频监控系统中流媒体传输 控制的设计与实现 杨建锋 作者姓名: 指导教师: 孟利民教授 浙江工业大学信息工程学院 年月::. 浙江工业大学 学位论文原创性声明 本人郑重声明:所提交的学位论文是本人在导师的指导下,独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外,本论文不包含其他个人或 集体已经发表或撰写过的研究成果,也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体,均已在文中 以明确方式标明。本人承担本声明的法律责任。 作?:栅咋 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 、保密口,在 年解密后适用本授权书。 、不保密《 请在以上相应方框内打“?” 作者签名: 日期凶许脂 蝴 导师签名:钞咿日期:弦彦妒汐浙江工业大学硕士学位论文 移动视频监控系统中流媒体传输 控制的设计与实现 摘 要 目前,视频监控系统在安防领域越来越受用户的欢迎,与此同时用户对于视频监控系 统的要求也越来越高。随着无线网络技术的普遍应用和监控终端性能的不断提高,移动视 频监控系统逐渐成为了安防领域的热点和主流。此外,流媒体技术也在不断发展,实时流 媒体传输被广泛采用并成为视频监控系统关键技术之一。在移动视频监控系统中,由于无 线网络的多异性和不稳定性,实时流媒体传输控制问题显得更加突出。因此,移动视频监 控系统中流媒体传输控制的研究具有重要的意义。 本文旨在设计流媒体传输控制 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 和移动视频监控系统客户端软件。流媒体传输控制 方法的设计主要是为了提高流媒体传输的服务质量,而客户端软件的设计主要是实现监控 系统的视频播放。 本文从移动视频监控系统及相关技术入手,为研究和设计提供了重要的系统框架和理 论依据。利用实时流媒体传输协议/及其传输功能,通过不可靠的传输实 现实时监控。同时,根据网络传输反馈和网络参数分析,计算网络延迟和丢包率,从而判 定网络状态。最后提出了流媒体传输控制算法。在移动视频监控系统客户端,利用 控件方法实现了监控系统的/设计。另外,通过技术以推模式实现了流媒体 数据包在各个中传递,并采用对话框技术设计了客户端监控界面播放流媒体视 频。 测试结果表明移动视频监控系统的设计基本能达到用户的需求,而流媒体传 输控制算 法能够提高流媒体的服务质量,具有应用价值。 关键字:视频监控,丢包率,,,控件,. , . , , .. , ,?., . . , ,?. / , ., , . ./. , .. ,. . : , ,, 浙江工业大学硕士学位论文 ???????????????????????????????????????????????????????????????? 一 国 录 摘要?..??.??.. 第章绪论?。 .课题研究的背景??. .课题的研究意义??. .国内外研究现状及趋势??. .本文的研究内容及组织结构. 第章移动视频监控系统及相关技术.移动视频监控系统?. ..移动视频监控系统整体框架?. ..移动视频监控系统各部分简介 .流媒体压缩编码.. .编码的特点.. .编码的分层体系 .. . 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 的关键技术 .. .码流. 协议?.. .. 协议概况? .. 协议网络体系及消息结构 . 本章小结第章流媒体传输控制的设计? . 肘传输协议 .实时传输协议 ..实时传输控制协议. .. /协议的传输功能? .流媒体网络参数分析 ..数据包到达延时抖动.. ..网络传输延迟时间? ..数据包丢包率.. .流媒体传输控制算法 .. 网络状态参数和图像质量判定??.浙江工业大学硕士学位论文 ..实验方法判定.. ..丢包率平滑器.. ..速率控制算法.. .本章小结第章视频监控系统客户端软件的设计与实现. . /客户端的设计? ..客户端开发环境和控件简介 .. 控件的设计? .客户端的播放器设计 .. 播放器的整体设计..播放功能模块设计.客户端中流媒体的实现..流媒体技术简介??. ..推模式设计?.. ..流媒体传输控制的实现 .客户端登入的设计? .客户端视频测试.本章总结第章总结与展望. . 总结? .展望? 参考文献 致谢??.. 攻读学位期间参加的科研项目和成果??..浙江工业大学硕士学位论文 第章 绪 论 .课题研究的背景 现代科技的蓬勃发展和人们对于生活需求的不断提高,视频监控系统对人们的安全生 活越来越重要。现代互联网和网络技术突飞猛进,从个人终端到手机终端,网络正在逐步 改变着世界。近年来,伴随着网络技术的飞快发展,视频监控行业正在进行一系列系统升 级和产品更新,基于智能设备终端和移动网络的移动视频监控也将作为安防行业新的增长 点,引领着安防行业走向新的未来【】。移动视频监控系统的市场大有可为,随着技术 的普遍应用和用户对网络视频监控的逐步认可,移动网络视频监控在监控市场上的份额也 占据越来越大的比例。据统计,年网络视频监控路数大约在万路左右,占据了总 网络监控视频路数的%以上,年以后,网络视频监控路数占据了%以上的市场份额, 总体超过了市场,从产值预计看,年视频监控整体市场产值规模将达到. 亿元【。 视频监控系统经历了三个阶段的发展,从第一代模拟视频系统到第二代的数 字视频系统?再到第三代的网络化数字视频系统,只短短多年的时间。 模拟视频监控系统 模拟视频监控系统发展最早,完全采用模拟技术,主要由摄像头,监视器,录像机等 组成。它利用前端的摄像头进行视频采集,然后通过射频线路或者视频线把视频信号传输 到监视器,再由录像机把模拟视频存储文档。模拟视频监控系统采用磁带长时间存储视频 数据,视频信息采用视频电缆,同时以模拟的方式进行传输。模拟视频监控系统有很多的 缺点: 视频传输距离有限,只适合小范围的视频监控,视频监控信息也只能 在视频 存储麻烦,需 控制室才能观看; 视频图像质量差,容易受到外面因素的干扰; 资料查询繁杂, 要大量的磁带进行存储,而且数据质量容易随时间的推移而变差; 不易取证; 不易大规模推广等。 数字视频监控系统? 所谓第二代视频监控系统数字视频监控系统其实是半数字化的。年代初,随着 计算机处理技术和彩色视频技术的发展与普及,视频监控系统形成了以机和数字硬盘浙江工业大学硕士学位论文 录像机为基础,多媒体技术和视频压缩编码技术为核心的数字化本地视频监控系 统。该系统的主要设备是,主要基于和微型计算机系统平台,在计算 机中安装相应的软件和视频压缩卡后,不同型号视频卡可连接//路视频,同时支 持实时音频和视频】【】。第二代视频监控系统没有摆脱第一代的影子,图像信号从视频源 传输到视频中心采用模拟方式,要实现远距离传输需铺设光缆,这样做设备成本高,不易 维护,而且维修费用大。第二代视频监控系统的特点:视频、音频采用数字化存储,提高 存储的质量;整个系统的功能比较完善和强大;实际应用的灵活性增强;可以与信息系统 交换数据。但也存在不少问题:传输需要用到同轴电缆,适合范围有很大的局限性,覆盖 小;系统建成之后不易改动,扩展能力差;系统独立,不能形成有效的联动报警机制;网 络带宽和视频压缩编码等技术相对滞后,无法建立大规模的视频监控系统。 网络化数字视频监控系统 年代末期,随着网络带宽和计算机处理能力的不断提高,音视频压缩技术的不断先 进,视频监控系统进入全数字化时代,称为第三代数字视频监控系统【】。第三代数字视频 监控系统主要由网络摄像机和视频服务器组成,此系统是以网络为基础,以数字视频的压 缩,传输,存储和播放为内容,以快速、智能为特色的多媒体视频监控系统。其前端视频 采集设备输出数字信号,采用国际通用协议/,并通过网络有线或者无线传输, 以流媒体技术实现数字视频的传输和播放。第三代数字视频监控系统采用了网络视频服务 器,实现了设备无法做到的音视频压缩,存储和处理,为大规模实现视频监控创造 了条件。完全数字视频监控系统的优点:音视频同步,视频清晰流畅;系统建立后,不需 要为了增加新的监控点重新搭设网络,可以利用现有的网络资源;扩展性强,哪里有网路 就可以在哪里增加监控点;维护方便,费用低;功能强大,软件操作性强等。 网络化数字监控系统融合了多种新型技术,有多媒体技术,网络技术,视频编解码技 术,这些技术的应用,对音视频监控系统的发展具有深远的现实意义。同时在无线网 络的推动下,移动数字视频监控系统给监控行业带来了翻天覆地的变化,使得监控行业向 更多的领域发展。 .课题的研究意义 无线网络的出现,解决了移动视频监控系统“最后一公里”的难题,而数字视频监 控系统成熟的技术是移动视频监控系统强有力的技术保障。在一些复杂和不易部署有线视 频监控的场所,比如汽车,隧道,地铁,轮船等区域,移动视频监控系统可以有效地保证 浙江工业大学硕士学位论文 该区域的实时监控,通过此系统可以对突发事件预示和补救有良好的掌控。 在移动视频监控系统中,流媒体技术是视频监控系统最为关键的技术之一。 何为流媒 体,流媒体是流式媒体,它起源于美国,是互联网音视频发展到一定阶段的产物,是解决 音视频传输和播放的关键技术,是一种解决多媒体播放时网络带宽问题的“软技术”【。 随着网络带宽技术和视频编解码等媒体技术的发展,媒体信息传输的不在是简单的文字和 图片,传输的方式也不再是先下载再播放。现代媒体技术讲究的是实时性,边下载边播放 模式已经成为流媒体传输的主流。除了监控安防行业外,流媒体技术有了更多的应用,比 如电子商务,现场直播,远程教育,卫星监控等。 移动网络在中国的发展已经远远超越了固定电话,目前,用户正在以飞快的速度增 加,特别是联通的和电信的。限制无线流媒体带宽的瓶颈正在被逐 步解决,使得流媒体技术在网络传输速率问题上已经得到大大的提升。流媒体是数据在 网络上按时间先后次序传输和播放的连续音视频数据流。流媒体数据流具有实时性、时序 性、连续性三大特点,同时具有严格的前后时序关系【。鉴于流媒体的这些特点,流媒体 在加工技术方面、发布方面、播放方面、传输方面还存在许多急需解决的问 题。流媒体传 输和控制是两个非常重要的环节,传输需要选择合适稳定的协议,控制需要采用合理的音 视频解压技术和客户端控制软件,使视频实时、稳定、清晰。 流媒体传输有其独特的优点,比如实时性强,支持边边下载边播放,媒体文件保存在 服务器,客户端可随时删除文件等。但是流媒体技术很大程度上要依赖网络带宽和音视频 处理技术,目前流媒体传输服务质量还需要进一步的提高。实时流媒体传输的 实时性和视频的清晰度是影响的主要因素,所以流媒体传输控制研究在移动视频监控 系统中有着比较重要的意义。 目前,开发流媒体新技术、新应用已成必然。随着流式媒体目趋丰富、用户对流媒体 需求的增加、再加上流媒体技术的日趋完善,其应用市场必将更加广阔。与此同时随着 移动流媒体技术的逐渐成熟以及网络设备和终端设备的不断完善,移动流媒体技术将 成为时代的代表技术,移动流媒体业务能大大提高用户通信体验并推动的不断发展。 .国内外研究现状及趋势 在世界范围内,美国、日本、欧盟、韩国、中国等都已经进入到了移动时代,部 分国家和地区也正在试用中。在技术和工程建设方面,国家政府为支持移动宽带业务, 许多项目建设都应用技术,技术已经引领全球移动技术潮流。目前全球用户已经 浙江工业大学硕士学位论文 占到全球移动用户总数约%,达到.%虽然比重不是非常大,但其增长率较高,在新 增用户中,约%用户是用户,全世界每发展个用户就有一个用户是用户【引。 用户群体的迅速发展和其无限的潜力,使得移动线视频监控系统具有潜在的巨大发展前 景。 在移动视频监控方面,安防被越来越受到各国政府的重视,特别是美国经过“”事 件后,移动视频监控系统业务在美国等国家迅猛发展,从而使得全球刮起了反恐的安全危 机潮。美国巴顿公司最近公布了现场直播和移动视频监控系统, 具有独特的能力,能够记录和存储来自多个领域的高清晰视频,而且同时利用和无 线宽带网络进行现场直播视频、音频和全球定位。同时支持车载、个人携带、航 空和地面设施【。 韩国电信大量采用基于无线传感器网络中的普适计算技术,该技术使用无线传 输协议,主要用于家庭智能监控设备的管理和监控,而且该技术同时支持利用机或手 机获取家庭数字设备的远程监控信息和点播基于口的监控视频,用户点播系统的视频处理 直接由家庭数字网关提供支持。韩国电信的家庭数字监控系统以及关联的报警系统称为 系统,此系统的宗旨是“控制与防止”,它将无线网络与互联网结合在一起,提供 一整套家庭移动监控系统的服务。用户使用系统,可以利用门上的人体传感器、家 中的微小型监视摄像机、煤气泄漏控制传感器等,利用移动设备实时接收家庭的安全状况, 。 这种系统充分体现了移动视频监控业务的价值【 年,国内开启移动时代,从而移动视频监控系统进入了一个崭新的历史时期。 国内著名的大华、海康威视等厂家抓住移动的契机,结合自身技术和视频监控软 件客户端的优势,不断推出移动视频监控系统解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。 年,中国移动无线城市“千里眼新业务在广东省汕头市悄然现身,这种移动视 频监控业务给予手机移动网络,主要为用户提供视频图像和各种报警信号的远程采集、传 输、存储、和处理。这充分显示移动视频监控领域旺盛的生命力,除了海康威视、大华、 华为、中兴等大型企业外,还有许多新的生力军都想在这领域分到一杯羹。 日前,江西省高速集团宜春管理中心在全省率先启用高速公路移动监控系统【】。该系 统主要充分利用网路、通信、等技术,对高速公路日常养护巡查工作进行实时监 控和调度。通过此系统,调度人员只需在养护中心监控室就可以通过移动视频监控系统清 楚的看见公路巡查车的行驶速度、所在位置、路面情况等信息。此系统还可以单兵携带 设备,对边沟、隧道配电房等不便地方进行视频监控;此外,该系统还可以通过手机进行 浙江工业大学硕士学位论文 视频监控。 目前,在流媒体技术方面主要有三大流派,一是微软的 ; 二是公司的;三是苹果公司的。国外流媒体技术起步 相对比较早,技术也比较成熟。苹果公司的技术,该技术允许设备, ,用户在播放视频、音频时,将正在播放的内容以流媒体的形式,通过无 机项盒,在电视大屏幕上播放。 线网络输出到 最近,微软发起“媒体宽带启动动议企业联盟,希望 媒体 播放器软件在流媒体企业竞争中争霸,现已有多家龙头企业选择 媒体 播放器软件作为自己的客户端流媒体播放软件。而属于同行业竞争的公司近 期也推出了与合作开发的的流媒体软件。可谓,各大流媒体公司为 了同行业产品的竞争不断进行技术革新,从而在流媒体领域推陈出新。 在国内流媒体技术的应用是相当广泛的,但是在流媒体核心技术的发展方面还是处于 一种落后的状态。移动流媒体技术在广播电视直播中的应用,江苏省广电通过技术实 现了旗下七大新闻栏目《江苏新时空》、《早安江苏》、《公共新闻网》、《新闻夜宴》、《有 一说一》、《零距离》、《绝对现场》的直播。流媒体技术在航空探测中的应用, 年 月日,运用 系统的“远望号”测量船,在海面上监测“嫦 娥一号”卫星的运行轨道,给“嫦娥一号”下达指令,指示“嫦娥”不断变轨,使其按照 固定轨道顺利运行,而 系统依赖专业的流媒体技术/】。此外流 媒体技术在教育业、安防业等众多领域都有广泛的应用,随着网络的普及化,流媒体 技术与技术的结合又将是一次新的革命。 在实时流媒体传输控制方面,由于流媒体传输的实时性,其在传输层主要依赖传 输协议,但是传输不能解决网络拥塞问题。随着流媒体业务的不断开展,其网络流 量占有量也在不断扩大,由于缺乏网络流量的拥塞控制,不断涌入的流媒体数据就会强占 有限的带宽,导致其他数据流饿死而发生网络拥塞。因此,实时流媒体传输中控制网络拥 塞是相当重要。虽然目前在流媒体传输中一般采用/协议传输控制具有网 络拥塞控制功能一,但是随着实时流媒体传输需求的迅速增大,网络拥塞控制又成为流 媒体网络研究的热点。 .本文的研究内容及组织结构 本文主要设计了移动视频监控系统客户端和研究流媒体传输控制算法,包括客户端/ 架构的设计和播放器是实现,以及流媒体传输控制算法的设计和在移动监控系统中的应用 实现。 文章的组织结构: 第一章:绪论,从研究课题的背景和课题的研究意义出发,分析了移动视频监控系统 和流媒体技术及传输控制的研究现状及发展的趋势,最后提出了本文的研究 内容和文章的 组织结构。 第二章:主要介绍移动视频监控系统的整体结构框架和移动视频监控系统的各个组成 部分,其中包括软硬件的组成。然后根据设计的需要,详细介绍了移动视频监控系统中的 关键技术.编码和通信协议。 第三章:设计了移动视频监控系统中流媒体传输控制算法,首先从流媒体传输协议出 发,介绍实时传输协议和实时传输协议,以及/协议的传输功能。然 后对流媒体网络参数的延迟抖动、传输延迟和丢包率进行分析。最后根据网络状态、丢包 率等判定图像质量,同时分析流媒体传输的服务质量,从而设计流媒体传输控制的速率算 法,并用于实验中。 第四章:视频监控系统客户端软件的设计与实现,客户端软件是基于/架构。首先 从/架构的开发环境从发,利用控件搭建客户端的/体系。其次设计客户端 播放器和播放器各个模块的功能实现,包括播放器界面、工具栏和菜单栏等。然后根据 .编码和包传输方式,利用技术设计了以推模式实现流媒体数据的传 递,并通过接受者承报告实现流媒体传输控制算法的应用。最后设计了客户 端的安全 登入方法,以及登入系统后视频的接收和系统的测试。 第五章:总结和展望,总结本文做的所有工作,包括文中的不足;并根据移动视频监 控系统的现状和发展趋势,对文中技术的继续研究提出一些方法和建议。 浙江工业大学硕士学位论文 第章移动视频监控系统及相关技术 如今,视频监控系统已经被广泛应用于政府机关、城市建筑、电力电信、工矿企业、 医疗和金融等系统领域。移动视频监控系统在网络和高性能终端设备的支持下,使原 有的视频监控系统走向更方便、更人性化、更灵活的时代。在车载系统中,移动视频监控 系统显得更为突出,除了实现实时对车辆进行全方位监控外,还能利用导航定位,实 行定点跟踪。 .移动视频监控系统 移动视频监控系统从设计到实现是一个比较复杂的过程,既要有整体框架的搭建,又 要有各个组成部分的分工协作,还要有硬件系统和软件系统的协调组合。 .. 移动视频监控系统整体框架 整个视频监控系统主要有部分组成,网络摄像机、视频服务器组、客户端【】,如图 .所示。网络摄像机为前端视频源,主要完成监控视频的采集、压缩,并通过无线网络 和互联网传输到视频服务器组,然后经客户端请求后再转发给机客户端或者移动设备 客户端,通过解码器对压缩数据包解码还原后,在利用客户端播放软件进行实时播放。 叁 罢/弋 衙 褫嬲口膨 ?慧 ‖ 氢耩 国 动客户端 .视频监控系统拓扑图 本系统充分利用网络的带宽优势,克服了以往移动流媒体传输带宽问题,在实时监 控中能达到比较理想的效果。该系统安装方便,而且可随意增加或拆除监控点;移动性强, 浙江工业大学硕士学位论文 非常适用于车载系统监控;视频观看方便简单,通过账号和密码,可随时在机 或手机 上登入观看。 ..移动视频监控系统各部分简介 网络摄像机 网络摄像机包括监控摄像头和设备。监控摄像头为普通版摄像头可以是半球 形 摄像头,主要用于视频采集。设备是一个基于操作系统的嵌入式平台。 设备主要包含了视频采集卡、主处理芯片、通信模块和其他处理模块。实物 如图 .所示, 图. 主板图 图 通信板浙江工业大学硕士学位论文 视频采集卡采用的是芯片,它能直接把摄像头采集到的模拟信号直接转换成 位数字信息并传输到中进行.编码。是一款具有一路通道的音视频处理 器,此款芯片功耗低,体积小,性价比高。 主板是基于系列处理器的.芯片,核为,主频, 内部包含有媒体编解码模块,同时支持.、.的编码和解码,为图像和视频提 供高性能的解决方案。芯片的基本组成很广泛,其中包含了总线架构, 总线等,结构框图如?所示, 图 芯片结构框图 无线通信板是采用中兴通讯公司芯片,该模块是通过插槽与主板的 接口连接,进而与通信。模块起中间桥梁的作用,完成服务器与网络摄 像机之间的通信,一方面模块将摄像机捕捉的音视频信息通过网络实时传输到视 频服务器上,另一方面模块接收来自客户端的请求和服务器的指令,完成对网络摄像 机和云台的控制。实物如图.所示。 其他模块有卡存储模块,电源模块,模块,音频处理芯片等。 视频服务器组 视频服务器是整个移动视频监控系统流媒体传输的核心,服务器的承受能力直接关系 到整个移动视频监控系统的规模。视频服务器主要完成客户端与网络摄像机之间的通信,浙江工业大学硕士学位论文 包括流媒体数据的存储和转发,数据库,设备和用户管理,管理,客户端管理等。 流媒体存储和转发包含了流媒体数据源的处理和分析,流媒体,流媒体协议处理, 异步事件驱动环境等;数据库包含了地图信息和车辆信息等;设备和用户管理包含了 前端设备信息,用户名信息,用户注册与密码,用户权限等;管理包含了信令请求 信息,如云台控制,录像下载与查询,设备设置等;客户端管理包含了与客户 端通信的接 口信息。 》客户端软件 客户端软件采用服务器/客户端/架构,其最大的优点是可以在任何有互联网 的 地方可以进行视频操作而不需要安装客户端软件,客户端实现了零维护。用 户在申请到用 户名和密码之后,利用登入服务器就可以使用该系统。客户端软件是在 操作系统平台下,基于微软基础类的控件。该控件运行于以浏览器为 内核的浏览器中,融合了技术,技术,音视频处理等技术。客户端软 件中包含了流媒体处理和界面交互模块,其框图如图.所示, 编译器 视频处理 预处理 模块 流式传输 客户端 视频源 视频接收?. 界面交 模块 信息 互 流式传输 流媒体 控制模块 服务器 流媒体传输模块 客户端软件 图.流媒体处理框图 .流媒体压缩编码 媒体压缩编码是移动视频监控系统中流媒体的关键技术。目前,.和.是 在国际上比较流行的压缩编码方法。.协议是由.国际电信联盟电信标准化部 门和国际标准化组织成立的联合视频专家组, 提出的 高度压缩视频编解码器标准【。.同时也是.标准的第十部分,为了和视频压缩编码.相区别,常常称其为./,简称 .。 .视频编码标准的推出在编码学科发展历史上具有重大的意义。如今,它已经被广 浙江工业大学硕士学位论文 泛应用于各种音视频领域,在数字电视、实时监控系统、网络多媒体传输、时移电视和多 媒体短信等领域中发挥着重要的作用。 .. .编码的特点 .标准与其他标准相比最大的优势是具有很高的数据压缩比率。在同等的视频图像 质量下,.的压缩比是.的.~倍。.的高压缩比是源自于它的低码率, 大大节省了用户的下载时间和数据流量费用。同时,.的高压缩比并不影响其传输视 频图像的质量,因此,在网络传输的过程中占用的带宽少,也越来越备受多媒体厂家和用 户的青睐。 .编码的特点【】: 高编码效率:低码率是.编码最大的特色,也是其赖以生存的法宝。在同等视 频图像质量下,经.编码压缩后的数据量是经.压缩后数据量的/,是. 的/。 高质量的图像:.编码能在低码率的情况下拥有高质量的视频图像,能在较低 带宽的条件下保证视频数据的实时传输,这是在移动带宽有限的现实下,移动视频监控系 统最具竞争力的压缩编码方法。 强容错能力:在网络不稳定的环境中,.编码提供了解决容易发生丢包等错误 的必要工具。在高丢包率的无线通信环境中,.编码可以根据不同的环境提供不同的 传输和播放速率,可以很好的控制或消除丢包和无码。因此,对于移动视频监控系统流媒 体传输来说,选择.编码是最合理的选择,它既满足了实时监控对视频图像的要求, 又满足了无线复杂网络的要求。 网络适应性强:.编码不但能在低延迟的模式下工作,如视频会议;而且还可 以在无延迟的模式下运行,如视频存储和视频服务器。 混合编码结构:.编码采用离散余弦变换编码加差分脉冲编码调制 的混合编码结构,同时还增加了帧内预测、多帧预测、二维整数变换等新 的编码方式,编码流程将在下一小节中介绍。 编码选项少:.编码改变了以往在.编码中设置的相当多选项,减轻了压 缩编码的难度,降低了编码的时间复杂度,提高了效率,可以这么说.真正做到了力 求简洁的“回归基本”。 较高的复杂度:虽然.有如此多的优点,但是其编解码的复杂度也随之增加了。浙江工业大学硕士学位论文 .编码的计算复杂度大约相当于.编码的倍,而解码复杂度大约相当于. 解码的倍。 .. .编码的分层体系 .编码标准划分了编码的三个档次【:基本档次,主要档次和扩展档次。每个档 次有其特别的编码功能,而且每个档次对编码器和解码器有特定的要求。基本档次不但支 持条带帧内编码和条带帧间编码,而且支持基于上下文自适应变长编码的熵编码 ,广泛应用于实时视频通信领域,如多媒体短信、视频、会议视频等。主 要档次采用的帧间编码是条带的,帧内编码是加权预测型,同时支持交替视频,而其熵 编码基于上下文算术编码,应用在数字电视、数字视频存储等领域。扩展档 次 与主要档次有很大区别,它不支持主要档次的算术编码和交替视频,主要用于支持数据分 割和码流切换/条带,在实时流媒体服务等领域应用。 从概念和功能上,.编码可分为视频编码层, 并网络抽象 层, 两层,如图?所示。层数据主要表示编码处理后 的输出和视频压缩核心内容,负责高效率视频数据的压缩;层主要负责对层数 据处理,包括对数据提供包头信息并进行打包和分发,根据传输层网络的不同, 层从包头信息、包段结构信息、实际编码数据、定时信息、逻辑信道的信令、网络 传输标志等方面使视频数据在多种传输层进行传输和进行媒体存储。 ? ? 视频编码层 控 制 编码后的宏块 数 据 、 ,,认一口/ 分区 编码后的 工 网络抽象层 : 传输层 匝圃叵亟囝匝曰 图 .分层体系图 浙江工业大学硕士学位论文 .. .标准的关键技术 帧间和帧内预测 帧内预测编码是用来与变换编码一起缩减图像的空间冗余。在层,编码图像被划 分成宏块一般一个宏块由一个亮度像素和附加的两个色度像素块组成,相邻的宏块之 间有一定的相似属性。帧间预测是在对某宏块编码时,首先根据宏块周围的宏块对该宏块 进行预测一般周围的宏块已经被编码了,然后把预测值和实际值的差值编码,这样的 编码方式大大提高了帧内编码效率。 帧间预测编码提高了.编码的编码效率,这是其区别于以前编码标准的最大 特点。 它的预测方式是把前面已经编码的帧作为其参考图像,实现方法主要有三种:不同模式模 块划分、像素运动估计、多参考帧。 不同模式模块划分【】:将一个×的编码宏块分成种不同的子块,尺寸大小如图 .所示。这样的划分包含有、、、、个运动矢量,宏块的色度像素与相应的亮度 像素分区相同,就是尺寸存在两倍关系。 像素运动估计:在帧间编码的宏块中,分块或子块都要与参考图像进行预测,其区域 的运动矢量为/亮度像素精度和/色度像素精度,且子像素位置的亮度和色度在参考 图像中并不存在,可以利用内插算法获得邻近整像素点。此种估计减小了.编码的码 率。 多参考帧:在帧间编码预测时,.编码参考多个已经编码图像并存储在缓存中,实 行补偿预测。这样不仅能够提高了纠错性能,而且可以更好的改善视频图像质量。主要应 用在周期性运动、平移运动、不同场景之间摄像机镜头的变换等场合。 、 口目田田 口日田田 图.宏块与子块 变换与量化浙江工业大学硕士学位论文 在变换方面,.编码的块为像素,方法类似于.中离散余弦变换 的整数变换整数的加减和位移操作。这样的算法不但能消除在进行反变换时由于取舍 问题而产生的误差,而且还能减少运算量和复杂度。 在量化方面,.编码有种不同步长的量化值,变换系数根据不同的量化参数 来进行量化。 熵编码 熵编码【是视频图像编码的最后一步,.编码有两种不同的熵编码方法:通用变 长编码和基于文本的自适应二进制算术编码。方法对不同的 数据都采用相同的码表进行编码,编解码都简单方便,但是由于没有考虑符号间的差异, 在码率较高时效果比较差。方法弥补了的不足,它充分利用了不同数据流 符号间的相关性,通过建立概率模型,自适应调整视频帧出现的统计特性。符号间的相关 性是通过当前的编码符号与邻近已编码的符号之间概率模型来去除,不同的符号元素保持 不同的模型。 .. .码流 .码涮是由单元构成的,码流的实现方式有两种:单个单元流和字 节单元流。单个单元流是单元按解码顺序组成序列,封装成独立的包格 式在网络上传输。字节单元流是在每个单元前加上起始码组成字节 流,在解码时只需要寻找字节流的起始码就可以提取出单元。 层中的单元流包含了如图.的层次:编码视频序列 、 接入单元和单元。 浙江工业大学硕士学位论文 视频序州层 接入单元层 图. 单元流层次 单元是由单元头和负载两部分组成,如图所示。单元头占一个字节; 为禁止位,设值为,当单元被错误识别时,设值为,便于丢弃此单 元;.为重要性等级指示,表示重要性最低,值越大表示重要性越高。 为负载的类型,定义了单元所属的种类。单元有个种类,分和非 两大类,如表.所示。负载部分按原始字节序列负载也的数据结构封装。 『 头 图 单元组成 表. 种单元含义 分类 类型 单元内容 ?等级 未指定 非 保留非接入单元的图像编码区浙江工业大学硕士学位论文编码片区域数据编码片区域数据编码片区域数据接入单元的图像编码区补充的增强性信息数据序列的参数图像序列的参数 增加单元的界定标志 序列结束标志 非单元流结束标志数据填充标志 . 保留 保留 . 未指定 保留 接入单元为可以解码一帧图像信息的单元的集合【】,其结构如图.所示。基 本编码图像是由已编码的单元组成,一个接入单元中必须含有基本编码图像。 图.接入单元结构 浙江工业大学硕士学位论文 编码视频序列包含一系列的接入单元,每个视频序列可独立解码,由一个立即刷新帧 接入单元和零或多个非接入单元组成‘。的作用是它之后所有帧的解码 不需要参考它之前的帧,因此,即使前一个编码视频序列发生了重大错误,也不会连累后 一个编码视频序列。码流和编码视频序列的结构如图.所示。编码视频序列??? 一.旦旦一旦一旦』鱼一旦一旦一旦 分界符 曰曰 曰日曰?四 曰曰田 图. 码流和编码视频序列结构 . 协议 .. 协议概况 会话初始化协议, 是应用层的一种控制协议。是在 哥伦比亚大学计算机系副教授 及其研究小组于年发布的 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 中定义。的大部分上层应用都建立会话层,会话层用来管理会话协议。 在这里,会话协议的含义是为会话参与者彼此之间的数据交流提供平台。协议通过 的代理用户服务点接受会话参与者,并根据需要在参与者之间创建支持共享的会话 过程。同时,为了顺利找到并接受会话参与者,以及与会话有关的其他功能,提出了 并创建了基本的 叫做代理服务器,用户终端在注册到服务器后,可以利 用协议对服务器发起会话请求并接收服务器的会话响应。是一种轻形、支持多用途 的协议,为会话提供创建、请求、响应和终止等服务。属于应用层独立的协议,运作 于传输层之上应用程序之下,并且和参与会话的类型无关‘。协议在网络中 的位置如 图.所示。 协议可以用来建立、修改、和终止多媒体会话或者会议,例如电话。 作为通信协议应用于多媒体会话中,支持以下几个方面【: 浙江工业大学硕士学位论文 用户的定位:利用导航获取用户坐标位置,用于监控或通讯中。 用户的有效性:判断会话参与者的真实性和资格等级。 用户的参与能力:获取媒体传输参数和媒体信息,判定参与者的行为能力。 创建会话:在请求端和响应端之间创建会话。 会话的管理:增加会话、终止会话、响应会话、参数管理、服务管理等等。 媒体编码 上 应用层 ‘. 信令压缩协议 ?? ??一 ??? ? 层 / 接入网。。?. 图.各协议在网络中的位置 .. 协议网络体系及消息结构 协议采用客户/服务器模型。客户端与服务器之间以特定格式消息进行通信,这样 的消息称为信令。客户端以信令的方式向服务器端发出请求并接收来自服务器端的应答, 服务器端接收来自客户端的请求并作出响应。有种服务器【】:代理服务器、重定向 服务器、注册服务器和定位服务器,提供注册、认证、鉴权、路由等功能。 是一个分层的协议,意思是说协议由一组相当无关的处理层次组成,这些层次 之间只有松散的关系。最底层是语法和编码层,第二层是传输层,第三层是事务层,事务 层之上是用户层。 协议是一个基于文本的协议,使用.字符集】。消息包含了 包头域和消息体两部分,其定义规范遵循。消息有请求和应答消息。这两 种消息有共同的组成结构,包括单个起始行,不少于一个包头域,以及消息体部分。 浙江工业大学硕士学位论文 消息的消息体部分可以没有,但是必须留有空行作为消息体部分;而起始行和包头域行的 行尾都需要有一个回车最为行结束的标志。图.是一个型消息截图。 雹? 嚣?: :...: /。 : : 翳 誊:/./ ...:;;譬 ?: 嚣:””:。..: 霉:“”:... 一:弘 露: : 誊::...: /:/辩 ?: 嚣 雪警 ”.” “下一” 誊 氆 / 图. 消息 .本章小结 本章从移动视频监控系统出发,提出了移动视频监控系统的整体框架,并对移动视频 监控系统各个组成部分进行了简单的介绍,包括监控系统的前端网路摄像机,流媒体服务 器,客户端软件的组成。在本章第一节,从整体框架到部分构成,从硬件结构到软件组成 都有系统的概括。 移动视频监控系统涉及到很多关键技术,本章对其中的.编码技术和应用层 协议进行了一系列的介绍,为设计和实现提供一些技术上的支持。本章第二节对.编 码的介绍,从.编码的优势入手,首先分析了.的分层体系,然后对体现. 编码优势的关键技术进行了简单的剖析,最后根据编码在单元流传输的特点,介绍 了利用码流实现.编码的基本编码图像。 本章的第三节介绍了协议的定义和特点,以及其网络体系和分层。此外,本节还 从消息的组成出发,给出了协议消息的结构并用实例中截图进行说明。第章 流媒体传输控制的设计 流媒体技术【在广义上可以理解为对视频流和音频流进行连续稳定传输和回 播放的 一系列方法、协议和技术的总称。在狭义上,流媒体技术是相对于传统的媒体播放形式而 言;传统的媒体播放形式是先下载然后播放,而狭义流媒体是客户端向服务器端请求并下 载多媒体数据流,客户端可以边下载边回放媒体信息,这种媒体方式主要体现出多媒体的 实时性。 目前,流媒体的传输方式主要有两种:顺序流 传输和实时流 传输。顺序流传输方式是按顺序下载文件,一边下载一边播放已下载 的内容,用户可以在线观看,但是只能观看到己下载的时刻,不能观看还未下载的部分, 顺序流媒体在传输期间不能根据客户网络连接速度不同而做出调整。顺序流媒体传输不需 要其他的传输协议,一般在早期的网络上已经使用,经过标准的超文本传输协 议服务器就可以提供流媒体服务。顺序流媒体可以保证高清晰、无损坏的视频播放,但 是不能随机访问,也不适合传输片段很长的媒体。顺序流媒体一般适合高质量的小片段, 比如广告、片头和片尾等。 实时流媒体传输讲究的是实时传输,用户可以实时得到媒体信息。实时流媒 体支持随 机访问,也可以在播放的过程中根据用户需要进行快进或者后退操作。实时流媒体传输需 ,协议如/。在 要有专用的流媒体服务器和传输协议,服务器如 连接的过程中,实时传输需要一定的网络带宽,这也意味着会出现图像质量比较差的问题, 网络的状况对媒体服务的质量影响非常直接。当网络出现阻塞或者网络信号弱时,网络丢 包率就会增加而导致视频质量变差,播放时会出现马赛克或不连续甚至停止的现象。实时 。 流媒体传输需要解决的是流媒体传输的【 . /传输协议 .. 实时传输协议 是一种基于的应用层协议,支持实 实时传输协议. ?????????????????????塑望三些查堂堡主堂篁笙茎 时的音视频数据流传输,其主要思想是在传输流媒体信息的同时获得关于媒体质量的反馈 信息,这部分分别由和完成。是用来定义在上传输音频和视频标 准的数据包格式,它是由音频和视频传输工作组制订的,并在年颁布,具体定义在 中【】。 协议在网络中的位置如图.所示,在应用层之下,在/之上,应用层 把实时媒体数据包通过压缩封装成数据包,然后将数据包封装成刀包格式通过切 协议向下传输。鉴于协议是面向无连接的、不可靠传输,不需要丢包重传机制和等 待确认机制,这满足了实时流媒体传输的高效率和实时性。提供的是一对一或一对多 的传输服务,同时提供时间信息和现实数据流同步。 应用层 / 网络层 数据链路层 物理层 图. 玎册协议在网络中的位置 从数据包的封装过程可以知道,需要报头才能进行传输。所以的 报文格式由报头和数据负载两部分组成,数据就是经过压缩编码的流 媒体数据信息。头的结构如图.所示,其前个字节的含义是固定包头,后面负载 可以是音频或视频数据。 序列号 时间标志 同步源标识符 提供源标识符列表?项 图. 报头格式 报头各域含义如表.: 表.报头各域含义 域名 长度 含义 版本 的版本号,此协议定义的版本号为。 补充位 假设该位置设置为,包头的最后就要加载额外的字节。补充位 的设立主要用于算法的加密。 扩展位 假设该位置设置为,包头后需加载一个扩展的头部。 计 定义此报头共包含有的源标识符数目。 数 标志 根据所采用协议而定,主要用来标记流媒体数据中的重要信息, 比如电话中,设置静音后最早的玎数据报头中的此位置为, 其他情况设置为。 负载类型 定义数据包的负载格式。 序列号 用于接收端检测丢包和数据包的重建,该序列号具有随机的初始 值,但是每发送一个数据包,此序列号依次递增。 时间标志 在数据包中,时间标志为第一个比特的抽样瞬间。抽样瞬间 的精度必须满足同步要求,才可以进行同步和延迟抖动的计算, 时间标志也具有随机的,此后按照报文数据的递增而增加。 用来分辨数据包的发送者,随机生成标识符,在同一个网关 内部不会存在任何相同的两个标识符。尽管多个源同时选 择一个识别符的概率很低,但是所有实现的工具都必 须随时准备检测和解决冲突,如果有源的输出地址发生了改变, 此时必须重新识别符,以此避免形成环路源。 . 每一段比特,段为限,.定义包中的,其个数由前 列 表 面的子段决定,最多有个可定义,由混合器用多个 定义符插入。 ..实时传输控制协议 是的传输控制协议,需要和盯协议一起配合使用,当程序启用会话 塑坚三些奎堂堡主堂垡笙茎 ??一一 时,将会占用两个端口,同时供和使用。协议本身不能对数据的可靠传输 提供保证,也不能对网络的流量和拥塞情况进行判断和控制,这些都要依靠 来完成。 一般使用的与相同的分发机制,它周期性地为会话中所有成员发送控制信息 数据包,向应用程序报告会话参与者的相关资料,包括数据的发送数量、数据 的 接收数量、丢包率、延迟抖动、网络拥塞等反馈信息。应用程序可以根据这 些反馈信息对 当前的网络状况和网络流量做出相应的调整,从而改善媒体的服务质量。 协议定义种数据包的格式,如表.所示。 表 种数据包类型 域值 控制信息名 含义 发送报告 描述作为发送网关的发送和接收统计数据。 接收报告 描述作为接收网关的接收统计数据。 源描述控制包 对发送包的源进行描述,必须包含项。 退出 指示传输的终止。 应用 面向应用的功能括扩展。 以下是种数据包格式,其中为版本号,为有效载荷是否被填充为被填 充,为有效载荷类型。 发送报告发送者报告 ’ 长度 发送者的刊步源 ?时戳高仃效位 ?时间戳低有效化 时间戳 发送者的包计数器发送的数据包个数 发送者的有效荷载字节数 第一个】刊步源标志 丢包率 累计丢包数 接收到的最高扩展序列 抖动间隔 上一个报义』 最近收到的数拊包到现在的延时。 第个同步源标忐 扩展 图发送报告数据包格式 接收报告 接受方的报告 , 度 发送者的步源 第个同步源标志 五包率 岽计五包数 收到数掘包的最高序列号 到达时问间隔抖动 上‘个报文 最近收到的数据包到现在的延时 第:个司步源标志 扩展 图.接收报告数据包格式 源描述控制包 浙江工业大学硕士学位论文 源描述的报告仁 长度 同步源/提供源 源描述 同步源/提供源一 源描述 图.源描述报告数据包格式 退出 退出的报告 ’ ’, 度 同步源或贡献源/ 离开原凶 长度 图退出数据包格式 应用 应程序扩展 长度 同步源或贡献源/ 名宁 数据 图.应用数据包格式 .. /协议的传输功能 流媒体传输系统是整个系统的核心,主要任务是执行将媒体数据高效率实时传输给客 户端的过程,同时使客户端和媒体服务器之间具有一定的交互式策略,这样服务器可以在 各种网络下能提供较好的传输服务质量。 流媒体传输系统模型如图.所示,设置传输为一个数据通道,独立传输媒体数据。 前端流媒体音视频数据通过压缩编码封装成数据包,在缓冲区进行发送缓冲,同时根 浙江工业大学硕士学位论文 据反馈采取流量控制策略动态调整数据发送速率,防止网络拥塞。客户端接 收到 数据包后,在数据包缓冲区进行缓存管理,一方面把数据包重组分离得到媒体 数据,再经过解码器解码输出音视频信息,另一方面要对数据帧进行统计分析,然后 封装成报文反馈到媒体发送端。 ‖服务器 一 音视频输出 图流媒体传输系统模型 /协议族的传输控制功制】: 多媒体之间的时间同步 控制包中包含媒体的同步信息时钟信息,可用于不同媒体之间的同步。在每一 时间,这表 个的包中分别对应一个时间和 示的意思是每个时间对应一个绝对的时间。当不同媒体信息的时间不同时,可 以通过时间映射到相同的一个时间轴上,从而实现媒体同步。图可以更好的理解 这个同步问题。 与是两种彳同的媒体视频流 图流媒体传输系统模型 标识符 在数据封装包中,包含有位的同步源标示符,用于对分组;而 在中则包含了源描述数据包,一般包含有用户名和主机名。给每个 数据源一个固定的标识符,这个标识符称为。当网络发生冲突或者程序发生 异常时,报头可能发生了改变,接收端可以根据报头和反馈的来 跟踪对方。此外,接收方还可以使与一组来自相关会话中的多重数据流相关 联,比如同步视频和音频。 网络拥塞控制和检测 网络拥塞控制和检测是颇具特色的功能。在接收到数据信息后, 包含了统计分析数据,这些数据是检测所需要的信息,其中包括了累计发送了多少数 据包和字节数,可以帮助接收方估计数据速率。与此同时接收方通过反馈把这些信息传送 给发送方,从而发送方可以根据包含在这些信息中的数据包最大序列号、接收的包数、乱 序的包数、丢失的包数以及传输延迟抖动来调整发送速率,使收发达到有效平衡。 传输优化 为了保持收发平衡,客户端需要周期性地发送包,这样会加重网络负载,我们 可以提供一定的带宽用于控制,这样可以在保证图像质量的条件下,使网络带宽利 用最大化。 浙江工业大学硕士学位论文 .流媒体网络参数分析 在流媒体服务过程中,经常会出现黑屏、马赛克、图像停顿、缓冲等现象,这大大降 低了流媒体的服务质量。出现这些情况有许多种因素,经过测试、分析和总结,网络拥塞 和网络丢包是引起这些问题的主要原因。 为了提高流媒体的服务质量,其网络参数为实时传输的传输条件和动态变化提 供了依据。在流媒体实时传输中,流媒体服务器可以实时地采集相关数据,从而计 算并分析相关参数