采用视频拼图方法构建高分辨率全景视频监控系统

采用视频拼图方法构建高分辨率全景视频监控系统 采用视频拼图方法构建高分辨率全景视频 监控系统 第13卷第12期 2008年l2月 中国图象图形学报 JournalofImageandGraphics Vo1.13,No.12 Dec.,2008 采用视频拼图方法构建高分辨率 全景视频监控系统 马力”张茂军”徐 (国防科学技术大学信息系统与管理学院,长沙 熊志辉”王 ‘(海军蚌埠士官学校,蚌埠 摘要与普通视频监控系统只能实现单向监控不同,全景视频监控系统可以实现360.全向监控.设计并实现了 一 种嵌入式高分辨率全景视频监控系统KD.PVS.重点介绍了KD—PVS中多个摄像头的空间位置设计,视频图像 变换与拼接算法.KD.PVS通过对多个摄像头采集的视频进行实时变换与拼接以生成全景视频.该系统可方便应 用于金融系统,仓库,监狱和移动监控等多种场合,尤其适用于室内监控. 关键词全景视频嵌入式系统视频拼图视频监控 中图法分类号:TN911.73文献标识码:A文章编号:1006—8961(2008)12—2291—06 AHighResolutionPanoramicVideoMonitoringSystem BasedonVideoMosaicing MALi” , ZHANGMao-jun”,XUWei”,XIONGZhi—hui?,WANGYu (CollegeofInformationS~temandManagement,NationalUniversityofDefenseTechnology,Changsh a410073) ‘(NavalPettyOfficerAcademy,Bengbu233012) AbstractDifferencefromtraditionalvideosurveillancesystem.panoramicvideosurveillancesystemca nprovideviewers withacomplete360.degreesview.Oneembeddedhighresolutionpanoramicvideosurveillancesystem calledKD—PVSis designedandrealized.Thepaperintroducesthemultiple—cameraconfigurationandvideomosaieingal gorithm.KD—PVS stitchesthevideodatafrommultiplecamerasourcesintothepanoramicvideo.Thesystemisveryconveni entforvarious situations,suchasfinancesystem,warehouses,prisons,mobilemonitoring,etc,especiallyusefulforind oormonitoring. Keywordspanoramicvideo,embeddedsystem,videomosaicing,videosurveillance 1引言 传统视频监控系统一般采用固定安装的普通摄 像机,其视野范围有限,只能监控摄像机前方某一固 定角度空间内的场景,无法顾及周围360.范围内发 生的所有事件.即使采用带旋转云台的摄像机,同 一 时刻也只能看到某一角度的画面,监控时不可避 免会出现盲区.近几年,全景视频监控系统引起了 人们的极大关注?.全景视频监控系统能够在任 一 时间点同时监控360.范围内的所有目标,真正消 除了监控死角与盲区. 设计全景视频监控系统的关键技术之一是如何 生成全景视频.目前生成全景视频的方法可分 为两类:折射法和折反射法.折射法指仅采用具 有折射效果的光学元件获取周围场景,其中又分为 使用鱼眼镜头和使用多摄像机两种方式.利用鱼眼 镜头的宽广视角可直接获取360.场景,经过变换可 得到全景视频,目前市场上典型的产品如美国 IPIX公司的CommandView系列产品.也可以采用 基金项目:国家自然科学基金项目(K60705013,K60773023) 收稿日期:2007—04—11;改回日期:2007—06-12 第一作者简介:马力(1983,),男.2007年于国防科技大学获系统工程专业硕士生位.研究方 向为视频图像处理,多媒体信号处理 等.E?mail:nudtml@nudt.edu.cn 一 一 中国图象图形学报第13卷 多个位置固定的摄像头捕捉不同角度空间的场景, 然后将视频图像进行拼接得到全景视频,典 型的产品如美国Honeywell公司推出的PARASCAN 全景摄像机.折反射法指采用折射元件和反射元件 相结合的方式,主要是利用具有镜面反射效果的空 间曲面获取周围360.场景,然后对摄像头捕获的反 射面图像进行实时处理以得到全景视频?. 基于该原理的典型产品有日本SONY公司的360. 全景摄像机.利用多摄像机进行视频拼图得到的全 景视频能够提供较高的分辨率,但由于拼接的原因, 全景视频不可避免会存在拼接裂痕和明暗差异.而 利用鱼眼镜头和空间镜面获取全局场景的方法可避 免因图像拼接而造成的裂痕,但是生成的全景视频 分辨率较低,清晰度较差. 用于大范围监控目的的全景视频(如监控广 场,停车场等)必然 要求 对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗 提供较高的视频图像分辨 率.该文采用视频拼图的方法设计并实现了一种 高分辨率的全景视频监控系统KD—PVS.该系统 基于嵌入式系统设计与开发,集成度高,无需安装 其他的软硬件,可直接输出全景视频信号.系统 体积小,便于安装和维护,并具备较强的可扩 展性. 2KD-PVS的系统结构 KD—PVS系统分为两大模块:全局场景获取模 块和视频信号处理模块,其结构如图1所示.全局 场景获取模块包含4个广角摄像头及其固定装置, 其功能是捕获360.全局场景.视频信号处理模块 负责4路视频的采集,视频图像变换与拼接以及全 景视频信号的输出. I视频信号II摄像头 0l一l 固摄像头:视频信号!l 定IIDSP:全景视频信号 装摄像头!视频信号I一开发平台I J置:视频信号: 一 I 摄像头III一I 全景场景获驭模块I ..—...…..—.—. I 图1 Fig.1 I视频信号处理模块 系统总体结构图 StructureofKD.PVS 要获取全局场景,所需摄像头的数量与摄像头 本身的视角大小有关.考虑到成本与拼接复杂性问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ,选用相同的4个视角约为90.的微型摄像头共 圆放置.4个摄像头保持在同一水平面上,否则相 邻图像会在垂直方向上产生位移,给拼接造成困难. 摄像头的光心位于同一个圆上,相邻两个摄像头光 心与该圆心的连线互成90.. 如果将摄像头水平放置,即摄像头的光轴位于 由4个摄像头光心所形成的平面内,这样从理论上 说,4个视角小于90.的摄像头便无法拍摄到周围 360.的全部场景.因此考虑将每个摄像头在垂直方 向上向下倾斜一定角度进行放置,使每个摄像头的 光轴与所在的水平面成一个固定的角度,以增加视 频叠加的范围.基于上述想法,设计与实现了一个 形状类似倒置的正四棱台的固定装置,如图2所示. 摄像头固定在棱台4个侧面上的同一位置处,镜头 光轴与侧面垂直.若将该装置底面朝上水平放置, 则每个摄像头斜向下与竖直方向成一固定角度,可 捕获360.的全局场景.这种设计不仅使得利用4 个视角小于90.的摄像头也能成功获取360.全局场 景,并且由于在大多数的应用场合,监控摄像头一般 安装在位置较高的地方(如天花板),摄像头斜下方 的区域正是需要监控的重点区域,因而这种设计更 加适应大部分应用场合的需要,尤其适合于室内 监控. 图2摄像头固定装置外观及形状示意图 Fig.2Appearanceandshapeofthedevicefixedcameras 3全景视频生成算法 全景视频生成算法是KD.PVS系统的核心. 该算法主要分为两个步骤:第1步将每一路视频 图像统一投影到一个圆柱面上,目的是使现实世 界中相同的景物在不同的局部图像中也是相同 的,以便于拼接;第2步将4幅投影图像进行拼 接,生成一张全景图像.对实时采集的每一帧视 频图像均按照上述步骤进行处理,即生成连贯的 全景视频. 第12期马力等:采用视频拼图方法构建高分辨率全景视频监控系统2293 3.1视频图像畸变校正与柱面投影变换 由于系统采用的是广角摄像头,其光学镜头与 理想的小孔成像模型不一致,拍摄的图像存在较严 重的径向畸变,因而在实现柱面投影变换之前需要 对原始视频图像进行畸变校正.由光学系统的成像 原理可知,视场内每个像点对应一个不同的畸变量, 离光轴越远,畸变量越大.该畸变量与像点距图像 中心的距离以及镜头焦距有关,因而可根据其映射 关系计算出原始图像中每个像素点的理想坐标…. 系统采用文献[11]中提出的方法对视频图像进行 畸变校正. 本系统将经畸变校正后的4幅视频图像均投影 到同一圆柱面上,以便拼接成全景图像.柱面投影 变换分为两个步骤:(1)利用小孔成像模型将摄像 机所拍摄的图像平面上的像素点映射到圆柱侧 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 面 上;(2)将圆柱侧表面的投影区域展开,使圆柱面上 的像素点以2维坐标的形式存储.下面以1幅图像 为例,采用逆向推算的方法示范投影变换的具体步 骤和公式. 如图3所示,设相机的透视投影中心为0,OP 为相机镜头光轴,ABCD为焦平面.OP与轴的夹 角为,相机水平视角为2卢,垂直视角为2,相机 焦距为/,投影圆柱面底面半径为尺. 图3视频图像柱面投影示意图 Fig.3Cylindricalprojectionofvideoimages (1)构造投影平面2维坐标系,并计算投影平 面上点的2维坐标与其在图3所示oxyz坐标系中3 维坐标的对应关系.以原始图像上边缘AB的中点 E在柱面上的投影E为投影平面顶部的中心点,设 宽为,高为圩,如图4构造直角坐标系. 设投影平面上任意点M(.,Y.),其对应的3 维坐标为(,Y.,),由空间几何关系可知: D . W/2一if,o = 凰in—百 W/2一0(1) Y-=一Rcos— zl=一Rcot(+)一Yo 图4投影平面2维坐标系 Fig.4Planimetricrectangularcoordinatesofprojectedimage (2)计算点所对应的原始图像上某点的 3维坐标(:,Y,.).由直线OM的方程和焦平面 ABCD的方程可求得 『n W/2-xol(Rcot(+)+y0)c0sa+Rsincos——— J一肛c.sTW/2-xo Y2W/2- xo (Rc0t(+y)+y0)cosa+Rsinc0s———— l—f(R..t(+)+,,.) 吣cot (2) (3)计算焦平面上的点M(,Y,)在以A为 原点的平面直角坐标系(如图5所示)下的2维坐 标f易知n即占M鞫l盲纬AD的距离.t, 图5原始图像平面坐标系 Fig.5Planimetricrectangularcoordinatesoforiginalimage 中国图象图形学报第13卷 为点删直线船的距离O , : 忉y(4) M=fta一2(3)c0s一 j=tap—=__=—;一5 【=/tan+tany一::::—;三三W:/i2-;xo 开的投影柱面上的投影y00投影图像两边詈一扣的区域是重叠区域.之间的映射关系. zq 图6摄像机所拍摄的原始图像及实现畸变校正 和柱面投影变换后的图像 Fig.6Originalimageandtransformedimage 3.2图像拼接 图像拼接的难点在于找到并处理两个相邻图像 样本之间的重叠区域.本系统利用其物理结构的特 殊性,可快速确定相邻图像的重叠区域,然后剪除其 重叠区域后直接将图像进行拼接,可快速生成柱面 全景图像. 由于系统结构的轴对称特性,且采用4个相同 的摄像头,故相邻两个摄像头所拍摄的视频图像重 叠范围必然近似相同(如图7所示).如果设投影 为确 像剪 此想 样相 邻图像刚好无重叠区域,可直接进行拼接.图8中 (a),(b),(c),(d)分别为实验中4个摄像机在同 一 时刻不同方向拍摄到的4个场景的图像,图8 (e),(f),(g),(h)分别是将上述4幅图像进行畸变 校正和柱面投影变换后得到的图像,将图8(e), (f),(g),(h)4幅图像直接进行拼接,即得到如图8 (i)所示的一张全景图像. 由于 工艺 钢结构制作工艺流程车尿素生产工艺流程自动玻璃钢生产工艺2工艺纪律检查制度q345焊接工艺规程 的限制,系统的加工与安装都会有一 定的误差.忽略摄像头固有参数的差异,系统加工 时造成摄像头水平方向和竖直方向的角度偏差是导 致图像拼接误差的主要因素.假设在水平方向上, 某摄像头的光轴偏离预定位置的角度为?A,竖直 方向上偏离的角度为?,易知造成的图像重叠范围 第12期马力等:采用视频拼图方法构建高分辨率全景视频监控系统 的误差为一RZIA ,图像拼接时所产生的竖直方向上的 SlIl 偏差为Rcot(Ot+?0[)一Rcota.实验中设定全景视 频的分辨率为1280×260,此时投影圆柱面底面半 径约为204个像素值,设定摄像头倾斜角Ot=60., 若要将图像重叠范围误差和图像拼接时竖直方向上 的误差均控制在2个像素点以内,则需?A<0.5., ?<0.45. 一 _ 一 (g) 图8图像投影变换与拼接示意图 Fig.8Projectionandmosaicingofvideoimages 3.3确定摄像机倾斜角 按照前文所述的摄像头摆放方式对4个摄像 头进行固定放置,即使摄像头视野范围小于90., 也可以捕获360.的全局场景.如图3所示,减小 摄像头的倾斜角(即OP与z轴的夹角)可增大 相邻视频图像的重叠范围.然而,摄像头倾斜角 的减小也直接导致了摄像头垂直视野范围的减 小.在相邻图像能实现正常拼接的同时,为确保 生成的全景图像有较大的垂直视野范围,下面推 导全景图像的垂直视野范围与摄像头倾斜角的 关系. 如图3所示,考虑两幅相邻的视频图像,将 ABCD绕轴逆时针旋转90.,得到光轴位于XOZ平 面内的摄像机的焦平面.易知其右边沿和ABCD的 左边沿AD必然相交于一点.而该点在圆柱面上的投 影点则位于最终生成的全景图像的上沿,因而可由 该点的空间坐标求得全景图像的垂直视野范围.该 点的坐标为 = ftan/~ Y=一ftan# z:tanotta一 )(6) 设此时全景图像垂直视角为口(指在全景图像 中能看到的最上面的场景点和摄像头光心的连线与 .轴负方向的夹角),则 =arctan兰干—=arctan(7) 可求得当sins=tan#时,可取最大值 arctan(tan).实验中采用了水平视角约为85. 的摄像头进行试验,当将摄像头倾斜角设置为66. 时,生成全景视频的垂直视野范围约为72.,和理论 值完全相符. 若选用水平视野范围大于9O.的摄像头时,便 不需要考虑摄像头倾斜角的设置,因为无论倾斜角 度为多少,相邻视频图像总是存在重叠区域.此时 可根据实际应用场合的需要,确定一个合适的倾斜 角度. 4实验结果 基于自行研制的嵌人式DSPIC开发平台(DSP forPictureProcessing,图像处理DSP平台),实现了 一 套原型系统KD—PVS,如图9(a)所示.DSPIC开 发平台采用TI公司TMS320DM642DSP作为嵌入式 处理器,该处理器主频600MHz,可支持8路指令并 行处理.在DSPIC平台上集成了4个TVP5150芯 片负责视频信号采集,一个SAA7121芯片负责视频 信号输出,并集成有32MB外部存储器,4MBFLASH 存储器. 对系统加电后,直接将输出视频线接到普通显 示设备(如彩色电视机)上,便可看到实时的全景视 2296中国图象图形学报第l3卷 频.该系统最大可输出2560×600分辨率的全景 视频图像,帧率可达40fps,垂直视野范围约为80. (水平向上10.,向下70.).为适应普通电视机显示 5结论 的需要,目前将输出的全景视频分辨率设置为1280× 260,并分割成上下两部分显示,即显示分辨率为 640×520,实际显示效果如图9(b)所示. (a)原型系统KD—PVS实物图(b)全景监控视频 图9KD—PVS实物与监控效果图 Fig.9AppearanceofKD—PVSandpanoramicmonitoringvideo 本文设计和实现了一种基于视频拼图的全景视 频监控系统,可实时输出360.全景视频信号,图像 分辨率高,视觉效果较好.系统轻便健壮,集成度 高,可方便应用于金融系统,仓库,监狱和移动监控 等多种场合,尤其适用于室内监控. 由于系统采用了单视点近似和简化的拼接算 法,所确定的相邻视频图像的重叠区域不十分精确; 在图像拼接处,垂直方向上的场景存在微小的偏差. 从实验结果看,全景视频的拼接仍有痕迹.因此,如 何进一步消除视频图像的拼接痕迹,提高拼接质量, 是下一步系统改进的方向. 参考文献(References) 1OnoeY,YamazawaK,YokoyaN,eta1.Visualsurveillanceand monitoringsystemusinganomni-directionalvideocamera[A].In: Proceedingsofthe14thInternationalConferenceonPattern Recognition[c],Brisbane,Australia,1998:588—592. 2ChahlJS,SrinivasanMV.ACompletePanoramicVisionSystem, IncorporatingImaging,Ranging,andThreeDimensionalNavigation [A】.In:ProceedingsoftheIEEEWorkshoponOmnidirectional Vision[C],HiltonHeadIsland,SouthCarolina,USA,2000: 104—1l1. 3MoritaS,YamazawaK,YokoyaN.Networkedvideosurveillance usingmultipleomnidirectionalcameras[A].In:ProceedingsofIEEE InternationalSymposiumonComputationalIntelligenceinRobotics andAutomation[C],Kobe,Japan,2003:1245,1250. 4FooteJ,KimberD.FlyCam:Practicalpanoramicvideoand automaticcameracontrol[A].In:ProceedingsofIEEEInternational ConferenceonMultimediaandExpo[C],HiltonNewYork&Towe~ NewYorkCity,NY,USA,2000:1419—1422. 5RybskiPE,T0盯eFdela,PatilR,eta1.Cameo:Cameraassisted meetingeventobserver[A].In:ProceedingsoftheIEEE InternationalConferenceonRoboticsandAutomation[C],New Orleans,USA,2004:1634,1639. 6BenosmanR,KangSB,FaugerasO.PanoramicVision:Sensors, Theory,andApplications[M].NewYork:SpringerVerlag,2001. 7TanK,HuaH,AhujaN.Muhiviewpanoramiccamerasusingmirror pyramids[J].IEEETransactionsonPatternAnalysisandMachine Intelligence,2004,26(7):941—946. 8XiongY,TurkowskiK.Creatingimage-basedVRusingaself- calibratingFisheyeLens[A].In:ProceedingsoftheIEEEComputer SocietyConferenceonComputerVisionandPatternRecognition[C], PuertoRico,USA,1997:237—243. 9DasguptaSumantra,BanerjeeAmarnath.Anaugmented?reality-based real—timepanoramicvisionsystemforautonomousnavigation[J]. IEEETransactionsonSystem,Man,andCybernetics,PartA: SystemsandHumans,2006,36(1):154—161. 10NayarSK,PeriV.FoldedCatadioptricCameras[A].In: ProceedingsoftheIEEEComputerSocietyConferenceonComputer VisionandPatternRecognition[C],Corfu,Greece,1999: 2l7,223. 11WangWei,ZhongYan-li,WuJian—kun.Real—timesystemdesigned fordistortion-correctioninwideanglelens[J].OpticalTechnique, 2004,30(4):489—494.[王伟,钟堰利,吴建坤.广角镜头图 像畸变校正系统的研究[J].光学技术,2004,30(4): 489,494.]