关闭

关闭

关闭

封号提示

内容

首页 基于平面的Warping技术.pdf

基于平面的Warping技术.pdf

基于平面的Warping技术.pdf

上传者: lizhengzhi 2012-07-17 评分 0 0 0 0 0 0 暂无简介 简介 举报

简介:本文档为《基于平面的Warping技术pdf》,可适用于IT/计算机领域,主题内容包含Vol,NoJournalofSoftware软件学报()基于平面的Warping技术á张严辞,吴恩华,(中国科学院软件研究所计算机科学重点实验室,符等。

Vol,NoJournalofSoftware软件学报()基于平面的Warping技术á张严辞,吴恩华,(中国科学院软件研究所计算机科学重点实验室,北京)(澳门大学科技学院,澳门)Email:zhangyciosaccnhttp:wwwiosaccn摘要:提出了一种基于平面的逆向Warping算法,用于根据多幅参考图像生成任意视点下的新图像首先通过参考图像的深度信息来重建三维平面,然后寻找这些重建平面间的对应关系,并比较它们对空间平面同一部分的采样密度,以获得最好的采样结果在生成新视点图像时,首先对那些采样密度最好的重建平面进行可见性判断,然后将其投影到新视点下,在此基础上求得目标图像上各点的深度,最后将目标图像上的点逆向Warping到相应的参考图像中,以获取它们的颜色值同时,对于参考图像中不能被重建成平面的像素点,用正向Warping的方法对其进行处理实验数据显示,此算法的时间效率不会随着参考图像的增加而急剧下降,并且由于只保存了参考图像中采样密度最好的重建平面,所以算法对存储量的要求也很小关键词:基于图像的绘制正向映射逆向映射采样密度中图法分类号:TP文献标识码:A通过多幅参考图像生成任意视点下的图像是基于图像绘制技术~中的一个研究热点McMillan提出了DWarping方程,,用于将参考图像上的点Warping到目标图像上,但对由于遮挡关系而导致的空洞问题,他并未提出一个好的解决方法Mark等人提出的PostRenderingWarping,使用两幅或多幅参考图像来解决空洞问题而Shade等人提出的LDI(layereddepthimage)在同一个像素位置上保存了位于该视线方向上的多个空间点的深度值,实际上是把多幅参考图像投影到同一个视点下,但这限制了新视点的位置不能离LDI视点太远同时,由于LDI固定的分辨率,也限制了新视点下图像的质量LDITree建立在LDI基础上,它试图通过树型结构来解决LDI中出现的采样问题,但其最大不足在于需要很大的储存量另外,还有一些不基于DWarping的方法如Debevec的几何与图像混合的方法,试图通过人机交互方式来重建场景的三维模型但这种完全重建十分繁重InverseWarp,是从目标图像出发,通过沿极线搜索的方法来搜索参考图像,以找到目标图像上像素点在参考图像上的对应点本文提出了一种基于平面的逆向Warping算法与其他逆向Warping算法,不同,我们不借助于极线来搜索参考图像,而是通过从参考图像中恢复得到的重建平面的信息,先求得目标图像上各像素点的深度,然后再把它们逆向Warping到参考图像中以获得其颜色值同时,通过结合逆向Warping和只保存对空间同一部分的最好采样来解决采样问题,以保证得到最好的图像质量正向Warping所谓正向Warping就是将参考图像上的点Warping到目标图像上,它是基于图像的绘制技术中经常被应用á收稿日期:修改日期:基金项目:国家自然科学基金资助项目()ResearchGrantofUniversityofMacao(RGSWEHFST)作者简介:张严辞(-),男,四川成都人,博士生,主要研究领域为基于图像的绘制吴恩华(-),男,江苏南通人,博士,研究员,博士生导师,主要研究领域为真实感图形,可视化,虚拟现实张严辞等:基于平面的Warping技术的方法之一,但它存在如下一些缺点正确性为解决Warping过程中像素点间的遮挡问题,McMillan提出了一种基于极点的Warping顺序,可以保证从后往前的Warping参考图像上的像素点,但这只能解决一幅参考图像的可见性问题,而对于多幅参考图像,算法不能保证Warping结果的正确性如图所示,空间点A在视点Ref下可见,但在新视点Des下A被面II所遮挡但由于面II没有出现在Ref中,因此如果从Warping参考图像Ref的结果来看,A在新视点下仍可见,但实际上这是错误的为了解决这个问题,必须Warping所有其他的参考图像以尽量保证Warping结果的正确性,这使得整个算法效率随着参考图像数目的增加而急剧下降采样问题对于空间中一个指定的面,一般来说它都会部分或全部地出现在多个参考图像中,且不同的参考图像对这个面有不同的采样密度在生成新视点图像时,我们将面临一个如何选择合适的参考图像作为Warping对象的问题,任何不恰当的选择都将导致新视点图像质量的下降甚至出现空洞效率问题正向Warping算法中经常出现参考图像中的多个点Warping到目标图像上同一位置的情况,虽然通过McMillan的Warping顺序算法或比较深度值可判断出最终可见点,但对不可见点的Warping工作实际是多余的另外,参考图像上大量的像素点可能会无效地Warping到目标图像以外同时,由于同一空间面可能会出现在多幅参考图像中,因此参考图像间的冗余信息非常大基于平面的Warping技术出现上述问题的重要原因在于正向Warping算法把参考图像中的像素点当作孤立点来处理,为克服这个缺点,引进适当的几何信息是必要的一般来说,场景中(特别是室内场景)出现最多的就是平面及曲率变化很小的曲面,且参考图像中大部分像素点都对应这些面,而那些由曲面构成的物体往往在参考图像中只占很少的像素点因此通过恢复场景中的平面信息,能大大加速Warping算法逆向Warping通过从目标图像出发,到参考图像中去寻找目标图像像素点的对应点来避免正向Warping算法中出现的无效Warping但与基于极线搜索的逆向Warping算法不同,我们是把从参考图像恢复出来的平面投影到目标视点下,然后根据目标图像像素点的平面归属来计算该点的深度,最后根据这个深度值来把目标像素点Warping到相应的参考图像上以获得其颜色值对于采样问题,我们通过结合重建平面和逆向Warping来解决通过比较对应空间中同一平面的重建平面,只保存有最好采样的重建平面,而其余采样都认为是冗余信息而不予保存由于是用逆向Warping来生成新视点图像,因此对空间平面最好的采样就足以保证能得到最好质量的Warping结果与正向Warping算法相同,假设参考图像的视点位置、投影矩阵以及参考图像上各点的深度值已知整个算法分为两个阶段,第个是预处理阶段,主要进行平面重建、采样密度比较等工作第阶段以第阶段的结果,生成新视点图像平面重建平面重建工作就是要获得在一幅参考图像中哪些像素点对应空间中的同一平面,然后根据这些像素点的ARefRefDesSurfaceISurfaceIIFigCorrectnessproblem图正确性问题JournalofSoftware软件学报,()FigReferenceimageanditsplanereconstructionresult图一幅参考图像及其平面重解结果深度值及视点的位置和视线方向估计出空间平面的方程和法向量我们首先使用边缘检测算子对每幅参考图像的深度空间进行边缘检测,然后通过参考图像的视点位置和投影矩阵可以得到没有被标记为深度不连续点的空间三维坐标在这些空间坐标的基础上,通过最小二乘法来得到空间平面方程同时,为保证重建出的平面不会出现太大误差,我们规定,只有数目大于某个指定阈值的像素点集合的重建结果才是可信的这个阈值与参考图像的分辨率有关通过实验可以看出,这个阈值取整幅参考图像像素点总数的~比较合适图显示了一幅参考图像和平面重建后的结果,不同的灰度代表不同的平面,其中白色区域代表没有重建成平面的像素点从图中可以看到,远处的椅子虽然也由平面构成,但由于它在图像上只占有少数像素,因此将其标记为不能重建点需要强调的是,本文中的重建平面都是带方向的由于出现在参考图像中的平面肯定是可见面,因此通过平面方程、视点的位置和视线方向可获得平面的法向量计算重建平面间的遮挡关系在生成新视点图像时,我们需要知道重建平面在新视点下的遮挡关系由于在预处理阶段不可能知道新视点的信息,因此我们希望通过计算重建平面在参考图像中的遮挡关系来获得它们在新视点下的遮挡关系根据BSP(binaryspacepartition)树原理,空间平面l将空间分割成两个正负子空间l,l当视点位于l时,l的物体不可能遮挡l和l中的物体同理,当视点位于l中时,l中的物体不可能遮挡l和l中的物体事实上,再加上空间的物体都是平面物体、所有的空间平面都是有向平面且互不交叉这两个限制条件后,我们可以容易地证明如下一个加强的结论:空间中任意两个互不交叉的有向平面的遮挡关系不随视点变化而变化例如,平面Q和视点都位于平面P的正侧空间,且平面P,Q对视点来说都是可见面,这时我们认为平面Q遮挡P而当视点位于平面P的负侧空间时,平面P对视点来说是背向面,因此在绘制时我们根本不会绘制平面P,所以也就谈不上平面P遮挡Q,如图所示从上面的讨论中可以看出,对于空间中的有向平面来说,我们所说的遮挡关系是在两个平面在视点下都是可见面的前提下讨论的,而对于视点下的背向面,其本身就不参与绘制过程,也就谈不上它与其他平面间的遮挡关系在如上的限制条件下,我们就可以通过计算重建平面在参考图像中的遮挡关系来获得它们在任意新视点下可能出现的遮挡关系对于两个重建平面P,Q,我们按如下方法判断它们的遮挡关系:()判断P,Q是否互相交叉,若交叉,则按两平面的交线将其中一个平面划分成两个平面()判断P,Q法向量的夹角,若夹角大于,则对任意视点来说,P,Q不可能发生遮挡()若P位于Q的正侧空间,则认为P遮挡Q若P位于Q的负侧空间,则Q遮挡P分割平面一般来说,一个空间平面都会出现在多幅参考图像中,且不同参考图像对于它有不同的采样密度显然,保存并Warping所有的重建平面是低效的实际上,只需保存对空间平面同一部分的最好采样就足够了,这既不会造成信息丢失,同时又能提高算法的时间、空间效率通过比较来自于不同参考图像的重建平面的平面方程和ViewpointPlanePPlaneQFigAnocclusionexample图一个遮挡的例子张严辞等:基于平面的Warping技术法向量可以知道哪些重建平面是对应于空间中的同一平面而对于这些重建平面,我们将按如下方法在像空间中比较它们的采样密度假设重建平面P,Q分别来自不同的参考图像Ref,Ref,且它们对应于空间中同一平面我们首先确定重建平面P,Q对应空间平面同一部分的区域,然后逐行比较这些区域的采样密度假设Ref上的一段像素区域ab及ab在Ref上的对应部分ab,若ab的长度小于ab的长度,则认为对于ab对应的这部分空间平面,Ref比Ref有更好的采样密度,于是我们将Ref上从a到b的像素标记为无用像素图显示了两幅参考图像及它们在采样密度比较后的结果,其中白色部分表示被标记为无用的像素点,经过采样密度比较后,参考图像上的重建平面P可能被分割成多个部分,而每部分都是所有参考图像中对空间相应部分的最好采样,每个部分在以后的过程中都被当作单独的重建平面进行处理完成了采样密度比较后,我们在像空间中使用围线追踪算法来获取分割后的各个部分的边界链码,根据这个链码,通过分裂合并算法求出这些平面的顶点在平面重建过程中,一些小平面对应的像素点也没有被重建仅占少数像素点的空间面有两种情况:一种是这些像素点对应的平面确实是小平面另一种情况是该空间平面并不是小平面,而只是由于视点和视线的关系而造成它们只占有少数像素,如视点距离该空间平面很远或该平面的绝大部分被其他平面所遮挡对于后一种情况,可能在其他参考图像中存在着更好的采样为避免将那些能够重建的像素点标记为不能重建,我们对每一幅参考图像中所有不能重建的像素点作如下检查:将每一个不能重建的像素点a都Warping到所有其他的参考图像中,若Warping结果对应的像素点a在该参考图像中是一个能够重建的像素点且a,a对应的空间坐标足够近,则认为a是能重建且在其他参考图像中存在着其对应部分的更好采样,因此将其标记为无用像素生成新视点下的图像可见性判断在生成新视点的图像时,首先对所有的重建平面进行可见性判断我们的可见性判断主要是完成背向面剔除,通过新视点的位置、视线方向和重建平面的法向量可以容易地完成这个工作投影平面将可见的重建平面的各个顶点投影到新视点下,通过连接这些投影后的顶点就可以知道某个重建平面在目标图像上所覆盖的区域而对于目标图像上的某一像素点来说,如果它被多个重建平面所覆盖,则通过查找事先计算出的潜在遮挡关系来确定该像素点的平面归属逆向Warping在知道了目标图像上像素点的平面归属后,我们就可以按如下方法来把该像素逆向Warping到相应的参考图像中以获取其颜色值假设(x,y,z)是目标图像上某像素点的屏幕坐标,而(X,Y,Z)是其对应的空间坐标,于是有úúúúúûùêêêêêëé=úúúúúûùêêêêêëéZYXMzyx,FigTworeferenceimagesandtheirplanesplitresult图两幅参考图像及其平面分割结果JournalofSoftware软件学报,()其中M是投影矩阵另外,由于知道(X,Y,Z)位于某个重建平面上,因此有=úúúúúûùêêêêêëéZYXDCBA,其中A,B,C,D是该平面的平面方程系数综合以上二式有=úúúúúûùêêêêêëézyxMDCBA所以目标图像上该像素点的深度值为cdybxaz=**,其中DmCmBmAma****=,DmCmBmAmb****=,DmCmBmAmc****=,DmCmBmAmd****=,úúúúúûùêêêêêëé=mmmmmmmmmmmmmmmmM在有了深度值以后,由于知道该像素所在的重建平面与参考图像之间的对应关系,因此可以将该点Warping到相应的参考图像上以获取其颜色,同时记录该点深度Warping参考图像中不能被重建的像素点把参考图像中不能被重建的像素点Warping到目标图像上若Warping结果对应的像素点上已经有颜色值了,则表明该点已被某个重建平面所覆盖,通过深度比较可以决定新视点下是可见点空洞问题如何填补目标图像中的空洞是任何Warping算法都必须解决的问题一般来说,空洞可分为两类,即可以通过搜索参考图像而被填补的空洞和所有参考图像都没有拍摄到而出现的空洞而当空洞出现时,我们并不知道其类型因此即使搜索完所有参考图像也不一定能补上空洞在本文算法中,空洞问题已经得到很大缓解因为通过平面重建等预处理,我们实际上使用的是所有参考图像的完备信息,若目标图像上出现空洞,那它一定是第二类空洞对于这种空洞,可以通过像素间插值等方法来填补实验数据我们在一台M内存的PentiumIIMHzPC上执行本文算法参考图像和目标图像的分辨率都是,每个像素的颜色都用Bit表示图、图分别显示了幅参考图像和根据这些参考图像生成的幅新图像图显示了本文算法和保存原始参考图像所需要的储存量间的比较可以看出,与保存原始参考图像相比,随着参考图像的增加,本文算法对储存量的要求增长得缓慢得多这主要是因为参考图像中有很大一部分像素点被标记为无用像素而未被保存,而同时那些被保存的可以被重建的像素点,我们又没有保存其深度值,这样就节省了大量储存空间相对于另外一些解决采样问题的算法,如LDITree,我们算法的储存量就更小例如,对于一幅的参考图像,LDITree大约需要M的存储空间图显示了算法生成新视点图像所需要的时间与参考图像数目的关系,可以看到,算法的绘制时间随着参考图像数目的增加而增加得比较平缓张严辞等:基于平面的Warping技术FigAllreferenceimages图所有的参考图像FigNovelviewgeneratedbythealgorithmofthispaper图本文算法生成的新视点图像存储量,参考图像数目,原始参考图像,本文的算法FigComparisonofstorage图存储量的比较NumberofreferenceimagesStorage(inMB)OriginalstorageofreferenceimagesOuralgorithm’sstorageJournalofSoftware软件学报,()FigRelationshipbetweenrenderingtimeandnumberofreferenceimage图绘制时间与参考图像数目的关系表显示了整个算法中的一些细节数据从表中可以看到,参考图像中大约有的像素点被保存下来对一个固定的场景来说,这个百分比会随着参考图像的增加而下降TableExperimentaldatasinthepreprocessingperiod表预处理阶段的数据NumberofreferenceimagesNumberofplanesreconstructedNumberoforiginalpixelsNumberofpixelsreconstructedNumberofpixelsnonreconstructed参考图像数目,分割后的重建平面数,原始像素点数,有效的可被重建像素点数,有效的不可被重建像素点数在生成新视点图像时,算法的执行时间大致可以分为个部分:处理重建平面(~)逆向Warping目标图像上的像素点(>)和正向Warping不能被重建的点()而在耗时最多的逆向Warping过程中,算法的主要时间是花在通过双线性插值以获得颜色值(~),而真正的Warping操作只占~结论本文通过辅助的重建平面信息和逆向Warping来提高整个Warping过程的时间效率实验数据表明,对于多幅参考图像的情况,花在处理平面上的时间能减少大量无效Warping同时需要指出的是,本文的重建平面与图形学中的面片有很大差别我们的重建平面是一种近似结果,一些曲率不大的曲面有可能也会被当作平面处理,同时对于那些在图像上只占少数几个像素点的物体,我们还是按离散像素点来进行处理,而在图形学中,无论物体最终在图像上占有多少像素点,它都被当作若干个面片来进行处理对于Warping过程中的采样问题,我们通过结合逆向Warping和只保存对空间同一部分的最好采样而加以解决,这不仅能保证生成图像的质量,还减少了算法对储存空间的要求总的来说,通过重建平面的辅助,加上结合逆向Warping和只保存对空间某一部分最好采样的策略,我们可以提高Warping算法的时间和空间效率,并可以获得最好的图像质量致谢中国科学院软件研究所的刘学慧副研究员、郑新博士对本文的完成提出了很多有益的建议,在此一并表示感谢References:McMillan,L,Bishop,GPlenopticmodeling:animagebasedrenderingsystemIn:ProceedingsoftheSIGGRAPH’LosAngeles,CA:ACMPress,~NumberofreferenceimagesRenderingtime(s)张严辞等:基于平面的Warping技术Chen,SEQuickTimeVRanimagebasedapproachtovirtualenvironmentnavigationIn:ProceedingsoftheSIGGRAPH’LosAngeles,CA:ACMPress,~Levoy,M,Hanrahan,PLightfieldrenderingIn:ProceedingsoftheSIGGRAPH’NewOrleans,Louisiana:ACMPress,~Gortler,SJ,Grzeszczuk,RSzeliski,R,etalTheLumigraphIn:ProceedingsoftheSIGGRAPH’NewOrleans,Louisiana:ACMPress,~McMillan,LAnimagebasedapproachtothreedimensionalcomputergraphicsPhDThesisUniversityofNorthCarolina,Mark,WR,McMillan,L,Bishop,GPostRenderingDwarpingIn:ProceedingsoftheSymposiumonInteractiveDGraphicsNewYork:ACMPress,~Mark,WR,Bishop,GEfficientreconstructiontechniquesforpostrenderingDimagewarpingTechnicalReport,UNCCS,Shade,J,Gortler,S,He,LW,etalLayereddepthimageIn:ProceedingsoftheSIGGRAPH’Orlando,FL:ACMPress,~Chang,CH,Bishop,G,Lastra,ALDItree:ahierarchicalrepresentationforimagebasedrenderingIn:ProceedingsoftheSIGGRAPH’LosAngeles,CA:ACMPress,~Debevec,PE,Taylor,CJ,Malik,JModelingandrenderingarchitecturefromphotographs:ahybridgeometryandimagebasedapproachIn:ProceedingsoftheSIGGRAPH’NewOrleans,Louisiana:ACMPress,~JrMarcato,RWOptimizinganinversewarperMSThesisMassachusettsInstituteofTechnology,PlaneBasedWarpingáZHANGYanci,WUEnhua,(KeyLaboratoryforComputerScience,InstituteofSoftware,TheChineseAcademyofSciences,Beijing,China)(FacultyofScienceandTechnology,UniversityofMacau,Macau,China)Email:zhangyciosaccnhttp:wwwiosaccnAbstract:Inthispaper,aplanebasedbackwardwarpingalgorithmisproposedtogeneratenovelviewsfrommultiplereferenceimagesFirstthedepthinformationisemployedtoreconstructspaceplanesfromindividualreferenceimagesandthepotentialoccludingrelationshipbetweentheseplanesiscalculatedThentheplanesthatrepresentanidenticalspaceplanefromdifferentreferenceimagesarecomparedwitheachothertodecideonewithbestsampleratepreservedandusedinthelaterwarpingperiodwhiletheothersamplesareabandonedWhiletheimageofanovelviewisproduced,theplanesthatpassthevisibilitytestareprojectedontothedesiredimagefromwhichpeoplecangetknowledgeontheplanethatthedesiredimagepixelsarewarpedfromFinally,pixels’depthofthedesiredimageiscalculatedandthenabackwardwarpingisperformedfromthesepixelstothereferenceimagestoobtaintheircolorsItisshownthatthestoragerequirementandexecutingtimeoftheproposedalgorithmincreasesslowlywiththenumberofreferenceimagesKeywords:imagebasedrenderingforwardwarpingbackwardwarpingsamplingrateáReceivedOctober,acceptedJanuary,SupportedbytheNationalNaturalScienceFoundationofChinaunderGrantNoResearchGrantofUniversityofMacauNoRGSWEHFST

用户评论(0)

0/200

精彩专题

上传我的资料

每篇奖励 +2积分

资料评价:

/8
1下载券 下载 加入VIP, 送下载券

意见
反馈

立即扫码关注

爱问共享资料微信公众号

返回
顶部