一种改进的远程屏幕图像实时传输方法

© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 　　收稿日期 : 2006 - 09 - 20;修订日期 : 2006 - 12 - 05 　　作者简介 :李小鹏 ( 1980 - ) ,男 ,陕西三原人 ,助教 ,硕士研究生 ,主要研究方向 :计算机信息安全、系统网络模拟与仿真 ; 　刘连东 (1979 - ) ,男 ,河南周口人 ,助教 ,硕士 ,主要研究方向 :嵌入式系统 ; 　李亚敏 (1964 - ) ,男 ,河南荥阳人 ,副教授 ,主要研究方向 :计算机网络安 全 ; 　郁滨 (1964 - ) ,男 ,河南郑州人 ,教授 ,博士生导师 ,主要研究方向 :信息安全. 文章编号 : 1001 - 9081 (2007) 03 - 0703 - 03 一种改进的远程屏幕图像实时传输方法 李小鹏 ,刘连东 ,李亚敏 ,郁 　滨 (信息工程大学 电子技术学院 ,河南 郑州 450004) (peng001123@ sina. com) 摘 　要 :在深入 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 现有屏幕图像传输方法的基础上 ,提出了一种改进的远程屏幕图像实时传输 方法 ,将色彩过滤、“格 ”、异或和帧间分块压缩结合起来 ,在屏幕图像采集和压缩两个方面进行了改 进。实验结果表明 ,该方法在保证图像质量的前提下 ,缩短了屏幕图像处理时间 ,减少了数据传输量 , 提高了传输速度。 关键词 :分块压缩 ;格 ;过滤 中图分类号 : TP317. 4　　文献标识码 : A An im proved rea l2tim e tran sm ission m ethod for rem ote screen images L I Xiao2peng, L IU L ian2dong, L I Ya2m in, YU B in (Institu te of E lectron ic Technology, Inform ation Engineering U niversity, Zhengzhou Henan 450004, Ch ina) Abstract: An imp roved real2time transm ission method for remote screen image was p roposed. In this method, color filter, grid, xor and block comp ress between frameswere combined, and screen cap turing and comp ressing were imp roved. The experimental results show that this imp roved method decreases the data size, shortens the dealing time of screen, and increases the transm ission speed. Key words: block comp ress; grid; filter 0　引言 在传输计算机屏幕位图的工程应用中 ,常常遇到图像传 输滞后 ,出现“马赛克 ”等现象 ,这些现象都是由于图像传输 速度慢造成的 [ 1 ]。为了解决这些问题 ,一方面要提高网络的 带宽 ,另一方面要减小数据传输量。由于网络的带宽和速度 受硬件的限制 ,因此 ,如何利用现有网络环境 ,通过软件方法 来减小数据传输量成为解决问题的关键。 屏幕图像的传输过程一般包括图像采集、图像压缩和图 像传输三个部分。通常获取屏幕图像的方法有以下两种 :创 建屏幕设备描述表 (Device Context, DC)方法和 D irectX (DX) 方法 [ 2 ]。这两种屏幕捕捉方法各有优劣 ,屏幕 DC方法适用 范围广 ,能够捕捉大部分的屏幕图像 ,但捕捉速度较慢 ,实现 较为困难。D irectX 方法捕捉速度快 ,但要求机器必须安装 D irectX,适用范围较窄。 在屏幕分辨率为 1 024 ×768,颜色质量为 24位真彩色 下 ,屏幕采集得到的一个 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 系统桌面的位图图像 ,大小约为 2. 25MB。要在控制端屏幕视觉流畅 ,受控端 1 s还必须传送 至少 24帧图像。因此 , 1 s传输量为 2. 25 ×24 = 54MB。这 样大的数据量在 Internet/局域网上传输 ,客户端屏幕显示会 有明显的时延 ,所以必须进行图像压缩以保证良好的实时 性 [ 3 ]。文献 [ 4 ]采用了屏幕帧内压缩和帧间压缩两种方法 , 帧内压缩将屏幕图像中的单色块、色彩集中块和文字块划分 出来 ,分别采用矢量压缩算法、JPEG压缩算法和 LZW 压缩算 法进行压缩 ,提高了图像压缩率 ,然而却耗费了大量的处理时 间。帧间压缩将 1 s采集的 24帧屏幕分别存入缓冲区 ,以第 1帧为参照 ,比较 24个缓冲区中的数据 , 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 比较后不同数 据的位置和帧号。帧间压缩仅对前后两帧屏幕有位置变化的 情况压缩效果明显。 计算机屏幕图像不是时刻全部发生变化 ,大部分时间里 只有部分图像在变化 ,若仅对发生改变的部分图像进行传输 , 则将大大减少屏幕数据传输量。文献 [ 1 ]提出了“格 ”的概 念 ,但未指出“格 ”如何划分。数据比较时 ,将两次采集数据 格中的像素作差 ,得到一个稀疏矩阵 ,根据矩阵元素的位置 , 取一个权值矩阵 ,只要矩阵元素的加权和满足一定的数值才 进行数据压缩和传输。此数值通过试验来获取 ,不同的值得 到的图像效果有所不同 ,因而实际可操作性较差。文献 [ 5 ] 指定了一种 4 /4屏幕分块方式 ,进行屏幕处理 ,但未对屏幕分 块数量与数据传输量的关系给出定量分析 ,不同的屏幕分块 方式有不同的数据传输量。文献 [ 6 ]采用前后两帧图像异或 (XOR)的方法 ,传输差异 (异或结果 )部分。然而 ,若前后两 帧差异较小 ,整屏异或结果中有大量无用的“黑块 ”没有去 除 ,影响数据传输量的进一步减小。 判断前后两帧屏幕是否变化的方法有直接比较法和 CRC比较法 [ 5 ]。直接比较法调用 Memcmp内存比较函数 ,对 前后两帧格屏幕的内存数据逐个字节进行比较。此方法需保 存两份屏幕数据拷贝 ,数据比较时内存空间占用较大。CRC 比较法计算图像数据的 CRC值 ,通过比较两帧图像的 CRC 值判断图像是否发生改变 ,此方法处理时间较长。 在图像传输部分 ,文献 [ 4 ]分别使用色彩、面积和帧三种 过滤器过滤控制端不需要的信息 ,减少了数据传输量 ,然而却 是以牺牲受控端的处理时间为代价的。 本文在屏幕采集时进行色彩过滤 ,压缩过程中给出了格 的具体划分方法 ,并采用 XOR方法分块判断动态格 ,对帧间 第 27卷第 3期 2007年 3月 　 计算机应用 Computer App lications 　 Vol. 27 No. 3 Mar. 2007 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 变化的格压缩传输 ,最后比较分析了不同屏幕格分 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 和图 像传输方法下的图像处理耗时和数据传输量。 1　改进的屏幕图像传输方法 1. 1　图像采集 为克服 DC和 DX方法实现困难及适用范围较窄的不足 , 采用直接屏幕拷贝 (D irect Copy Screen, DCS)方法。图像采 集分为屏幕拷贝和色彩过滤两部分。在屏幕拷贝后 ,根据控 制端的需要对屏幕位图进行色彩过滤 (24位、256色和与设备 无关位图 (D IB) ) ,完成色位转换 ,过滤大量的颜色数据 ,进而 减少数据量。如图 1所示。 图 1　改进的屏幕采集 直接屏幕拷贝得到位图的每一像素以三原色 R、G、B的 次序存放 ,改变 RGB的值可以调节位图的色彩。因此 ,色彩 过滤时 , 1)分配内存 ; 2)创建逻辑调色板 , i = 1, 2, ⋯, 256 颜色质量 = 255 ×EXP ln ( i颜色质量 ) 灰度系数 3) 对屏幕位图进行逐行扫描 ,获取每一个像素的内存地址; 4) 依次对 R、G、B三原色进行转换 , j = 1, 2, ⋯, 256,位 图宽度 pixel[ j] = (R [ j] ×3 + G[ j] ×4 + B [ j]8 ) 图 2　色彩过滤器工作框图 1. 2　图像分块压缩 1. 2. 1　图像分块 将屏幕划分为 m ×n = m n的小矩形 ,每一个小矩形称为 一个静态格 ,静态格存储着屏幕图像的位图数据 ,如式 (1) ～ 式 (2) 所示。动态格 C ij是前后两帧中对应的静态格 S ij和 D ij 经过运算“∧”得到 ,存储着静态格间的差异位图数据 ,如式 (3) 所示。动态格通过相应的方法传输出去 ,控制端只经过少 量的数据处理就能恢复屏幕图像。 屏幕分块的个数应根据实际情况来设定 ,若静态格的个 数过多将会导致分块处理时间的总和超过整屏数据的传输时 间 ,这样虽然网络带宽占用小 ,但实时性可能下降 ;若静态格 的个数过少 ,则较整屏处理占用的网络带宽下降幅度不大 ,速 度提高效果不明显。 f1 = S11 ⋯ S1n … … Sm1 ⋯ Sm n (1) f2 = D11 ⋯ D1n … … Dm1 ⋯ Dm n (2) fc = f1 ∧ f2 = S11 ∧D11 ⋯ S1n ∧D1n … … Sm 1 ∧Dm 1 ⋯ Sm n ∧Dm n (3) 1. 2. 2　动态格的判断 采用 XOR法对前后两帧之间发生变化的格进行判断 :根 据一种格分方案 ,将前后两帧屏幕各个对应的静态格直接运 算 ,即式 (3)中的元素 S ij ∧D ij,其中取“∧”为 XOR运算 ,所 得屏幕位图未变化部分的位值将为 0,还原成图像即“黑块 ”, 不需要传输 ;而变化部分的位值为 1,需要传输。如果帧与帧 之间的变化很少 ,则会出现大量连续的 0,从而在很大程度上 提高了数据的压缩率 ,减少数据量。 通常压缩算法采用 JPEG,其效率和时间是比较理想的。实 验表明 ,一个大小约为 2. 25MB的位图图像 ,采用压缩比为 65% 的 JPEG压缩 ,并进行 Huffman编码优化后大小为 64. 3KB。使用 LHA、GZIP等通用的压缩算法后 ,图像尺寸虽然有所减小 ,但其 压缩算法本身耗费时间数多于 JPEG压缩算法。 屏幕数据在发生较小改变的情况下 ,若先进行整体压缩 , 再对每格数据判断 ,可以提高判断的效率。但压缩占用较多 主机资源 ,所以先对前后两帧屏幕对应的静态格进行比较 ,再 对变化的格进行压缩。 2　实验 2. 1　屏幕图像采集比较 在 CPU为 A thlon XP1700 + ,使用显卡 Geforce2 GTS并安 装 D irectX8. 1的测试环境中 ,对 DC和 D irectX两种方法分别 进行了 3次捕捉试验 ,每次连续捕捉 100帧 ,每种方法在不同 分辨率下的每帧平均捕捉时间如表 1所示 [ 5 ]。 表 1　屏幕图像采集速度比较 屏幕尺寸 DC /m s D irectX /m s 1 024 ×768 450 122 800 ×600 270 74 相同环境下使用直接拷贝屏幕方法 ,分别对颜色质量为 24 位、256色和 D IB进行测试 ,每帧平均捕捉时间如表 2所示。 表 2　直接屏幕拷贝速度 屏幕尺寸 24位 /m s 256色 /m s D IB /m s AVG/m s 1 024 ×768 624 356 22 334 800 ×600 390 145 16 184 2. 2　屏幕差异判断方法比较 分别采用 MemCmp、CRC和 XOR方法对屏幕前后两帧屏 幕进行了 10次测试 ,结果如表 3所示。 表 3　Memcmp、CRC和 XOR比较 方式 平均时间 / s CPU占用率 (% ) Memcmp 0. 089 20 CRC 4. 087 98 XOR 0. 048 46 2. 3　不同格分方案比较 表 4　格分方案比较 格分 方案 格 总数 格尺寸 采集 /m s XOR /m s JPEG压缩 /m s 总耗时 /m s 图像大 小 /KB 4 ×4 16 256 ×192 44 41. 1 15. 3 100. 4 12 8 ×4 32 128 ×192 54 26. 3 18. 5 98. 8 11. 2 8 ×8 64 128 ×96 34. 5 38. 6 16. 7 89. 8 6. 8 16 ×8 128 64 ×96 32. 6 21. 6 10. 6 64. 8 6. 2 16 ×16 256 64 ×48 32. 7 41. 8 10. 8 85. 3 5. 1 32 ×16 512 32 ×48 33. 1 68. 7 12. 3 114. 1 4. 4 32 ×32 1024 32 ×24 35. 7 100 9. 3 145 4. 2 在某军事训练考核网络系统中 , 测试程序运行于 W indowsXP平台下 , CPU 为奔腾 4、主频为 2. 4GHz,内存为 256MB,显卡为 Ge Force 2,显存为 32MB。以 D IB为例 ,分别 对 7种屏幕格分方式进行测试 ,每种格分方案采集 20帧屏幕 407　　　　 计算机应用 2007年 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 数据进行处理 (其中 6帧完全相同 , 6帧不完全相同 , 8帧完 全不同 ) ,最后得到各个部分的平均值以及待传输图像差异 部分大小 ,结果如表 4所示。 2. 4　不同图像传输方法比较 在 2. 3节系统环境下 ,取 20帧不相同屏幕图像分别对文 献 [ 4 ]、文献 [ 5 ]、文献 [ 6 ]和本文屏幕图像传输方法进行测试 比较 ,结果如表 5所示。由于文献 [ 1 ]中未给出权值矩阵建 立方法及加权和的阈值 ,故没有进行测试。 表 5　屏幕图像传输方法比较 传输方法 总耗时 /m s 数据量 /KB 文献 [6 ]方法 312 73 文献 [4 ]方法 232 136 文献 [5 ]方法 211 67 改进方法 64. 8 63 2. 5　结果分析 图 3　16 ×8静态格异或图 　　从表 1,表 2可以看出每帧平均捕捉时间由快到慢依次 为 DX, DCS, DC。若以 D IB方式采集屏幕信息 , DCS方法最有 效 , D IB图像清晰度与颜色质量为 24位的采集图像相当。 从表 3可以看出 memcmp CPU占用率最低 , XOR耗费时 间最短 , memcmp方法占用内存较大 ,选用 XOR方法进行动 态格的判断效率最高。 从表 4可以看出 ,改进方案采用 16 ×8屏幕格分方式 ,数 据传输效率最高。图 3为 16 ×8屏幕格分方式下 ,程序 3次 对前后两帧静态格比较结果 ,从图中可以看出完全相同的静 态格异或后为“黑块 ”,不相同的静态格异或后需要传输 ,异 或后的格图像平均比原格图像缩小了 3. 36倍。 从表 5可以看出文献 [ 6 ]采用整屏 XOR方法数据处理量 大 ,有大量“黑块”未去除 ,影响了数据传输量的减小。文献 [ 4 ] 压缩耗时较长 ,数据传输量较大。文献 [ 5 ]图像传输效率较文献 [6 ]和文献 [4 ]有所提高。本文方法图像传输效率最高。 3　结语 本文针对远程屏幕传输 ,提出了一种集色彩过滤、“格 ”、 异或和帧间分块压缩结合起来的方法 ,对 7种屏幕格分方案 和 4种图像传输方法进行了比较。在某军事训练考核网络系 统中进行测试 ,实验结果表明 ,该方法以 16 ×8进行屏幕划 分 ,数据传输量小 ,图像处理时间最短 ,传输效率最高。 参考文献 : [1 ]　耿增民 ,余正涛 ,康海燕. 一种提高计算机屏幕图像传输速度的 方法 [J ]. 计算机工程与应用 , 2005, 41 (1) : 114 - 116. [2 ]　吴洪才 ,殷人贺 ,贺思德. 屏幕捕获技术在多媒体教学中的实现 探讨 [J ]. 计算机工程 , 2003, 29 (13) : 195 - 197. [3 ]　张丽萍 ,喻占武 ,肖进胜 ,等. 一种基于拷屏和压缩技术的屏幕 共享方案 [J ]. 中国图像图形学报 A, 2003, 8 (9) : 1095 - 1099. [4 ]　何志兰 ,崔杜武 ,莫毅. 一种远程屏幕图像实时传输方法 [J ]. 计 算机应用研究 , 2005, 22 (8) : 258 - 260. [5 ]　肖道举 ,刘洪峰 ,陈晓苏. 面向远端屏幕监控的一种图像压缩传 输方法 [J ]. 计算机工程与设计 , 2005, 26 (12) : 3356 - 3357. [6 ]　谢志鹏. 基于 socket的远程教学辅导软件的设计 [J ]. 计算机应 用 , 2003, 23 (9) : 143 - 145. [7 ]　鲁萍. 远程教学系统中的屏幕图像实时传输技术 [J ]. 计算机工 程与设计 , 2005, 26 (12) : 3270 - 3273. (上接第 658页 ) 　　致谢 : 感谢交互电视网络管理组的许敏、武宜龙、刘海 剑 ,他们为 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 提出了许多合理化的建议。 参考文献 : [1 ]　WU C, L IU D2R, YANG K2S. K2Support system: knowledge sup2 port for dissem inating and sharing task2relevant knowledge[A ]. Pro2 ceedings of the 2004 IEEE International Conference on Information Reuse and Integration[C ]. 2004. 332 - 337. [2 ]　A IDEMARK J. Cognitive, social and critical perspectives on p lan2 ning a knowledge support portfolio [A ]. Proceedings. 14 th Interna2 tionalWorkshop on Database and Expert System s App lications[C ]. 2003. 801 - 805. [3 ]　张若英 , 邱雪松 , 孟洛明. SLA的表示方法和应用 [J ]. 北京邮 电大学学报 , 2003, 26 (Sup) : 13 - 17. . [4 ]　唐晓梅. 成本对电信业务定价的影响 [ J ]. 通信企业管理 , 2003, (8) : 34 - 35. [5 ]　YU M, CU I YM, L I HC. Access Pricing of Network Essential Facilities for Chinese Railways[A ]. Proceedings of ICCT2003[C]. 2003. 139 - 144. [6 ]　ANAND S , PADMANABHUN I S , GANESH J . Perspectives on service oriented architecture[A ]. IEEE International Conference on Services Computing[C ]. 2005. 1. [7 ]　STAL M. U sing A rchitectural Patterns and B luep rints for Service2O2 riented A rchitecture[J ]. Software, IEEE, 2006, 23 (2) : 54 - 61. [8 ]　张晋豫 ,孟洛明 ,邱雪松. 基于 NGOSS的 IP QoS管理技术 [J ]. 电信科学 , 2004, 20 (4) : 29 - 31. [9 ]　CASSA IGNE N, SINGH MG. Intelligent decision support for the pricing of products and services in competitive consumer markets[J ]. IEEE Transac2 tions on Systems, Man and Cybernetics, Part C, 2001, (31)1: 96 - 106. [10 ]　KUSIAK A, HERAGU S. A Expert systems and optimization[J ]. IEEE Transactions on Software Engineering, 1989, (15)8: 1017 - 1020. [11 ]　SM ITH LS, HURSON AR. A search engine selection methodology. Information Technology: Coding and Computing [ Computers and Communications] [A ]. ITCC 2003 [C ]. 2003. 122 - 129. [12 ]　Q IAO H, PENG JG, XU Z2B, et a l. A reference model app roach to stability analysis of neural networks[J ]. IEEE Transactions on System s, Man and Cybernetics, Part B, 2003, 33 (6) 925 - 936. 507第 3期 李小鹏等 :一种改进的远程屏幕图像实时传输方法