一种基于阈值的AVC自适应帧内编码算法

第32卷 第4期 2006年 7月 自 动 化 学 报 ACTA AUTOMATICA SINICA Vol. 32, No. 4 July, 2006 一种基于自适应闭值的H.264/AVC帧内预 测模式快速选择算法‘， 滕国伟‘王国中‘张兆扬“石旭利，余松煌“ 工(上海广电(集团)有限公司中央研究院 上海 2(上海大学通信学院 上海 200072 ) “(上海交通大学图象通信与信息处理研究所 上海 (E-mail: teng_gw@sva.com.cn) 200233) 200030) 摘 要 在H.264/AVC中，帧内编码采用帧内预测来提高编码效率.色度块尺寸为8x8，亮 度块包括4x4和16x16两种尺寸，每种块提供多种预测模式，因此这种多模式选择极大地增 加了编码复杂性 本文利用色度块和亮度块以及亮度4x4和16x 16块模式选择之间的相关 性，提出一种基于RDO(Rate distortion optimization)不同判决依据的快速帧内预测模式选 择算法，并能够自适应调整阂值.实验结果表明与校验模型JM7.2相比在信噪比和码率变化 不大的同时，能够使 I帧编码速度平均提高6倍，并可节约P帧25%的编码时间. 关键词 H.264/AVC,帧内预测，模式选择 中图分类号 TN919.81 A Fast Intra-prediction Mode Selection Algorithm of H.264/AVC Based on Adaptive Thresholds TENG Guo-Weir WANG Guo-Zhongl ZHANG Zhao-Yang2 SHI Xu-Li2 YU Song-Yu3 '(Central Research Academy, SVA (Croup) Co. Ltd, Shanghai 200233) 2 (School of Communication and Information Engineering, Shanghai University, Shanghai 200072) '(Institute of Image Communication and Information Processing, Shanghai Jiaotong University, Shanghai 200030) (E-mail: teng_gw0sva.com.cn) Abstract In H.264/AVC, intra-prediction is used to improve the coding efficiency of I- frames. The size for the chroma block is 8x8, and the sizes for the luma block are 4x4 and 16x16. Each kind of block provides many prediction modes, so that this multi-mode selection increases the coding complexity greatly while improving coding efficiency. In this paper, a fast intra-prediction mode selection algorithm with adaptive thresholds and different criterion based on RDO (Rate Distortion Optimization) is proposed using the mode selection relation of chroma block and luma block and the relation of luma 4 x 4 block and luma 16 x 16 block. Experiment results show that the proposed algorithm can averagely speed up 6 times for I frame coding or provide 25% time savings for P frames in comparison with JM7.2 while maintaining similar PSNR and bit rate. Key words H.264/AVC, intra-prediction, mode selection 1)国家自然科学基金重点项目(60332030)和国家技术创新基金(OIBK-272)资助 Supported by National Natural Science Foundation of P. R. China (60332030), National Foundation for Techno- logy (01BK-272) 收稿日期2004-2-24 收修改稿日期2006-2-23 Received February 24, 2004; in revised form February 23, 2006 4期 滕国伟等:一种基于自适应闹值的H.264/AVC帧内预测模式快速选择算法 527 1 引言 H.264/AVC作为新一代的国际视频编码标准已得到越来越多的关注.2003年3月， 通过了最终的H.264/AVC视频编码标准草案，与MPEG-2, H.263和MPEG-4相比，其总 体结构仍为基于块的混合编码，但包含许多新特征:VCL层和NAL层分离、帧内预测、 1/4像素精度运动估计、自适应块尺寸运动补偿、多参考帧运动补偿预测、低复杂16bit的 整数变换和量化、环内去块滤波器和高效的嫡编码等.这些新特征使H.264/AVC能够显 著提高编码效率且具有网络友好性，可有效用于各种网络和应用环境[[l).但也极大增加了 编码算法的复杂性，文献[[2]比较了JVT与MPEG-4的运算复杂性，在相比MPEG-4提 高约50%压缩效率的同时，增加了十几倍运算复杂性.这使之很难实时应用，因此研究 H.264/AVC的决速算法已经成为当前的热点· 本文在深入分析H.264/AVC校验模型给出的帧内模式选择算法的基础上，充分利用 色度和亮度块模式选择间的相关性以及亮度宏块和4x4块之间模式选择与出现概率的关 系，提出了一种基于RDO的不同判决依据的快速帧内模式选择算法，可使帧内编码速度 提高数倍.在以下内容中，节2介绍H.264/AVC的帧内预测编码基本 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 及校验模型中 的模式选择;节3提出快速帧内模式选择算法;节4给出了两种自适应阑值方法;节5和 6分别是实验结果和结论. 2 H.264/AVC帧内预测编码的模式选择 为了提高帧内编码的效率，H.264/AVC采用帧内预测技术.宏块尺寸依然是16x16，然 而基本处理块单元相对于其它标准由8x8降为4x4.因此亮度宏块支持两种帧内预测块尺 寸:4x4(I4)和16x 16(I16)，而色度仅支持8x8(I8).图1给出了4x4块的帧内预测示意图， 包括9种预测模式，除了图1(b)所示的0-1和3-8八种方向预测模式外，2为直流模式.图 1(a)中a-p的值可用相邻块的A-Q来预测.例如对于图1(b)中的垂直方向模式。而言， 图1(a)中的像素a, e,i,m值可用A点的值预测.但亮度16x16和色度8x8仅支持4种预 测模式:垂直(V)、水平(H)、直流(D)和平坦模式(P)，下文中分别简称为V, H, D和P 模式. Q A B一 C b c D E F G H ? ? ? LI m n o p 81675_40 (a) 4x4块及邻近点分布 (a) 4x4 block and its neighboring pixels (b) 4x4块帧内预测方向 (b) 4x4 block directional intrarprediction mode 图1 4x4块帧内预测 Fig. 1 4x4 block intra-prediction 为了能够保证在获得尽可能好的编码质量的同时将编码后的数据比特降至最小 H.264/AVC采用如式((1)所示的RDO判决[3] JMO。二(Sk, Ik I Q, AMO。二)=DREC (Sk, Ik IQ)+AMODERREC(Sk, IkI Q) (1) 528 自 动 化 学 报 32卷 式中，DREC表示编码后总的失真，RREC表示总的码率.AMODE i 0为拉格朗日参数， 通过确定编码选择项Ik，使编码后的失真和码率总和最小.对于宏块帧内预测模式选择， Ik为帧内预测模式的一种，DREC由式(2)给出的SSD(Sum of squared difference)来衡量 SSD一艺 !S(x, y)一81 (x, y)12 (2) (二，y)EA 式中，s为原始块像素，Si为重建块像素.而拉格朗日参数由量化参数QP决定 AMO。二一0.85.2(Qp-12)/3 (3) 包括宏块类型、子块帧内预测模式(14情况下)和残差的编码比特.为提高模式选择的编 码效率，4x4块在编码时参考空间相邻块的编码模式，如图2所示.通过已编码邻块A, B 的模式可以推断当前块E的最可能模式，如果E的实际模式与可能模式一致，则仅需一 比特确认，如不一致，再对它的实际模式进行编码. 图2当前块的邻块位置 Fig. 2 Adjacent blocks of current block 校验模型JM7.2给出了一种全搜索的算法，对所有模式进行检测，主要步骤如下: 1)以色度宏块的帧内预测模式为外循环(D到P模式).每一次循环，色度模式被确 定. 2)计算116的JMODE a)比较116四种模式的残差变换绝对值之和(SATD)，得到最佳模式. b)在最佳模式下对宏块残差进行变换、扫描，量化，得到重建宏块. c)由步骤1)确定的色度模式，对色度残差变换，得到重建色度宏块. d)计算亮度和色度的SSD. e)嫡编码得到RREC，计算JMODE=SSD+AMODE*RREC 3)计算14的JMODE a)根据相邻块模式得到一个4x4块最有可能的模式. b)针对一种模式，求得该4x4块的重建块. c)计算该块的SSD，并根据最有可能模式进行嫡编码得到该块的RREC，计算该块 的而ODE- d)对应4x4块的九种模式重复a)-c)，得到该块的最佳模式. e)依次对宏块中16个4x4块重复上述操作，得到整个宏块的所有最佳模式. f)计算整个宏块的亮度和色度SSD，根据a)-e)得到的信息求宏块的RREC，计算宏 块，JMODE- 4)比较步骤2)和3)分别得到JMODE值，确定最终的宏块模式. 5)对应4种色度模式重复步骤2卜4)，得到最佳亮度和色度模式. 这种全搜索算法能够扫描到所有的模式，编码质量最高，运算量也是最大的.其搜索 的模式总数为4x (16x9+4)，共592个.这意味着为了得到一个宏块的最佳模式，需要计 算592个不同的JMODE，因此研究快速的帧内模式选择算法是提高编码速度所必需的. 4期 滕国伟等:一种基于自适应闽值的H.264/AVC帧内预测模式快速选择算法 529 下一节通过分析色度和亮度之间模式选择的关系、亮度14和116模式选择的关系，由 相邻块的相关性联合确定整个宏块的模式判决，使搜索范围实质上涵盖了全搜索，在不降 低编码质量的同时，可成倍提高帧内预测编码的速度. 3 基于RDO的快速模式选择算法 3.1 色度块和亮度块的关系 从上述的全搜索算法及其实验结果可以观察到，亮度宏块无论选择116还是14，色度 宏块模式都是一致的.因此色度预测模式可以独立判决，并能够为亮度宏块模式判决提供 信息.对于亮度116和色度18，尽管二者模式选择不能达到完全一致，但存在着联系:当 色度块选择D模式，亮度可以选择D, H, V, P模式;当色度块选择H模式，亮度可以选 择D,H,P模式;当色度块选择V模式，亮度可以选择D,V,P模式;当色度块选择P模 式，亮度可以选择D, P模式.而对于亮度14和色度18,18的模式是亮度宏块14下绝大多 数4x4块可能选择的模式. 3.2 亮度宏块116和14的关系 对于116和14, V, H, D模式相对于其它模式具有优先选择性.14情况下，通过相邻块 的模式可以判决得到当前块的最优先选择模式，其中与预测方向邻近的模式具有优先性. 在实际的实现过程中，选择14的概率远远大于116，因此在判决过程上优先检测14.但由 于116和14随宏块纹理复杂度的RDO曲线(如图3所示)是不同的，在模式选择时还应考 虑宏块的纹理复杂度. 人-de 几一一一一一-一一爷 T1 宏块复杂度 图3 116和14的率失真变化 Fig. 3 RDO changes of 4 x 4 and 16 x 16 intra-prediction 从图3可知，在纹理平坦区域，116生成的重建图像能更好地与原始图像相匹配，故 率失真较小，选择116概率大于14;但随着纹理复杂度的逐渐增加，116在细节内容上率失 真逐渐增加，到某个阐值T1时大于14的率失真，这时14更适合宏块编码模式选择. 在确定的16个4x4块最佳模式中，概率最大的两种模式很可能与116的最佳模式一 致.因此可以和色度模式一起检验，最终确定116最佳模式. 3.3 RDO判决准则 帧内预测模式判决准则应该遵守公式(1)，为了减少运算的复杂性，可根据具体情况作 相应的简化.在本算法中，色度模式选择不依赖亮度的模式选择，且其RREC只包含色度 模式和色度残差两部分，因此采用SATD就可以反映不同模式间JMODE的差别.在亮度 14的4x4块的JMODE中，RREC包括块模式和残差的嫡编码，因为4x4块尺寸较小，其 块模式编码的比特数和不同模式间的残差编码比特数的差异会导致JMODE的变化很大， 故选择而ODE作为14的模式判决依据.且4x4块的的分布比较集中，可在分布范围中定 义一个闽值T044.如果在某一模式下其JMODE小于TO，可认为达到最佳模式，对于116, 530 自 动 化 学 报 32卷 RREC主要包括宏块模式和残差的嫡编码，故SATD能够反映JMODE的变化，以其作为 模式选择的依据. 如2.2所述，对亮度14的检测应优先于116，因此当14情况下所有4x4块的模式确定 后，比较重建宏块和原始宏块并计算整个宏块的复杂度，若大于图3所示的阐值Tl，则不 必再进一步检测116.否则需进一步计算116的JMODE，并与14的JMODE比较，最终确定 宏块的最佳模式. 3.4 快速选择算法 根据上述的各种关系，得到帧内预测模式的快速选择算法，步骤如下: 1)以SAM 为判决依据，确定色度宏块帧内的最佳模式. 2)进行14帧内预测，首先根据相邻块的模式确定可能模式，将之和色度块的最佳模 式相比较，确定最有可能块模式.计算最可能模式的JMODE，与阐值TO比较，如果小于 TO，即可确认为最佳模式，跳转到7)，否则跳转到3). 3)计算另一模式(上面被排除的模式)的JMODE，与2)计算的JMODE比较，得到最 小JMODE值的模式.与TO比较，如果小于TO，确认为最佳模式，跳转到7). 4)选择最小而ODE的模式作为候选模式，计算与其预测方向相邻的两个模式的 而ODE，比较这三种模式的而ODE，如果邻近模式的而OD二值都大于候选模式的而ODE, 跳转7).否则到5). 5)如果最小而ODE的模式是V, H或D，计算这三种模式在上述过程未曾计算的 JMODE，比较得到最小JMODE的模式，跳转到7);如果是其它模式，跳转到6). 6)计算其它剩余模式，得到最小JMODE模式，跳转到7). 7)该最小JMODE模式为该块的最佳模式. 8)循环步骤2)-7)，得到16个4x4块的最佳模式.计算宏块复杂度，如果大于阂值T1, 则该宏块为14，结束判决.否则计算14情况下整个宏块的JMODE，跳转到9). 9)根据色度的最佳模式，确定116的可能模式. 10)统计14情况下16个子块的模式，得到概率最大的两种模式，如果属于V, H或D, 它们是宏块的可能模式;如果为其它模式，则对应于116的P模式. 11)比较上述确定的工16可能模式，得到116最佳模式，计算其而ODE.与14情况下 的宏块最小JMODE比较，得到最佳块尺寸和其对应的最佳预测模式. 由上述的算法可知，通常情况下需要检测的色度模式为4种，亮度116最少2种或最 多4种，亮度14的每个4x4块最少1种或最多9种，几乎涵盖了所有的模式.但总体检 测的模式数极大地降低. H.264/AVC的帧间编码宏块也可采用帧内预测编码，上述方法同样适用，只是略作改 动即可:在步骤2)的14帧内预测中，当该4x4块的邻块模式为帧内编码模式时，则不必 考虑直接使用即可;如果邻块为帧间模式，则可默认其帧内预测模式为直流模式(D). 4 自适应闽值计算方法 4.1 闽值TO 在帧内预测后，残差矩阵还需要经过变换、量化和嫡编码.如果能预先判知量化系数 接近于0，则可提前终止这些后续处理.根据统计特性，如果残差矩阵变换后的DC系数趋 于。，则其它AC系数也趋于。当前4x4块的DC系数可由下式计算得到 DC一艺 x=0 3 艺(s(x,，)一，(x,。)) y=0 (4) 4期 滕国伟等:一种基于自适应阂值的H.264/AVC帧内预测模式快速选择算法 531 其中，s是当前4x4块的原始像素值，p是预测的参考像素值. 在H.264/AVC中，如果变换系数经过量化后，其量化值绝对值小于1时，则该残差矩 阵可视为。矩阵[4].因此可根据下述不等式来判断当前残差矩阵是否趋近于。矩阵: JDCJ<(2q-bit，一gp_const)/quant_coe f [gp_rem] [0] [0] (5) 其中:gp_per = QP/6, qp一二二二QP%6, gp_bits二qp一二+15, gp_const二(1 + q_bits)/ 6. 对于每个4x4块，其SAD(Sum of Absolute Difference)可由公式(6)来计算. SAD一艺 x=0 3 艺I s(x, y)一，(X, Y) 絮=O (6) 很明显下面不等式成立 3 3 3 3 1艺艺(S(二，，)一，(x, Y))i艺艺18(x,，)一，(‘，Y)i x=oY=o x=oY=a 即DCJ < SAD.则如果式(7)成立，则满足0矩阵的判断. SAD<(2q_bit‘一gp_const)/quant_coe f [gp_rem] [0] [0] (7) 本文算法中闽值TO由4x4块的RDO来确定，如公式(8)所示.其中mode表示所选 的预测模式，R包括模式类型和残差的嫡编码. Jmode (mode)=SSD+AmodeR (8) 3 3 而SSD一艺艺Is(二，。)一x, (x, Y)I" X, [X,、}是将预测后残差经过变换、量化、反量化、反 x=oy-o 变换后与参考块的值相加后得到，故下面不等式成立 Is(x,，)一s (x,Y)I 5 Is(二，，)一p(X, Y) I 因此 3 3 SSD((艺E Is(x,，)一，(x, Y) I')<(艺艺Is(二，，)一，(XI Y) I)2 x=ov=o 2=o y=o 即SSD