面向人眼视觉的图像增强方法

面向人眼视觉的图像增强方法 刘 勋 1,2,3,4，吴 锦 1,2,3,4，郝颖明 2,3,4，朱 枫 2,3,4 (1. 中国科学院研究生院，北京 100049；2. 中国科学院沈阳自动化研究所，沈阳 110016； 3. 中国科学院光电信息处理重点实验室，沈阳 110016；4. 辽宁省图像理解与视觉计算重点实验室，沈阳 110016) 摘 要：结合人眼获取信息的方式，提出一种面向人眼视觉的图像增强方法。在保持图像原有信息的前提下，使图像中相邻区域间的灰度 差异最大限度地被人眼感知。根据图像区域间的邻接关系，设计一种灰度合并策略，用最少的灰度表示一幅图像，基于人眼临界可见偏差 (JND)特性建立一种灰度映射关系，通过灰度映射方式实现图像增强。实验结果表明，该方法的图像增强效果优于目前常用的图像增强 方法。 关键词：图像增强；Retinex 算法；直方图均衡化；图像信息；人眼视觉系统；临界可见偏差 Image Enhancement Method for Human Vision LIU Xun1,2,3,4, WU Jin1,2,3,4, HAO Ying-ming2,3,4, ZHU Feng2,3,4 (1. Graduate University of Chinese Academy of Sciences, Beijing 100049, China; 2. Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China; 3. Key Laboratory of Optical-electronics Information Processing, Chinese Academy of Sciences, Shenyang 110016, China; 4. The Key Lab of Image Understanding and Computer Vision, Liaoning Province, Shenyang 110016, China) 【Abstract】According to the way how human eyes obtain information, this paper proposes a new image enhancement method. It can ensure that the gray differences between adjacent regions are maximally perceived by human eyes under the premise of keeping information. In this method, based on the adjacency relation of image regions, a gray consolidation strategy is proposed to represent image using the least gray. Then according to the Just Noticeable Difference(JND) curve, it signs a gray mapping relation for maximum perception of human eyes to enhance image. Experimental results show that this algorithm is better than current image enhancement methods in evidence. 【Key words】image enhancement; Retinex algorithm; histogram equalization; image information; Human Visual System(HVS); Just Noticeable Difference(JND) DOI: 10.3969/j.issn.1000-3428.2012.02.078 计 算 机 工 程 Computer Engineering 第 38 卷 第 2 期 Vol.38 No.2 2012 年 1 月 January 2012 ·图形图像处理· 文章编号：1000—3428(2012)02—0234—03 文献标识码：A 中图分类号：TP391 1 概述 当图像在拍摄的过程中受到环境因素的干扰时，获得的 图像不够清晰，人眼难以看清图像中的全部信息，图像增强 是解决这一问题的有效手段之一。在现有的图像增强方法中， 直方图均衡化[1]是最常用的方法，以变换后图像的灰度分布 相对均匀为目标，通过灰度变换实现图像增强，由于只考虑 图像的灰度信息，相邻像素的灰度可能发生合并，造成图像 信息的丢失；线性拉伸的方法虽然不丢失图像的信息，但是 图像对比度的提高非常有限；Retinex 算法[2-3]假设人感知到 某点的光照并不取决于该点的绝对光照值，还和其周围的光 照值有关，该算法对雾霾等低对比度图像有良好的处理结果， 但是在图像明暗对比强烈处会产生“光晕现象”，造成图像原 有信息的改变；还有学者提出了利用人眼 MTF 传递函数指 导图像增强[4]和小波与人眼视觉特性相结合的方法[5]，主要 用来提高图像的边缘信息，然而图像信息不仅包含边缘，还 有纹理等其他特征。 人眼是通过相邻像素的灰度关系获取图像信息的，相邻 像素的灰度关系分为 2 种：相等和有差异。为了使人眼准确 地获得图像信息，增强后图像相邻像素间应保持相等关系， 同时增大有差异的像素间的差异，使其大到人眼可以分辨， 即在保持图像原有信息不变的前提下使图像中的差异最大限 度地被人眼分辨，以便使人眼从图像中感知的信息最大。 现有的增强算法还不能满足这一要求，本文提出了一种 新的图像增强方法。该方法通过把图像按照灰度值分割为一 系列区域，由区域间的最小相邻关系，实现灰度级的合并， 得到表示图像所需要的最少灰度级数量；再依据人眼临界可 见偏差(Just Noticeable Difference, JND)特性曲线，以人眼所 感知的灰度差异最大为目标，计算灰度与灰度间的映射关系， 进而得到增强图像。 2 算法原理 如图 1 所示，人眼对中心区域 H 的可感知程度由与之差 异最小的相邻区域 A 决定，一旦 H 与 A 能分辨，H 和相邻 的其他区域也必然可以分辨。 相邻区域A (灰度25) 相邻区域B (灰度50) 相邻区域C (灰度0) 相邻区域D (灰度75) 中心区域H (灰度20) 图 1 图像的区域关系 作者简介：刘 勋(1986－)，男，硕士研究生，主研方向：计算机视 觉，数字图像处理；吴 锦，硕士研究生；郝颖明，研究员；朱 枫， 研究员、博士生导师 收稿日期：2011-07-12 E-mail：lxchina2010@hotmail.com 第 38 卷 第 2 期 235 刘 勋，吴 锦，郝颖明，等：面向人眼视觉的图像增强方法 图像在无有效先验知识的情况下，以灰度相同并连通作 为区域分割原则分割为一系列区域，区域内部相邻像素相 等，区域间相交边界处相邻像素不同，图像的信息蕴含在这 些区域中，区域的可感知程度对应于图像信息的可感知程度。 人眼获得该区域正确信息的条件为人眼可以分辨与其相邻区 域的灰度差异，特别是与其差别最小的相邻区域。 基于以上 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 ，本文的基本思路为在相邻区域保序和全 局不倒序的条件下使人眼对相邻区域最小灰度差异的可感知 程度最大。这可以通过 3 个 步骤 新产品开发流程的步骤课题研究的五个步骤成本核算步骤微型课题研究步骤数控铣床操作步骤 来实现(见图 2)：(1)对图像 进行分割，得到不同的灰度区域；(2)通过建立各区域间的相 邻关系实现图像灰度的合并，得到表示图像的最少灰度数量 和新旧灰度之间的对应关系，即图像的灰度表示；(3)在最少 灰度与对应的各灰度值间建立映射关系，并依据该映射关系 和图像的灰度表示，通过灰度映射实现对原始图像的增强。 图 2 本文方法 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 在 3 个实现步骤中，对于区域分割，实现时采用分水岭 算法。另外 2 个步骤是本文的重点。 3 关键步骤 3.1 灰度合并 图像的灰度合并以区域分割得到的一系列具有相邻关系 的标注区域为输入，以图像的灰度表示(即表示图像所需的灰 度数量和原有灰度与新灰度的对应关系)为输出。 图像灰度合并的实现过程如下： (1)建立灰度最小相邻关系表 对图像的任意一个灰度值 iGray ，以这个灰度值对应的区 域为中心区域，找到其相邻区域，不失一般性，仅考虑相邻 区域中灰度值大于它的区域组成 1 2( , , , )GrayiNΩ Ω ΩL ，求取其对 应的最小相邻灰度 ( )ig Gray ，组成灰度最小相邻关系表： 1 2( ) min( , , , )Grayii Ng Gray Ω Ω Ω= L (1) (2)灰度合并，获得图像灰度表示 灰度按从小到大进行排序，根据灰度最小相邻关系表， 依次比较前一个灰度和后一个灰度的关系，直到图像的最后 一个灰度，如前一个灰度的最小相邻灰度指向后一个灰度， 则把该灰度作为最终的输出灰度；否则将此相邻的 2 个灰度 归并为同一灰度，取它们最小相邻灰度中较小的作为该灰度 的最小相邻灰度。经处理，新灰度的前一个灰度的最小相邻 灰度指向后一个灰度。图 3 给出灰度合并过程的一个例子。 图 3 灰度合并过程 在图 3 中，灰度 g1 对应的最小相邻灰度为 g3，不指向 g2，因此，g1 与 g2 合并为同一灰度 J1，并把 g1 对应的最小相 邻灰度 g3 作为 J1 的最小相邻灰度，因为 J1 的最小相邻灰度 指向 g3，所以灰度 J1 作为最终的输出灰度 r1，依次得到其他 输出灰度，并且 r1 的最小相邻灰度为 r2，r2 最小相邻灰度为 r3，其他类似。 3.2 灰度映射 在图像的灰度合并中已经得到表示图像所需的最小灰度 数量和原有灰度与新灰度的对应关系。灰度映射即调节相邻 灰度的大小使得人眼对相邻区域灰度差异的感知程度最大。 表示如下： 1 JND 1 hvs 2 2 21 1 2 1 ( , )max n i i i i n w f Gray GrayInf w w w − + = − = ∑ + + +L (2) 其中， hvsInf 为人眼从图像感知的信息总量； n 为表示图像所 需的最少灰度数量； iGray 和 1iGray + 为经灰度合并后的 2 个 相邻灰度； JND 1( , )i if Gray Gray + 为人眼对相邻灰度差异的感知 程度； iw 为相邻灰度感知程度的权重，受到多种复杂因素的 影响，为了分析的方便统一设为 1。 人眼对相邻灰度差异的感知程度可以依据人眼 JND(临 界可见偏差)曲线得到。JND[6]最早是由 Jayant 提出，是反映 人眼视觉辨别力的重要参数，它揭示了人眼在不同亮度背景 下对亮度偏差的感知规律，如图 4 所示。 图 4 人眼 JND 特性曲线 根据 JND 曲线，可以得到人眼对相邻区域可感知程度的 定量表示，其精确的表示需要借助人眼视觉生理学与视觉心 理学的研究成果，通过大量实验的反复验证才能得到。暂时 定义了一种合乎常规又比较简单的定量表示方法：当中心区 域与邻接区域的灰度差小于 JND 值时，感知函数按照线性变 换，当大于 JND 值时，函数单调递增，梯度递减，如图 5 所 示，函数具体如下： JND 0.693 1 / JND( ) if 1 2 JND( ) JND( )( , ) 1 e elsei j i i j i j i ii j Gray Gray Gray Gray Gray Gray Gray Gray Grayf Gray Gray − × − ⎧ − −⎪ <⎪ ×= ⎨⎪ −⎪⎩ (3) 灰度 A 的可 感知 程度 图 5 人眼对某一灰度 A 的感知函数 236 计 算 机 工 程 2012 年 1 月 20 日 在没有特定任务需求和先验的条件下，图像增强不能以 减少某一部分信息的感知程度为代价而获取另一部分信息的 增强，各相邻灰度的感知程度具有一致性。满足下式： JND 1 JND 1( , ) ( , )i i i if Gray Gray f Gray Gray+ −= (4) 结合人眼 JND 特性的灰度映射是以式(2)为目标、式(4) 为约束条件得到的一种映射关系，通过最优化方法中的共轭 梯度法实现。 3.3 实验结果与分析 对本文算法进行了大量实验，并同常用的直方图均衡化 和 Retinex 算法进行了比较。实验结果表明，本文算法在保 持图像细节、对比度提高和人眼观察自然程度方面均优于其 他 2 种算法。 由于篇幅限制，本文仅给出一组实验结果。图 6 给出了 一幅 582×752 像素的 8 bit 灰度图像的处理结果，其中图 6(a) 为原始图像，其对比度非常低，图像中的很多信息人眼不能 分辨；图 6(b)为直方图均衡化处理的结果，图像对比度得到 大幅度提高，但是存在信息丢失和噪声放大的问题，如墙面 的纹理特征已经丢失，远处的天空出现明显的噪声；图 6(c) 为 Retinex 算法处理的结果，图像的细节得以彰显，但是图 像整体给人一种灰蒙蒙的感觉，并且产生一定的发光效应， 如烟囱；图 6(d)为本文算法处理的结果，图像的对比度得到 大幅度提高，墙面的纹理得以保持，细节得以彰显，在视觉 上看起来更自然。图像中包含 3 种边界信息，即区域内部无 差别的边界、反映区域间差异程度的有差别但是人眼不可分 辨的边界，以及有差别人眼可分辨的边界，表 1 描述的是原 图中这 3 种边界经处理后的一个变化情况，从定量的角度反 映了算法的特点。图像经直方图均衡化处理，24 294 条原图 人眼可分辨的边变得没差别了，信息出现丢失；图像经 Retinex 算法处理后，224 820 条原图无差别的边变得有差别 并被人眼分辨，信息发生改变；图像经本文算法处理后， 492 057 条原图无差别边和 168 211 条原图人眼可分辨的边保 持不变，213 726 条原图人眼不可分辨的边变得都可以分辨， 获得了最大意义下的增强。 (a)原始图像 (b)直方图均衡化 (c)Retinex 算法 (d)本文算法 图 6 算法处理结果 表 1 不同算法实验结果的比较 图像类别 原图无差别边 原图有差别人眼不可分辨的边 原图人眼可分辨的边 无差别边 不可分辩边 可分辩边 无差别边 不可分辩边 可分辩边 无差别边 不可分辩边 可分辩边 原图 492 057 0 0 0 213 726 0 0 0 168 211 直方图均衡化结果 492 057 0 0 5 282 9 136 199 308 24 294 382 143 535 Retinex算法结果 233 725 33 512 224 820 1 928 824 210 974 4 851 693 162 667 本文算法结果 492 057 0 0 0 0 213 726 0 0 168 211 4 结束语 本文结合面向人眼视觉的特点和图像本身特性，提出一 种新的图像增强方法，该方法能提高人眼对图像信息的可感 知程度，具有良好的适用性。相比于传统算法，该算法具有 如下特点：不丢失和改变图像信息，人眼从图像获得的信息 最多。该方法目前仅取得了初步成果，还有很多方面有待深 化研究。 进一步的工作包括：结合人眼视觉生理学与视觉心理学 的最新成果，得到人眼对相邻区域可感知程度更为精确的定 量表示方法；确定影响相邻灰阶感知程度权重的因子，并得 到相应的定量表示方法。 参考文献 [1] 武 英. 基于双直方图均衡的自适应图像增强算法[J]. 计算机 工程, 2011, 37(4): 244-245. [2] Land E H. The Retinex Theory of Color Vision[J]. Scientific American, 1977, 237(6): 108-128. [3] Barnard K, Funt B. Investigations into Multi-scale Retinex[M]. [S. l.]: John Wiley & Sons, 1999. [4] 黄凯奇, 王 桥, 吴镇扬, 等. 基于人眼视觉特性的多尺度彩 色图像增强算法[J]. 中国图象图形学报 , 2003, 8(11): 1242- 1246. [5] 吴颖谦, 方 涛, 李聪亮, 等. 一种基于小波分析和人眼视觉 特性的图像增强方法[J]. 数据采集与处理, 2003, 18(1): 17-21. [6] Jayant N. Signal Compression: Technique Targets and Research Directions[J]. IEEE Select Areas Commun., 1992, 10（5）: 796-818. 编辑 任吉慧