第5章 图像复原

null第5章 图像复原5.1 图像复原的基本概念 5.2 图像退化模型 5.3 图像复原的方法 5.4 运动模糊图像的复原 5.5 图像的几何校正 第5章 图像复原5.1 图像复原的基本概念5.1 图像复原的基本概念 什么是图像退化? 图像的质量下降叫做退化。退化的形式有模糊、失真、有噪声等 图像退化的原因 无论是由光学、光电或电子方法获得的图像都会有不同程度的退化；退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等； 如果我们对退化的类型、机制和过程都十分清楚，那么就可以利用其反过程来复原图像。null a) 被正弦噪声干扰的图像 b) 滤波效果图 用巴特沃思带阻滤波器复原受正弦噪声干扰的图像5.1 图像复原的基本概念null a)受大气湍流的严重影响的图像 b)用维纳滤波器恢复出来的图像 维纳滤波器应用5.1 图像复原的基本概念5.1 图像复原的基本概念5.1 图像复原的基本概念图像复原 将降质了的图像恢复成原来的图像，针对引起图像退化的原因，以及降质过程某先验知识，建立退化模型，再针对降质过程采取相反的方法，恢复图像 一般地讲，复原的好坏应有一个规定的客观标准，以能对复原的结果作出某种最佳的估计。 5.1 图像复原的基本概念5.1 图像复原的基本概念图像还原与增强的区别 1．图像退化原因决定还原方法 2．评价标准不同： a）突出感兴趣的那部分——主观评估 b）利用退化的逆过程恢复原始图像， 客观评估： 接近原图像null 无约束恢复 技术 有约束恢复 自动方法 图像恢复 策略 交互方法 根据是否需要外来干预 空域 处理域 频域 图像一般模型：线性移不变系统 标准：非线性恢复、线性恢复5.1 图像复原的基本概念5.2 图像退化模型5.2 图像退化模型降质过程可看作对原图像f (x,y)作线性算。 g(x,y) ＝ H · f (x,y)+n(x,y) 降质后 降质模型 噪声5.2 图像退化模型以后讨论中对降质模型H作以下假设：  H是线性的  H是空间（或移位）不变的 对任一个f(x,y)和任一个常数α 和β都有： H f(x-α,y-β) = g(x-α,y-β) 就是说图像上任一点的运算结果只取决于该点的输入值，而与坐标位置无关。5.2 图像退化模型nullf(i, j)：原始图像 g(i,,j)：降质图像 H(·)： 成像系统的作用，则：由于 函数 excel方差函数excelsd函数已知函数     2 f x m x mx m      2 1 4 2拉格朗日函数pdf函数公式下载 的筛选性质（一幅图像可以看作是由一系列冲激函数组成的）5.2 图像退化模型null5.2 图像退化模型null其中*表示卷积运算。如果H(·)是一个可分离系统，即则二维运算可以分解为列和行两次一维运算来代替5.2 图像退化模型null5.2 图像退化模型在加性噪声情况下，图像退化模型可以表示为 其中n(x,y)为噪声图像5.2 图像退化模型5.2 图像退化模型线性位移不变的图像退化模型则表示为：5.2 图像退化模型5.2 图像退化模型重要结论 一个线性系统完全可以由它的点扩散函数h(x,α,y,β) 来表征。若系统的PSF已知，则系统在（x，y）点的输出响应可看成是不同坐标 处输入函数 所产生的脉冲响应在（x，y）处的叠加 而在实际降质过程中，降质的另一个复杂因素是随机噪声，考虑有噪声的图像恢复，必需知道噪声统计特性以及噪声和图像信号的相关情况，这是非常复杂的 null实际中假设是白噪声——频谱密度为常数，且与图像不相关，（一般只要噪声带宽比图像带宽大得多时，此假设成立的），由此得出图像退化模型。 5.2 图像退化模型null 讨论的前提是假设H是线性的，下面一些恢复方法都是对上述模型的近似估计。 两边进行付氏变换： 讨论恢复问题： 若略去噪音N，得： 反变换,可求 F→f 5.2 图像退化模型null 若H有零点，G也有零点出现，0/0的不定值，这样模型不保证所有逆过程都有解 由于引起退化的因素众多，而且性质不同，目前又没有统一的恢复方法，许多人根据不同的物理模型，采用不同的退化模型、处理技巧和估计准则，从而导出了多种恢复方法 有效方法：针对特定条件，用特定模型处理5.2 图像退化模型5.2.2 离散的退化模型5.2.2 离散的退化模型对于图像降质过程进行数学建模f(i, j)：原始图像 y(i, j)：降质图像 h(i, j; k, l)：点扩散函数 图像为M×N维假设为空间移不变h(i, j; k, l)，则：5.3 图像复原的方法5.3 图像复原的方法寻找滤波传递函数，通过频域图像滤波得到复原图像的傅立叶变换，再求反变换，得到复原图像 非约束还原 有约束还原 非线性约束还原5.3.1 反向滤波法退化模型： 逆过程：复原图像：当H(u,v)为0或很小时， ，原点附近： 图像完全被噪声淹没，造成噪声放大 5.3.1 反向滤波法病态null解决方法 去除原点、 设置原点值原点、邻域均不计算5.3.1 反向滤波法5.3.2 约束还原法5.3.2 约束还原法维纳滤波 维纳滤波恢复正是在假定图像信号可近似看作平稳随机过程的前提下，按照使原图像f (x,y)与恢复后的图像 之间的均方误差e2达到最小的准则，来实现图像恢复。即： 满足这一要求的转移函数为： null5.3.2 约束还原法 现象 1）H(u,v)=0，无病态现象，分母不为0 2）SNR高时，同反向滤波法 3）SNR低时，效果不满意 原因 维纳滤波是基于平稳随机过程模型，且假设退化模型为线性空间不变系统的原因，这与实际情况存在一定差距。另外，最小均方误差准则与人的视觉准则不一定匹配null最大平滑复原 准则：以函数平滑为基础 1）使函数的二阶导数为最小。二阶导数是突出图像边缘、轮廓约束条件： 约束最小二乘需反复迭代才能完成5.3.2 约束还原法null2）用内积来考察函数f 的平滑性 5.3.2 约束还原法5.4 运动模糊图像的复原5.4 运动模糊图像的复原退化的原因为已知 对退化过程有先验知识，如希望能确定PSF和噪声特性 即确定： h(x,y)与n(x,y) g(x,y)=H · f (x,y)+n(x,y)null1．根据导致模糊的物理过程（先验知识） 1）大气湍流造成的传递函数 PSF5.4.1 模糊模型c：与湍流性质有关的常数null2）光学系统散焦传递函数 当光学系统散焦时，点光源的像将成圆盘。从公式可看出，散焦系统的传递函数在以原点为中心，d为半径处存在零点，形成一些同心的暗环，由散焦图像的频谱上估计出这些同心圆的半径，可得到H（u,v）5.4.1 模糊模型null均匀聚焦不准——模糊 相机聚焦不准确引起，（不聚焦由许多参数决定：如相机的焦距、相机孔的大小、形状、物体和相机之间的距离等）在研究中为了简单起见，用下列函数表示聚焦不准引起的模糊：5.4.1 模糊模型null模糊后图像任意点的值 ：特点：图像的频谱在垂直于该方向上存在暗直线，可估出 的大小，运动方向 也可由图像的频谱估计出来已知：设相机不动，对象运动，运动分量x,y分别为x0(t)，y0(t)相机快 门速度是理想的，快门开启时间（曝光时间）T。 3）匀速直线运动模糊下的PSF 相机与景物之间相对运动造成图像降质， H(u,v) ——运动模糊：5.4.1 模糊模型null2．由图像中的点或线估计（后验知识） 1）原始景物中有一清晰的点或点光源。由所成的像得到退化系统的PSF 2）原始景物中确定一条线，成像，由直线产生模糊，根据模糊可以测定在于边缘垂直方向上的PSF断面曲线，得出一维PSF，如果PSF对称，旋转一维PSF得到二维PSF5.4.1 模糊模型null3．由功率谱估计PSF4．噪声n(x,y)的确定 相关、不相关两类。一般假设： 白色噪声，与图像无关。其频谱密度为常数。只要噪声带宽远大于图像带宽即可作白噪声处理从退化图像大块平坦区中估计，一般不具备噪声先验知识。不同方法要不同特征参数——方差，频谱5.4.1 模糊模型null5.4.2 水平匀速直线运动引起模糊的复原如果模糊图像是由景物在x方向上作均匀直线运动造成的，则模糊后图像任意点的值为 去除由x方向上均匀运动造成的图像模糊后恢复图像的表达式 nulla) 原始图像 b) 模糊图像 c) 复原图像 运动模糊图像的恢复处理5.4.2 水平匀速直线运动引起模糊的复原5.5 图像的几何校正5.5 图像的几何校正5.5.1 几何畸变的描述 5.5.2 几何校正5.5 图像的几何校正5.5 图像的几何校正例： 从太空中宇航器拍摄的地球上的等距平行线，图像会变为歪斜或不等距；用光学和电子扫描仪摄取的图像常会有桶形畸变和枕形畸变；用普通的光学摄影与测试雷达拍摄的同一地区的景物二者在几何形状上有较大的差异。 以一副图像为基准，去校正另一种方式摄入的图像，以校正其几何畸变，就叫做图像的几何畸变复原或者几何畸变校正。5.5 图像的几何校正几何校正就是一种几何变换，是图像的几何畸变的反运算，与几何变换类似，几何校正是由输出图像像素坐标反算输入图像坐标，然后通过灰度再采样求出输出像素灰度值。 图像几何校正的两个步骤 (1)空间变换：对图像平面上的像素进行重新排列以 恢复原空间关系 (2)灰度插值：对空间变换后的像素赋予相应的灰度 值以恢复原位置的灰度值5.5 图像的几何校正5.5.1 几何畸变的描述5.5.1 几何畸变的描述几何基准图像的坐标系统用(x, y)来表示 需要校正的图像的坐标系统用(x’, y’)表示设两个图像坐标系统之间的关系用解析式表示通常h1(x,y)和h2(x,y)用多项式来表示：5.5.2 几何校正通常用线性畸变来近似较小的几何畸变 更精确一些可以用二次型来近似 若基准图像为f(x,y)，畸变图像为g(x’,y’)，对于景物上的同一个点，假定其灰度不变，则5.5.2 几何校正5.5.2 几何校正5.5.2 几何校正几何变换 通常用已知的多对对应点来确定系数a, b 线性畸变 可由基准图找出三个点(x1, y1), (x2, y2), (x3, y3)与畸变图像上三 个点(x'1, y'1), (x'2, y'2), (x'3, y'3)一一对应。5.5.2 几何校正5.5.2 几何校正将对应点代入，有： 解联立方程组，得出6个系数。null二次畸变有12个未知量，需要6对已知对应点5.5.2 几何校正5.5.2 几何校正5.5.2 几何校正代入上式 记作矩阵形式 同样有 解方程组，得到ai，bi 12个系数。nullf(x,y)g(x’, y’)5.5.2 几何校正内插法确定像素的灰度值 几何变换是由输出图像像素坐标反算出输入图像坐标，但该坐标并非整数，需要进行灰度再采样。 例：null最近邻插值 双线性插值 Nearest Neighbor Bilinear再采样是通过灰度插值来完成的5.5.2 几何校正null作业问题 5-1 图像退化的原因是什么？什么是图像恢复？图像恢 复与图像增强的区别？ 5-2 a）图像的退化模型是什么？对降质模型有哪两个假设？ b) 点扩散函数是如何由冲击函数推导出来的？ 5-3 离散图像退化模型是什么？ 5-4 a）逆滤波复原、维纳滤波、约束最小平方滤波图 像恢复的约束条件及表示式是怎样的？ b) 非线性约束还原的两种方法？null5-5 大气湍流造成的传递函数PSF、光学系统散焦传 递函数匀速直线运动模糊下的PSF 5-6 图像恢复的相关指标有哪些？ 5-7 几何校正的两个步骤是什么？为何要进行灰度重采 样？有哪几种重采样方法？ 作业