小波分析及其应用

小波分析及其应用 天津大学攻读博士学位研究生课程 小波分析及其应用 论文题目:小波分析在近红外光谱数据去噪处理中的应用 研 究 生: 王婧 学 院: 精密仪器与光电子工程学院 专 业: 生物医学工程 方 向: 高光谱技术 学 号: 2015202208 小波分析在近红外光谱数据去噪处理中的应用 摘要:本文利用小波分析中的去噪方法，对奶粉的近红外光谱的数据预处理进行了去噪。我们选择sym8小波基，分解6层，用不同的阈值进行分解。通过对固定阈值、无偏风险阈值、启发式阈值、最大最小准则阈值四种阈值选择方式的比较，最终选择了启发式阈值进行处理，并且得到了比较理想的效果。 关键词:近红外光谱;去噪;小波分析;阈值 在短短几十年时间里,随着计算机和化学计量学的发展,近红外( NIR )分析中的新技术得到了飞速的发展,广泛用于石油化工、精细化工、轻工食品、环境、生化、聚合物合成与加工、医药临床、纺织品等众多领域。其核心技术之一是在光谱信息和组分性质之间建立函数关系, 即建立模型。在建模过程中, 光谱数据的预处理对模型的稳健性起着非常重要的作用。小波变换在光谱信息处理方面具有其独特作用, 被广泛用于这一领域, 并取得了较好的效果。目前也出现了将小波变换用于NIR分析的预处理、数据压缩、模式识别以及模型传递, 并呈现出良好的发展趋势。 1. 近红外光谱 1.1 近红外光谱的概念 近红外光谱(NIR)是介于可见光(VIS)和中红外(MIR)之间的电磁辐射波，美国材料检测协会(ASTM)将近红外光谱区定义为780-2526nm的区域，是人们在吸收光谱中发现的第一个非可见光区。近红外光谱区与有机分子中含氢基团(O-H、N-H、C-H)振动的合频和各级倍频的 吸收区一致，通过扫描样品的近红外光谱，可以得到样品中有机分子含氢基团的特征信息，而且利用近红外光谱技术分析样品具有方便、快速、高效、准确和成本较低，不破坏样品，不消耗化学试剂，不污染环境等优点，因此该技术受到越来越多人的青睐。 近红外光谱据其检测对象的不同分成近红外反射光谱和近红外透射光谱两种。反射光谱根据反射与入射光强的比例关系来获得物质在近红外区的吸收光谱，其正常工作范围是1100-2500nm。透射是根据透射与入射光强的比例关系来获得物质在近红外的吸收光谱，其正常的工作波长范围是850-1050nm。近红外光谱的定量分析的原理主要是利用近红外去用漫反射光谱作定量分析，在农业和生物学的样品中，决定物质品质的主要成分，如蛋白质、氨基酸、淀粉、核酸、脂肪、水等，其中都含有近红外光谱区有机物CH、NH、OH等含H基团的倍频与合频吸收带。 1.2 近红外光谱分析技术的应用 近红外光谱分析技术几乎在各个领域都可以发挥其优势，其分析对象主要是有机物以及与有机物组成相关的物质的物理特性，还可对物质的化学性质进行定性分析，对物质有效成分测定的检验限一般是0.1%以上，既然近红外光谱分析技术是一种简接的测量技术，因此它在测定过程中不会破坏样品的物理化学性质。一个已经建好数学模型的样品，在分析该样品时，分析时间仅需2min。应用近红外光谱分析技术分析农牧产品和食品中的蛋白质、水分、脂肪、盐分、钙、磷、粗纤维、淀粉、氨基酸等在国外已是非常成功的技术，在国内许多近 红外仪的用户也进行了各种有益的探索，作了大量的工作，建立了国内自己的谱库。 1.3 光谱预处理中的噪声及其消除方法 在光谱的预处理过程中，主要是消除噪声和其他谱图不规则影响因素，如消除随机噪音、样品背景干扰、测样器件引起光谱差异等因素对校正结果产生的影响。常见的噪声滤除方法有一下几种: (1) 平滑处理:在光谱信号处理中，平滑是滤除噪声最常用的方法。有关平滑处理的数学方法很多，如傅立叶变换、奇异值分解及一些其他方法。这些方法在解决不同类型的噪音、改善信噪比方面都各有特点，但最常用和有效的方法还当属卷积平滑方法。 (2) 基线校正:由于仪器、样品背景或其他因素影响，近红外光谱分析中经常出现谱图的偏移或漂移现象，如不加处理，同样会影响校正模型建立的质量和未知样品预测结果的准确性。基线校正最常用的解决办法是对光谱进行一阶微分或二阶微分处理，前者主要解决基线的偏移，后者则解决基线的漂移。 (3) 小波分析:运用小波分析进行一维信号的消噪处理是小波分析的一个重要应用，尤其是在光谱数据预处理去噪中有着广泛的应用。主要有基于小波分析的局部极大值点去噪和基于阈值去噪的两种技术。 2. 小波分析的基本概念 小波分析方法是一种窗口大小(即窗口面积)固定但其形状可变，时间窗和频率窗都可改变的时频局部化分析方法，即在低频部分具有较高的频率分辨率和较低的时间分辨率，在高频部分具有较高的时间 分辨率和较低的频率分辨率。正是这种特性，使小波分析具有对信号的自适应性。 2.1 连续小波变化 将函数在任意空间中按小波基展开，并把该函数的展开式称为连续小波变换，简称为 CWT， 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达式如下: 1t,,,,* WTafttftdt(,)(),()(),,,,，，,fa,,,,,aa,,R 从连续小波变换的定义可以看出，小波变换也属于积分变换的一种，其中 表示小波变换的系数。连续小波变换，在对信号的滤波处理、奇异性分析和模极大值重构等应用领域有着独特的作用价值。 我们可以这样理解，傅立叶分析是将信号分解成一系列不同频率的正弦波的叠加，同样小波分析是将信号分解为一系列小波函数的叠加，而这些小波函数都是由一个母小波函数经过平移和尺度伸缩得来的。小波分析优于傅立叶分析的地方是，它在时域和频域同时具有良好的局部化性质，而且由于对高频成分采用逐渐精细的时域或频域取样步长，从而可以聚焦到对象的任何细节。 2.2 离散小波变换 计算机中的图像信息是以离散信号形式存放的，所以需要将连续小波变换离散化，而最基本的离散化方法就是二进制离散，一般是将这种经过离散化的小波及其变换叫做二进小波和二进变换。我们这里说的离散化都是针对连续的尺度因和连续平移因子的，而不是针对时间t的。得到的离散小波函数，数学表达式如下所示: j,,tka,,,,,2200jjj()() ,,,,taaatk,,,j,k0000,,ja0,, 二进制离散小波是一种特殊的离散小波变换，特别地令参数 ，即二进制离散小波如下所示: a,,2,1,00 ,,jj22 ,,()2(2),,ttkjkZ,,, j,k 3.小波分析在近红外光谱中的应用 小波分解与重构法消噪,适合于信号和噪声谱分离的情况,对近红外光谱信号,经将高频系数强制置零消噪后,重构信号会使原信号失去一些细节,使谱图信号失真,而且消噪后的信噪比和多点平滑效果差不多。 非线性小波软阈值法消噪主要适用于信号中混有白噪声的情况, 用阈值法消噪的优点是噪声几乎完全得到抑制,且反映原始信号的特征尖峰点得到很好的保留,用软阈值的方法消噪能使估计信号实现最大均方误差最小化,即消噪后的估计信号是原始信号的近似最优估计，且估计信号至少和原始信号同样光滑而不会产生附加振荡。该方法还具有广泛的适应性,因而是众多小波消噪方法中应用最为广泛的一种。但是剔除白噪声以后,信号出现一定程度的失真,能量有所损失而且波形出现了畸变。 当对阈值进行选择时，我们可以选择以下四种阈值:(1)固定阈值T1，该方法的依据为 N 个具有独立同分布的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 高斯变量中的最大值小于T1 的概率随着 N 的增大而趋于1。因此在假定噪声具有独立同分布特性的情况下，可通过设置简单的阈值来去除噪声。(2)无偏风险阈值T2，这是一种基于stein的无偏似然估计原理的自适应阈值选择。对于一个给定的阈值t，得到它的似然估计，再将非似然t 最小化，就得到所选的阈值。(3)启发式阈值T3，是前两种阈值的综合，是最优预测变量阈值选择。如果信噪比很小，估计有很大的噪声，适合采用这种固定的阈值。(4)最大最小准则阈值T4，这种方法采用的也是固定阈值，差生一个最小均方误差的极值，而不是误差。这种极值原理在统计学上常备用来 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 估计器。被去噪的信号可以被看作与未知回归函数的估计式相似，这种极值估计器可以在一个给定的函数集中实现最大均方误差最小化。 用模极大值法剔除噪声以后,有效地保留信号的奇异点信息,光谱信号的信噪比比较高,一些很微弱的细节信息都能够检测出来。利用该方法消噪时,小尺度下小波系数受噪声影响非常大,产生许多极值点;大尺度会使信号丢失某些重要的局部奇异性,因此,消噪的关键之一就是选择合适的分解尺度。 4.实验结果分析 如图1所示，为原始信号，图2为加入信噪比为8的白噪声信号，接下来我们选择sym8小波基，分解6层，用不同的阈值进行分解。 图1 原始标准信号图 图2 含噪信号图 我们分别选择不同的阈值选择方式，进行去噪处理，如图3所示。 图3 四种阈值去噪信号图 从图中我们可以直观地看出，固定阈值去除了过多细节，无偏估计阈值与最大最小准则阈值去噪效果不彻底，启发式阈值去噪结果较好。下面我们对四种阈值方式的误差数据的均方和以及信噪比进行了比较，如表1和表2所示。 表1 误差数据的均方和比较 产生阈值方式 固定阈值 无偏估计阈值 启发式阈值 最大最小 原则阈值 均方和 0.1323 0.0764 0.0847 0.1007 表2 信噪比比较 产生阈值方式 固定阈值 无偏估计阈值 启发式阈值 最大最小 原则阈值 信噪比 16.83 19.22 18.98 18.02 我们可以通过上面的图表可以看出，在小波基选择为sym8，分解尺度为6层时，选择启发式阈值选择方法小波去噪的阈值效果最好，信噪比有显著的提升，均方和小于0.1。 接下来我们用启发式阈值对原始信号进行去噪处理，处理的原始信号图和去噪后的信号图如图4所示。 a(原始光谱信号图 b(原始信号局部图 c(去噪后光谱信号图 d(去噪后局部图 图4 原始和去噪后的信号图 可以看出，我们通过启发式阈值进行去噪的效果比较理想。 参考文献: [1]李民赞，光谱分析技术及其应用[M]，北京，科学出版社，2006:1-2。 [2] 杨黎，许国旺，快速傅立叶分析用于色谱噪声平滑及微弱信号检 测[J]，色谱，1998，16(5):386-389。 [3] 郑建彬，赵瑞，张红权，小波分析及其在化学中的应用[J]，分析化学，1999，27(7):855-861。 [4] 邵学广，庞春燕，孙莉，小波分析与分析化学信号处理[J]，化学进展，2000，12(3):233。