VBR视频通信量预测的神经网络方法研究（已处理）

VBR视频通信量预测的神经网络 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 研究（已处理） VBR视频通信量预测的神经网络方法研究 南开大学 硕士学位论文 VBR视频通信量预测的神经网络方法研究 姓名:苏晓星 申请学位级别:硕士 专业:光学 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 指导教师:张延? 20030522摘要 摘 要 本文对神经网络方法在可变比特率: 视频通信量预 测中的应用进行了研究,主要内容如下: .刈视频通信量预测的研究方法和进展进行了综述,重点是神经网络方 法。基于这些神经网络方法的成功应用,作者得出了一条结论:用斗压缩 算法产生的通信量,在经归一化处理后,将具有相同的时间序列模型。本文采 用的梯度径向基函数: 模型, 吼及提出的基于自适应滤波的抽头延迟神经网络 模型都是基于这个结论。 .提出把模型应用于视频通信量预测中,由于采用差分输入,能 消除局部平均值变化对预测精度的影响,同常用的基于最小均方差 的线性模型和静态模型相比,其预测精度得到明显提高。 .提出基于自适应滤波预测模型并应用于视频通信量的预测中, 该网络训练分为离线学习和在线二次学习两个阶段:离线阶段,神经网络的 训练采用基于卡尔曼滤波的训练及删剪算法,通过删除隐层神经元,得到一 个结构紧凑的网络拓扑结构,作为下一步在线预测与权重更新的先验知识; 在线阶段采用递归最小方差: 算法进行预测与 权重更新,以离线阶段得到的权重矢量与协方差矩阵为迭代起点。视频 通信量预测的仿真结果表明,同已有的预测方法相比,该模型的预测精度得 到明显提高。通过比较可以发现,本模型是对视频通信量预测所期望的 精确性与实时性的一个很好的折中。 关键词:可变比特率,视频通信量,神经网络,时阳序列预测,梯度径向基函数 自适应滤波,卡尔曼滤波,递归最小方差 . . . 】. : , , . ’ , . . . : . ,. . , ’ . . .。 .? . , , :, , , ,第一章引言 第一章引 言 视觉是人类获取外部世界信息的最为重要的形式。据统计,人类通过视觉获 耿的信息占全部获取信息的%以上。目前,数字视频?已在许多领域有着广泛 的应用,数字电视和高清晰度电视的发展、可视电话的日益普及,均说明了这 一 点。在图像/视频压缩方面人们已经取得了巨大的成功,使得数字视频的有效 存 储与低速率传输成为可能,由此产生了可变比特率视频的概念?。而正 由于视觉信息的重要性,以及数字视频技术的快速发展,使得视频业务在 基于异步传输模式的宽带综合业务数据网.中占据大部分的 带宽。因此在现有数字通信技术的带宽瓶颈下,解决视频业务的高服务质 传输问题,是构建未来信息高速公路的一个关键 量: 环节。解决这一问题有三个基本途径:一是加大网络信道自身的带宽,二.是压缩 视频信息的流量,三是改善信道带宽的利用效率,三者相辅相成,缺一不可。本 文侧重于研究第三个方面即改善信道带宽的利用效率的问题。这是国家自然科学 基金课题和天津市自然科学重点基金课题的一个组 成部分。 网络~是一种基于连接的通信网络,在用户不始传输前,需要向交换 设备申请建立一条信源与信宿之间的逻辑连接,若要建立新连接则必须为其分配 带宽。传统上,交换设备根据信源提供的参数“一步封位”的静态分配带宽,而 且在信源存在的整个通信过程中,这个带宽值保持不变。但是,由于信源 很难用一个确定的数学模型和几个简单的参数来描述,因此静态 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 很难给出一 个合适的恒定带宽值。针对这个问题,一些学者提出基于预测的动态带宽分配方 案【,采用在线测量的方法得到通信流量的统计特性,并对未来的带宽要求 进行预测,从而动态分配带宽,这样可以有效提高网络资源利用率。 基于预测的动态带宽分配方案的基础是对于不同类型信源的统计特性的研 究。视频通信量时间序列是一个复杂的非平稳随机过程,为寻找描述该随 机过程的数学模型,人们已经作了大量工作【“?。从最早提出的自回归 模型】到复杂的自相似模型,其中都包含着层次不同的时间相关这一重要特 性。由于视频通信量序列的时间相关性,使得通信量的预测成为可能【“。 基于宽带通信所要求的,对于所采用的预测器的性能自然有了特殊的要求: 预测精度高,实时性好,计算复杂性低,能在线实现。由于研究视频传输的意义 巨大,使得视频通信量预测成为目前的一个热点研究课题,其中引用最多 的是基于最小均方差或递归最小方差的线性模型【’”,虽然其形式简单,适合 网上实时应用,但简单的线性关系不能反映信号本身的非线性实质,自然不会得 到很高的准确?生。 人工神经网络是一种仿脑信息处理模型,由于它具有不依赖问题本身计算特 性的高度并行性处理和不以先验知识或规则为前提的自适应学习能力,因而在那 些实时性要求很高且又无法用确切数学模型描述的智能性信息处理问题的求解 上,用神经网络方法具有其他方法无法比拟的优势。从神经网络信息处理已经取 得的大量应用成果来看,神经网络确为解决一些智能问题提供一种有效的方法。第一章引言 在众多的预测模型中,人们通过广泛深入的研究和比较,发现神经网络模型 有着 良好的预测性能,它能较好的解决非线性时间序列的建模和预测问题,进而受到 越来越多的重视。 人们已经尝试采用各种不同的神经网络模型用于通信量预测的研究: 文献,采用了适合于非线性时间序列预测的模型,该神经网络模型 的输出神经元采用线性激活函数以提高预测精度,但是该模型只能逼近一个静态 的非线性关系,因此预测精度不够高;文献,采用的管线循环神经网络模型对于较为平滑的视频业务流 : 如场景变化不大的视频会议能给出很好的预测性能,但对于突发性很强的复 杂业务流,其性能则有所下降。并且采用实时循环学习算法束修改权重, 要求在视频采样间隔内完成多次迭代,因此计算复杂性高,网上实时实现存在困 难:文献提出了一种基于的自适应神经网络模型,该模型分为离线先 验学习、在线二次学习两个阶段。在在线预测阶段,神经网络要根据当前预测误 差自适应调整权重,但同时要兼顾该调整量要尽可能使对先验知识的影响最小, 其作者用该模型对.业务量预测作了模拟,得出了令人满意的结果,但 是改模型需要一个大规模的矩阵去记忆先验知识,先验知识的改变用一与该 矩阵 有关的能量函数表示,优化该能量函数的计算复杂度较高,因此该模型的实 时性 能有所欠缺。 有鉴于信流预测器的准确性、实时性与视频通信量的非平稳特性,本 文作者在改善信道带宽的利用效率的研究中做了以下工作: 对视频通信量预测的研究进展进行了综述,重点是神经网络方法。 基于这些神经网络方法的成功应用,作者得出了一条结论:用相同压缩 算法产生的通信量,经过均值为,方差为的归一化处理后, 将具有相同的时间序列模型。作者在本文中采用或提出的梯度径向基函 数神经网络、基于自适应滤波的两种预测模型,都是建立在这 个结论的基础之上。 将文献【提出的神经网络模型用于本课题并进行了仿真实验。 该模型虽是一种静态模型,但通过差分输入,也能对局部平均值随时间 变化的非平稳时闻序列给出很好的预测性能。 提出基于自适应滤波的预测模型。该模型分为离线学习、在线 二次学习两个阶段:离线阶段采用神经网络的基于卡尔曼滤波的训练及 删剪算法,对训练好的初始网络,通过对隐层神经元的删除,得到一个 结构紧凑的作为下一步在线二次学习的先验知识;在线阶段采 用递归最小均方差算法,以离线阶段得到的权重矢量与协方差矩阵为迭 代起点,进行在线预测与权重更新。将这一算法应用于视频通信 量预测,在仿真实验中得到了很高的预测精度。通过比较,可以发现本 模型是对预测的精确性与实时性的一个很好的折中。 本论文内容安排如下:第二章在介绍了关于视频、时间序列预测、人第一章引言 工神经网络等相关概念的基础上,对视频通信量预测的相关进展作了系统 综述,重点是神经网络方法在其中的应用:第三章在介绍径向基函数、正交最小 算法、梯度径向基函数: 均方:神经网络的基础上,将神经网络应用于本研究课题, 并给仿真实验结果及其预测性能评价;第四章在介绍了自适应滤波、神经网络 广义尔曼滤波训练及删剪算法?吼。抛?一一种基于自适应滤波的 模,钭应用于本研究课题,并给出仿真实验结粜及其预测性能评价:第血章足全文 工作的总结与后续工作展望。第二章相关研究进展综述 第二章相关研究进展综述 ?.基础知识 ?..可变比特率视频? 视频是根据视频序列图像本身的信息量冗余,经过各种图像/视频压缩 算法的压缩后所产生的图像帧序列,其图像帧中的数据量就是视频通信量。 图像/视频的压缩编码已被制定出几个国际标准,如静止图像压缩标准, 电话/会议电视的视频压缩标准、,活动图像压缩标准一、 .、.等。 以标准为例,它支持三种编码模式:帧内模式、预测模式、 双向预测模式。类似于,帧对单个视频序列帧只根据信息量的空间 冗余进行压缩;帧采用前向运动补偿预测和误差编码,出其前面的或帧进 行预测:帧采用双向运动补偿预测和误差编码,由前面和后面的或帧进行 预测,所以帧的压缩效率最高。视频序列被分成一系列图片组: ,每个由一帧帧和一些帧、帧组成,第一桢一定为帧。 视频通信量时间序列是一个复杂的随机过程,总结前人工作的相应结 论,对于只有帧内模式的帧序列,可以得到下述基本上和压缩算法无关的统 计性 质: 无场景变化的应用场合如会议电视,可视电话等的通信量时间序 列是平稳的或渐近平稳。但有场景变化时序列是否可看成平稳,尚 有疑问,一般将其看成非平稳序列。 无场景切换的应用中序列可以看成服从分柿:有场景剀换 时较复杂,一般不能用统一的分布来拟合。 无场景变化的应用中,序列的自相关函数呈指数下降,几乎不存在 长程相关性 ,简称。但是有场景切 换时序列的自相关不呈指数下降,具有明显的长程相关性。 序列中包含三类、和帧,使其通信传输业务具有明显的特点, 如突发度更大,自相关函数具有周期性尖峰等,但是业务速率分布很散,难于 直 接建立模型。然而,将其三类帧分别抽出后所组成的序列均服从分布, 且表现出较强的负指数下降的短时自相关。 基于这些统计特性,人们已建立了视频业务时间序列的各种数学模型 ,如通/断源模型/、自回归滑动平均:? 第二章相关研究进展综述 模型、马尔可夫调制的泊松过程 :模型、分形模型等。本文将要多次用到的一/卜模型是非线性自 回归滑动平均模型,该模型的表达式如下: . 一,?,?,一,?..,一日十 其中,珂表示通信量时间序列,厂是一非线性函数,和是误差序 列,一股认为是一个独立的、有确定分布的随机过程,.式记为 ,,、足正整数。.式中,若,即: . 一,?..,? 则退化为非线性自回归模型。若.、.式中,厂.退化为线性 函数,则分别成为与模型。此外,若.、.式中。厂 是一时变的非线性函数,即: 月/:石月一,‘一,?,?,‘一,一孽 . . 一,?,? 则分别成为时变的与模型。 ?..时间序列预测? 时间序列是一种数据的集合。一般认为,在时间序列的过去值和未来值之间 存在确定的数学关系。时间序列的预测就是根据该时间序列的过去值和现在值, 对其未来值作性质上的推断和数量上的估计。通过对产生时间序列的系统进行分 析和预测,以便我们采取有效的措施。 按照时间序列的波动性,时问序列预测分为确定型和随机型两大类。确定型 的时间序列预测是假定时间序列服从某种线性或非线性关系的规律,通过对该规 律的参数拟合,获得预测函数。随机型的时间序列预测是假定时间序列是由某种 随机过程产生的,通过建立估计随机过程的模型,获得预测函数。对时间序列进 行预测的方式可分为两大类,~类是离线预测,一类是在线预测。离线预测是用 时间序列的过去值建立预测模型,在以后的预测过程中,模型中的有关参数不再 修改。而在线预测则要求在预测过程中随时对全部或部分参数进行调整。 ?..人工神经网络‘ 人工神经网络是一门发展迅速的交叉学科,这门学科的研究使得诸如生物 学、认知科学和非线性科学等基础学科与计算机、电子学、人工智能、微电子、 信息处理、模式识别等工程学科有机的结合起来。自世纪年代以来,神经第 二章相关研究进展综述 网络已被广泛的应用于解决各种实际问题,在众多领域中取得了令人瞩目的成 就。 人工神经网络的特点是:信息按高度并行的方式处理;信息的存储 是分布式的:容错性;鲁棒性;很强的学习能力;它是一个高 度非线性动力学系统。当前存在的问题是其智能水平还不够高,许多应用方面的 要求还不能得到满足;网络 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 与综合的一些理论性问题如稳定性、收敛性的 分析,网络的结构优化等还未得到很好的解决。 人工神经网络是由大量神经元通过并行连接而构成的高度复杂的非线性网 络系统,它反映了人脑功能的若干基本特征,但只是对人脑功能的某种简化和抽 象的模型。神经元是神经网络的基本处理单元,它是一个单输出、多输入的非线 性元件,图.所示为一个神经元模型,神经元的输入、输出可表示为: . “,?。厂只 』 图.神经元模型 其中“,为神经元的内部状态,只为闽值,。表示从第个神经元到第个神经 元的互连权重。,,是神经元的非线性激活函数,最常用的有两种类型:阈 值型,这种类型的激活函数是一个阶跃函数:型,这种类型的 激活函数是一个对数或是双曲正切等函数,例如,虬五焉面两。 第二章相关研究进展综述 人工神经网络是一个数目巨大的高度连接的神经元的集合。每一个神经元通 常是一个非线性的处理单元,根据某一时刻对它的输入和阈值的比较,神经元就 会按照非线性激活函数决定它在下一个时刻的状态。当大量的这种处理单元结合 在一起协调工作时,就出现有意义的集体功能。人工神经网络通过建立神经元及 其连接的拓手卜结构和参数的各种模型去模拟脑的信息存储和处理能力。人工神经 网络中神经元相互作用的强弱用互连权重表示。在人工神经网络在学习过程中, 根据来自环境的信息,不断调整其互连权重的强度,使有关信息按照处理或记忆 的要二逐渐分布到互连权重之中。根据神经网络的互连方式,一般可将人神经 网络分为前馈式连接和反馈式连接两种,例如,单层反馈式连接的神经 网络模型,多层前馈式连接的网络模型等。 从理论上可以证明,具有一个隐层的前馈式神经网络能够以任意精度逼近任 何连续函数。由于人工神经网络具有不依赖问题本身计算特性的高度并行性和不 以先验知识或规则为前提的自适应学习能力,因而对于那些实时性要求很高且又 无法用确切数学模型描述的智能性信息处理问题的求解上,用人工神经网络方法 具有其他方法无法比拟的优势。非线性时间序列预测恰好具有这样的特点,因此 在这一问题的研究中,借鉴和应用人工神经网络的模型和算法具有广阔的发展前 景。这是本论文选题的重要出发点之一。 ?.线性预测方法 该方法基于预测误差有最小均方误差的思想。对于视频帧序列 线性预测是将步预测值估计成序列前个值??.、的 ‖”’ . 七。, 阶? 七,, 《一 一 需要注意的是,对于视频帧序列,将代表其中的、、子 序列.对这三个子序列的预测应该分别进行,以后将不再说明。 随时间变化,有两种在线更新策略:第二章相关研究进展综述 ?.. 方法~: , . 这里,是第”个序列值的预测误差:是学习步长,若肝是平稳 的,则根据维纳滤波理论】,满足: . “? /‘ 时,在随机取值的情况下,能保证很快收敛于稳定值,其中五。。是自 相关矩阵 . ,?? 的最大特征值。 文献提出采用归一化的方法应用于本研究课题,‖的 更新公式变为: 晓? 叭川卜畎卅砌五簖 这样能保证/.时,‖,很快收敛。 文献【】提出一种变步长策略,使得由于场景变化而引起的‖的振荡减为 最小。 方法适合于可用、模型描述的线性平稳时间序列的预测. 如场景变化很小的可视电话业务。对于非平稳过程,作为一种一阶近似学 习算法,的更新很难快速跟踪视频通量信号的变化 ?.. 方法’ 由于视频通信量量时问序列具有时变、非平稳特性,方法源于 ,第四章将做详细介绍在每一次叠代的同时兼顾过去、现 自适应滤波理论 在的变化情况,从最小二乘意义上寻求权重矢量的最佳值。 对于单步预测,‖?的选取应对下式取最小值:第二章相关研究进展综述 . ?刀 . ? 略去具体的推导四,‖,可按下式递推计算, ‖”渺”” . , 坳,斋需糯 . 一? . ’一一”?胛 一 七 唧,三 . 、一, 在实际仿真过程中,可以看出算法存在数值稳定性问题和“猝发”现象。 可采用以下两种方法来解决这个问题:一种是给最小二乘算法的增益设置阈值, 当它超过这个阈值时,将所有的参数重新初始化,重新开始预测。采用这种方法 在预测时,预测带宽有较大的震荡,效果不十分理想。另一种更有效的方法是采 用变遗忘因子的方法。文献】采用变遗忘因子的算法进行视频业务 量预测,相对于遗忘因子保持不变的算法,提高了预测精度,获得了更好的 预测效果。 ?.神经网络预测方法 ?.. 模型 线性预测方法只能适用于可用模型描述的时间序列,或者该模型的 控制参数随时间变化的时变模型方法适用于这种时间序列。对于第二章相关研究进展综述 视频通信量序列最好将其理解成非线性过程,即: . 月 这里的是一个未知的非线性函数,是独立、有确定分布的误差。我 们可以根据已知样本数据,寻找一个合适的函数,使预测均方 , 误差 . ??一三埘 为最小。 三层前镄神经网络可以以任意精度逼近任意连续函数,则模型可以以 任意精度逼近一个过程,因此.、.式规定的时间序列预测问 题可以用训练合适结构的来解决。所谓模型,是指抽头延迟线 滤波器与三层前馈神经网络相级联的神经网络模型, : 其输出神经元采用线性激活函数,如图.所示。从神经网络的观点来看, 与神经网络是基本相同的,我们以后还会提到。 图..网络结构 其输入、输出函数关系是: . ;??,彬”一 作者撰写的文献【】以对随机产生的型视频通信量的预测为例,通过实 验结果说明了的输出神经元若采用线性激活函数,较之于采用非线性的第二 章相关研究进展综述 双曲『切函数,离线训练的速度更快,在线预测的精度更高,给出了更好的预 测 效果。 文献】采用用于不同类型视频业务预测,并给出了仿真结果。 可以发现由于神经网络的拓扑结构和互连权重在离线训练过程中一旦确定了之 后,在在线预测阶段将不再改变,虽然能够给出一个非线性函数关系,但是其函 数形式却是静态的。而实际上,即使是同一视频业务,其统计性质亦会随 时间发生变化,表现出非平稳特性,所以这种静态的方法的预测效果并 不理想。 ?..基于的自适应神经网络模型 实际上,可以认为.式中的函数关系?是时变的,即时变模型, 这样就容易描述视频业务统计性质的非平稳特性。基于此,文献提出 一利?基于的自适应神经网络模型,并将其用于一业务产生的、、 帧业务的预测,相对于静态等方法,获得了很好的预测效果。 与静态的模型一样,该模型的应用同样分为离线训练与在线预测两个 阶段。不同的是,在在线预测阶段,该自适应模型还要根据当前预测结果适当修 改网络的权重值。修改网络权重值的原则是:该修改值既要使神经网络的输出值 修币为当前业务量值,又要使其对在离线阶段及其后学习所得的先验知识的影响 最小。 设在在线预测阶段第月个样本的预测完成之后进行了一次网络权重更新,第 个样本值及其预测值分别为月、,更新前后的权重矢量分别为%、睨, 其中 . 睨%% ??是一个小的改变量。 %中包含着通过训练样本集咒.,一.,爿‘虬,而获得的 先验知识,睨满足使 . 去兰州矾? 为最小,即 ?‘ . , 睨吉芝 ???第二章相关研究进展综述 同时满足约束条件 ”? . %中实际上只有?%为变化成分,由于它是一个小量,利用微分关系,可 将 、.式描述的具有非线性条件约束的复杂非线性函数优化问题,转化 为以.、.两式描述的线性条件约束的二次函数优化问题: ’ . 妄?‖ ?% 。 ?‖ . ??% 具体推导见文献中的附录,在此从略。其中,是一个与样本集合.、权重 矢量睨有关的矩阵,口是网络输出函数对权重的梯度矢量,与一、%有 关。这是一个简单的条件优化问题,其求解可通过梯度下降法的迭代计算。 为减少权重更新的频度,该文献提出权重更新只在预测误差大于一定闽值’ 时发生,如图所示: 图.权重更新机制 虽然该方法在仿真实验中获得了很好的预测效果,但是它在在线预测阶段的 权重更新算法的计算复杂性过高。从空间复杂性角度讲,需要预备集合的存 储空间,这是主要的困难所在;从时间复杂性角度讲,每次求解?暖都需要多 步 迭代完成,这使时间复杂性按迭代步数增长。因此,这种权重更新机制在网上 实 时应用时存在困难。 ?..循环神经网络模型 是一种反馈神经网络,由于其动力学机制,非常适合于一些复杂的非 线性时间序列的建模与预测。第二章相关研究进展综述 图.是一种用于预测,的,它的结构包含两层:输入层与 处理层。处理层由个神经元构成,第个神经元的输出.作为整个网络的 输出,输入层由前馈与反馈两部分组成:前馈部分包括时间序列信号经过 滤波器形成的个延迟信号一、?、?,还包括闽值输入;反 馈部分包括由.”经过滤波器形成的个延迟信号一、?、,一, 还包括:”、?、。经过一个时阳单位延迟形成的一个输入 :月一、?、。”一。输入层与处理层之涮完全连接,处理层单元采用非线性 激活函数。 ? 图.用于预测过程的模型 文献】提出算法,在信号采样间隔内根据预测误差实时更新网络权 重。算法一般是用梯度下降法通过多次迭代完成,而每次迭代的计算复杂 度为,当?较大时,算法难以实时完成。为克服这个困难,文献提出 模型,如图.所示。它由个级连而成, 管线: 每个称为一个模块,含有相等的个神经元。因此,一个总共有 个神经元。每个模块的输出作为下一个模块的输入,第个模块还同时将输 出反馈给自身,最后个模块的输出作为整个的输出。的 算法的一次迭代的复杂度是,而对于同样多处理神经元数的鼢州,其计第二 章相关研究进展综述 算复杂度为 ,即复杂度降低了倍。 图 结构图 文献采用个及其权重更新算法用于业务的、、 序列的预测。获得了很高的预测精度,但仍有两个问题值得指出: 由于需要多次复杂度为的迭代运算,总的复杂度仍然 很高,其作者仍然建议该预测算法须采用或多的并行运算 来实现; 该文献中的实验数据采用了秒的业务数据,其中没有包含多 少场景切换,因此数据流较平缓。但根据文献,在数据流 变化较剧烈的场合,其预测性能会有所下降。 ?..一个重要结论 以上神经网络模型在离线学习阶段都是采用某种压缩算法产生的视频通信 量序列,并且序列数据是经过使其均值为、方差为的归一化处理的。在在线 阶段对采用同一压缩算法但算法控制参数不一定相同的归一化的通信量序 列进 行预测,这些神经网络模型都取得了较低的预测误差。由此,我们可以得出这 样 一个结论:算法控制参数不一定相同的同一压缩算法产生的视频通信量序列, 经 过使其均值为、方差为的归一化处理后,可用相同的时间序列模型来描述。 则由该结论,以上神经网络模型的离线学习阶段的先验知识对同一压缩算法 产生 的视频序列都适用。本文后面提出的两种神经网络模型都是基于这个结论。 ?.他预测方法 文献提出一种将离散小波变换与线性预测器级联的小波预 测器,如图.所示。通过.视频业务预测的实验仿真,获得了比一般的 线性预测器更好的预测效果,但正如其作者指出的,该预测器还可以从两第 二章相关研究进展综述 个方面加以提高 图 小波预测器采用的是最 图.中的离散小波变换: 简单的、波基,可以尝试较复杂的,等小波基 图.中的线性预测器可以尝试采用自适应性更强的线性预测器 另外,模糊逻辑是一种处理不确定性、非线性和其他不适定问题的有力工具, 文献扯将模糊逻辑应用于本研究课题,取得了一定的预测效果。对此,由 于时间和作者水平有限,本文暂不能作出准确描述,留待今后进一步研究。第 三章神经网络预测模型 第三章神经网络预测模型 ?.径向基函数神经网络 ?..基本原理 径向基函数: ,是一种局部分布的、中心对称的 非负非线性函数。局部分布是指仅当输入落在输入空间一个很小的指定区域 时, 径向基函数才给出有意义的非零响应。中一径向对称是指,对与基函数中一矢量 有相同径向距离的输入,径向基函数都产生相同的输出。常用的一种径向基函 数是高斯函数,形式为: . 妒:乓 盯。 神经网络是一种只含一个隐层的前馈神经网络,隐层采用径向基函数作为 激活函数,每个隐层节点有不同的径向基函数中心。构造网络的基本思想 是:用隐单元实现输入空阳到隐含层空间的变换,以隐层中心与网络输入矢量差 之欧氏模作为的变量,从而使每个隐层节点只给出一个径向对称的输出。 输出层一般采用线性激活函数,所以整个网络的输出是隐层输出的加权求和。这 样,矢量不通过连接权直接映射到了隐层空间。只要确定了的中,,这种 关系也就确定了。输入层到隐含层的变换是非线性的,而隐含层到输出层的映射 是线性的,即网络的实际输出等于隐层相应输出的加权线性和,对图.中的 网络中,输入输出关系为: . ,?。删?, 网络的训练包括确定隐层中一、方差。与权重,.,方法有如下几种 【】:方法;和方法;局部学习方法;正交最小均方: 方法;聚类与与 最小二乘联合迭代法遗传算法等。算法采用正交化方法独立计算回归 算子对输出的贡献,故使中心的选择步骤简单有效,该方法被广泛采用,. 中给出具体介绍。 鱼台? 图..网络结构第三章神经刚络预测模型 网络的训练算法既保证多层网络的映射能力,又能克服梯度下降方法的 局部极小问题,学习速度较快,因而在函数逼近、信号处理、模式识别、时间 序 列预测等领域得到了广泛的应用。 ?.. 算法【? 不失一般性,假定输出层只有一个神经元。令网络的训练样本对为 爿,.,,?,,其中,为训练样本数;为网络的输入 数据矢量;为网络的期望输出响应。根据线性回归模型,网络的期望输出 响应可表示为: . ?,”, 式中,为隐层神经元个数,在网络中,亦称为网络中心个数;是重 建误差;。是回归算子,它实际上是网络中心在某种基函数下的响应。对于 所有样本,可将式.写成矩阵方程式,有 . 其中, 口 . ? ,,,,?,, : : ? , , ,,?,日,。求解回归方程式.的关键问题是 这里,. 。 回归算子的选择,的中一?.,?一般是选择输入样本矢量集合 ?, ??中的一个子集。对于进行正交三角分解 . 删 式中,是一个日的上三角矩阵,且对角元素为,是一个?矩阵 其各列,,?,正交,第三章神经网络预测模型 . 是一个对角元素为.对角距阵, . ,,?, 由上式可得 ‖ . . 式的正交最乘解为: ’ ~ . 或 . 铲舄胚? 式中,和是方程组: , 综上所述,学习基本算法步骤如 上述『交化处理采用.方法。 下: 预选隐含层神经元个数; 预选一组的中心矢量; 根据上一步选定的中心及输入样本矢量,计算回归矩阵 正交化回归矩阵各列; 计算; 计算上三角阵,并由三角方程求解连接权矢量‖。 算法能快速有效的从样本集中选取合适的网络中心矢量,一般地,当 时,就能对整个样本集得到很低的重建误差,大大压缩了信息冗余。但 同时,算法并不一定能从样本集中选取最佳的个网络中心矢量,使值 最小,从而优化出最紧凑的网络结构,具体论述参见文献。 ?.. 网络在时间序列预测中的应用 网络也可用于时间序列预测,对于时间序列,的输入为第二章神经网络预测 模型 行 . 爿一 第/个隐层输出为 , ”硎”一, 其中,为第,个隐层节点的中心,?为其径向基函数。 假定共有日个隐层节点,则步预测值,即网络输出为 . ”女?,,” 其中,为第,个隐层节点到输出层的连接权重。 传统的径向对称的应用于时间序列预测尚存在问题,主要原因在于时 间序列预测问题的输入矢量的各分量高度相关,在超空间内一一般并不呈径 向对称分布,而径向对称的输出却不能提取这种特征,因此不能给出精确的 预测。 针对这个问题,文献~分别提出了几种不对称的径向基函数用于时间序列 预测,取得了预期的理想效果。其中文献【提出的径向基函数形式较特殊, 其 输入采用时间序列的差分信号,故称为梯度径向基函数。消除了时间序列的 由于 局部均值变化而造成的不稳定性,.节将做详细介绍。 ?. 神经网络 ?..一阶网络 网络的输入采用时间序列的差分信号,差分的阶数就决定了网络的阶 数,以一阶网络为例,其在时刻的输入为: 一一 一一一 ?一? , 一?一? ?的各分量是过去吖个时刻信号的变化。 的形式较复杂,以一阶为例,尽管高斯函数仍然作为比较网络第三章神经网 络预测模型 输入与网络中心的非线性函数,但此时这个高斯函数的输出将被乘上一项 ”,,则对输入‘”,一阶的第,个隐层神经元的输出为: . 办一口渺一×月‘ 其中,是一个维的中心矢量,巧,是一个与该中心有关的增量标量。 行项可看作第/个神经元对信号的预测值,如果肖”与:较相似,则 其高斯函数的输出接近于,而其他神经元的高斯函数的输出接近于,则第,个 神经元的输出将被激活,此时,若 . 一?一 则第』个隐层神经元将给出预测值女的近似值,而精确的预测值则是各隐 层神经元的输出的线性组合,即 . 工?七?妒, 参数、‘通过网络的训练过程来确定。对于样本时问序列:?,可得 到维一阶差分向量集‘。’,对于每个’‘‘’,定义 , 。一 如果’‘’’”被选作网络中,,则以应被选作相应的‘。这样,构建一个一 阶的问题就转化为从集合??,以中选取子集,,可通过 算法来解决,这时.式中的,就变为网络隐层神经元的输出。 一阶网络用于时间序列预测的合理性,可清楚的从图.看出:如果 第个中心矢量比较接近网络输入?‘竹,则由梯度函数的连续性,万,将接近 于女一,则占,将是?的一个很好的预测。这样,通过 匹配梯度函数,就能给出原始信号准确的预测,可以消除由于局部平均值的 变化 而成的不稳定?生,使得一个静态模型预测非平稳信号成为可能。第三章神经 网络预测模型 图.一阶网络用于时间序列预测的合理性的几何解释 ?..高阶网络 以上介绍的是一阶网络,对于高阶网络,其输入就是原始信号 扛”的高阶差分。例如,对于二阶网络,其在时刻的输入可定义为: 一一一一一一 月一一”一一一一一 /”一?一 一?? . 则第/个隐层神经元的输出为 . 彰一”一;×一工野一; 维的中心矢量与标量可从训练集“月,:中选取,其中 . :。一以一。一”一一一一一 如果?”竹被选作中心;,则:被选作‘,算法同样适用于该选取过程。 我们已经知道一阶网络是通过一阶差分信号的匹配来预测原始信号, 则二阶网络是从二阶差分信号的匹配来预测一阶差分信号。同样的,可 将这个结论依次类推到任意高阶网络。 ?.一阶网络用于视频通信量预测第三章神经嘲络预测模型 经过 视频业务是一种复杂的非平稳时间序列。图.是电影 压缩编码的数据量曲线由 实验室 17025实验室iso17025实验室认可实验室检查项目微生物实验室标识重点实验室计划 提供。由于只采用了帧内压缩方式,该 数据序列类似于信源产生的时间序列。它的长度为两个小时.速度为 帧/秒,共计帧,该序列具有长程相关:与自相似性。用~个窗口大小为的滑动 平均滤波器作用于该序列,得到 图 .所示的原序列的低频成分,可以看出原序列的局部平均值随时间发生变 化。 喜 善 霉 量 .咻行蝌鳓 图. 压缩视频业务量时间序列曲线 ?且一?墨由?暑乜叠勺 阱四 视频业务量时问序列的低频分量 图.第三章神经网络预测模型 阶神经网络可以消除由于局部平均值的变化而造成的不稳定性的 影响,给出更加精确的预测。该预测器的参数,包括网络中心矢量、增量标量、 隐层到输出层的权重,经过训练一经确定之后在应用时将不再改变,因此是 一种 静态模型。由第二章所得的结论,对于采用相同压缩编码算法得到的视频 通信量序列数据,将它们归一化后可以采用同一参数的预测器。 仿真实验进行了单步预测。我们选取这个数据中的第?个数 据归一化后作为离线学习样本,因为这个数据的分布范围很宽,变化也很 明显。一阶网络的输入维数为,通过这些样本得到个回归算子, 利用算法为这个一阶网络选取了个隐层单元,离线学习样本的预 测均方误差为.。在线预测阶段,我们选取第,这个数据作 为检测样本,由于在在线阶段事先无法知道序列的平均值与方差,因此采用递归 迭代的方法进行在线归一化预处理,假设在第个时刻,计算所得的平均值与方 差分别为、盯,在第时刻, . 燮塑 砟 . 盯行:生竺』皇尘堕 毒』趔一【。 为了降低由于事先未知检测样本的平均值与方差而引起的初始预测误差与振荡, 在最不始的个时刻用简单的取平均值的方法进行初始预测,即以前个序列 值的平均值来预测第个序列值,值取为,取为。 ?【”】 ?’ 卵夺丽 . 一 最终所得的预测曲线如图.所示。计算误差公式为.,表示的是相对 均方误差,所得结果是.。我们还采用了其他几种方法,所得相对均方误差 的比较列于表,中。可以看出,尽管这是一个静态模型,其优点在于能够映射 一种线性函数关系,更重要的是无需参数更新,就能消除由于局部平均值的 变 化町造成的不稳定性的影响,凶丽能给出比静态模型更精确的预测效果。 但由于该预测器在应用时未能更新任何参数,对除局部平均值变化以外的任 何时 变特性缺乏自适应性,因此预测精度不及线性等自适应方法。第三章神经网 络预测模型 图.预测曲线 表.预测误差比较 平均相对预测误差 预测算法 ,.. . ?.本章小结 本章在介绍了神经网络、算法的基础上,介绍了一种特别适合 于做非线性时间序列预测的神经网络。神经网络能够消除由于局部 平均值随时间变化而造成的不稳定性,从而给出比一般的网络更高的预测 精度。从对视频通信量预测的仿真实验结果可以看出,尽管这是一个静态 模型,其优点在于能够映射一种非线性函数关系,更重要的是无需参数更新, 就 能消除由于局部平均值的变化而造成的不稳定性的影响,因而能给出比静态 模型更精确的预测效果。但由于该预测器在应用时未能更新任何参数,对 除局部平均值变化以外的任何时变特性缺乏自适应性,因此预测精度略低于 线性 ’ 等自适应方法。第四章基于自适应滤波的预测模型 第四章基于白适应滤波的预测模 型 ?.概述 本章中,我们提出了一种基于自适应滤波算法的模型并把它应用于 视频通信量的预测中,同已有的模型相比,自适应模型最显著的特 点是网络的训练分为两个阶段进行,即离线学习阶段和在线二次学习阶段: 离线学习阶段;离线学习以获取先验知识,在这一阶段,网络的训练 采用基于卡尔曼滤波的自适应训练及删剪学习算法,通过删除不重要 的权重,得到一个规模适中的网络拓扑结构,使其具有更好的推广能 力,并降低了在线二次学习阶段网络预测与权重更新的计算复杂度。 在线二次学习阶段:根据当前误差自适应更新网络权重。如第二章所 述,在离线学习阶段所获取的先验知识分布存储于训练好的网络权重 之中,每次在线预测及更新都以这个先验知识为起点。在线阶段通过 线性化近似,采用算法更新网络权重,由于该算法能自动估算学 习步长,且涉及的参数较少,因此网络的收敛速度很快。计算机仿真 结果表明,该模型可以实现对通信量快速、实时、准确的预测。 节将介绍相关的基础知识,包括自适应滤波理论、基于卡尔曼滤波算法 的神经网络自适应训练及删剪学习算法:.节介绍这种基于白适应滤波的 预测模型,给出仿真实验结果及与其它模型的具体比较。 ?.基础知识 ?..自适应滤波理论 自适应滤波理论主要包括:维纳滤波、卡尔曼滤波、等各种信号估值 的理论与方法。本小节将主要概要介绍卡尔曼滤波、这两种递归信号处理方 法,只给出一些结论,具体推导从略。 卡尔曼滤波 考虑一个线性离散时间系统: . 。。 . 。曰 第四章 基于自适应滤波的预测模型 这早,目月是该系统在时刻”的状态向量,是系统的输入,是对该系 统的某种测量值,是测量噪声,。、。、。分别是与时刻有关的矩阵。 假设系统初始状态为,并且序列、”是独立的高斯过程,且有 研口】,】 . ,,瓯, . 瞳,盯已 尺厅 . 我们的问题是在给定 ??时,求出十的估计值十月,满足 【曰一”】为最小,即: . 口,,?,】 可通过以下迭代公式计算,即卡尔曼滤波算法吲: 曰 。” . 一一。胛一 . 竹一:【。?一:一 . 『月。 :。月或 一 . 尹 ?一。 其中 ,称为卡尔曼增益。 对于非线性系统,静态方程可表示为: . 臼月。吼 . 。曰月 我们可以将非线性函数/:目、‰口、%口在日””、 一附近进行泰勒展不, . 厂』口行仃【”一仃】十’?‘第四章基于自适应滤波的预测模型 . 。口『月 。臼”。月一十月【臼一月一】 这早 . 。 , ?筹。。 . 口?.. 五筹。一 采用一级近似,.、.搓述的非线性系统可以近似为。、, 描述的线性系统: . . ? 这罩 , /:一 一 . 。一一 将.、.两式做简单的变形,可得到.、.两式的形式,则 可按以下迭代计算,即广义卡尔曼滤波算法 ,简称四: , . 一月一。竹一 . ?日”“ 厅一日聆行何 ” . . 一一月一 通过线性化近似处理,可以把上述卡尔曼滤波算法应用于神经网络的训练 中,详细推导见..小节。 方法 在第二章己对做了一些描述,这里再对其进行系统介绍。考虑系统第四章基 于自适应滤波的预测模型 目 . 。 这罩的问题是,给定/墨曼时,求出臼的估计值,满足: . 阳:窆一,各。防, 『 这早,五是遗忘因子,满足丑且接近于。 对于每个时刻,可通过以下迭代计算,即算法:. ?月一一日 . 一:,。一】一 . 兄一一五。一 这甲,是增益矩阼,满足: . ?】 . ?”兄庐一:。 口、可根据先验知识确定,若无任何先验知识,可取 . 如,;, 类似于广义卡尔曼滤波的做法,对于系统: . 一 . 。目” 为求出估值,使 . 古一:窆,一‖一‘刀一,第四章基于自适廊滤波的预测模型 最小,则可将。占”在一附近做泰勒展开,得到口,口‘”臼一一其中, . ’四警。、 采用一级近似,.、.描述的系统可用以下.、 .两式近似:一 . ’ 玟早. , 。一一 ? 将.、.两式做简单的变形,可得到.、.两式的形式,则 各可按与脒类似的方式递归计算】: . 毋?足聍一磊。?” . 门胛一日甩】 一.珂,一 . 五一一五“一 , 这罩,的定义与,、.式类似,只是将.式中的。改成 、的取值规定亦与前文相同。 ?..基于卡尔曼滤波的神经网络训练及自适应删剪算法 全局卡尔曼滤波算法】 彳:失一般性,考虑一个层前馈神经网络,它由一个输入层、几个非线性 隐藏层和一个输出层组成,第层表示输入层,第层表示输出层,如图.所 示。其中,第层的第个输出为;,第层的第个神经元中与第 层第个输出的连接权重为彰。若第层的神经元总数表示为??,则该层每 个神经元与第层共有?一个连接权重,对第个神经元,磷??。实 际上是与第一层的阈值单元的连接权重,则整个网络的权重总数为第四章基 于自适应滤波的预测模型 . ?。??一】?? 为了将这个前馈网络的训练问题用广义卡尔曼滤波的递归方法米解决,我们 将这些网络权重依次排称的口维列矢量看作系统的状态矢量,即 睇 雠 . 则这个前馈网络构成的输入输出系统可假定由下述方程来描述目?,矗‘,。 功 其中的是网络的理想输出矢量,‘以、是网络的输出、输入矢量 、分别是平均值为,协方差为蜱、的噪声。 这样,的估值可用广义卡尔曼滤波递归计算完成,并且简化为: . 椤,一十足【一‘ . 尸肛?胛月门 肝门】?一一一 珂【一一 以上算法称为神经网络的全局卡尔曼滤波训练算法,其中的是梯 度矩阵,由网络输出对各权重的偏导数构成,即: . :丝竖盟到 、 口。;。一” 可由反向传播算法逐层递归计算得到。 当充分大时,算法可将所有样本的网络输出与其期望值间的均方误 差降至规定值以下。最终所得协方差矩阵尸。可用来估算每个权重的重要性, 从而删除那些不重要的权重,这旱的删除指的是将其值置为。对于权重 以, 。,妞,式规定,设其重要性的度量为。,若在训练过程中 规定: 第四章基于自适应滤波的预测模型 . ” 其中,,则有】 。。。。吒 . 其中,从理论上估算了删掉权重只,而引起的均方误差的增量。将。按 从小到大的顺序排列,从而将这些权重按重要性重新排序为 . 氓,?,目。。。 则删掉前个权重引起的均方误差增量可估计为: . ?。。?。 , 若允许的均方误差的增量为?,则可删除的权重数目应满足: ;‰,‰: 式.估算的误差增量往往与根据实际样本集计算出的误差增量有~定的偏 差,为精确起见,可按.规定的顺序,依次删掉这些权重,同时根据实际样 本集计算出的误差增量,这样得到了一个误差增量序列: ?矿?,?。 对于允许的均方误差的增量?,可删除的权重数目满足: . ? 且对任意肌,有 . ,?舡 也就是说,.中的排序实际上只是给出了一个较为准确的删除权重的顺序, 均方误差的增量还得根据实际样本集计算。 在允许的均方误差的增量?小于一定值时,删除这些不重要的权重可以使 网络结构更为紧凑,提高推广能力。 局域卡尔曼滤波算法【,。 由于全局卡尔曼滤波算法在每次迭代过程中需要更新误差协方差矩阵,而协 方差矩阵的大小同权重的总数的平方成正比,其计算复杂度即使对中等规模的网 络也是过高的。为了降低计算的复杂度和提高学习速度,人们提出了局域的卡尔 曼滤波算法。对于局域的卡尔曼滤波算法,每一次权重调整不是整体进行,而是 逐个神经元分别进行,调整公式的形式与全局情况完全相同,只是其中的权重矢 量、卡尔曼增益、误差协方差矩阵都是对单个神经元定义,这里就不再赘述。 第四章基于自适应滤波的预测模型 文献讨论了局域卡尔曼滤波算法,并在此基础上提出了网络权重的删剪 算法,其过程与相应公式办与全局情况相同,只是误差协方差矩阵分别采用 了各 神经元权重矢量的协方差矩阵,在此也不再赘述。 ?.基于自适应滤波的预测模型 ?..非线性时问序列的状态矢量模型 在介绍这种预测模型之前,我们先简单介绍一种描述非线性时阳序列的 模型,称为状态矢量模型 ,简称。对于非静态的非 线性时间序列 . ?即 其中, 工 一 . 胛 ”是独立的、确定分布的噪声。 .式可以重新描述为 . , 其中,称为状态矢量,它是一个高维矢量,随时间发生变化,是以 、口”为变量的非线性函数,该非线性时间序列的特性由及序列 徊的变化过程完全确定。一般的,口”可认为是一个随机过程,可用 各阶统计参数对它进行描述。 ?..基于自适应滤波的预测模型 基于,考虑这样一种非线性时间序列模型:如果的概率分布主 要集中在的平均值研曰月周围,即的方差较小。为了直观的进行描 述,可将臼”想象成一维的,。目月的函数曲线如图.所示。对于这样的 一种非线性时『白序列,其在线预测问题可以用算法很好的解决。 算法特别适合于实时信号处理。对于.、.描述的线性系统,第四章基于自适 应滤波的预测模型 算法能在每一步递归中计算出使误差能量函数下降的系统状态 矢量,因此,对于线性系统算法能通过测量函数的观测值,递归计算出 系统状态矢量的最佳值。但对于.、.式描述的系统,此时测量函 数是非线性函数,算法能否给出系统状态矢量的最佳估算就取决于 .式中的一级近似能否很好的逼近每个时刻的非线性输出函数 ,,民,这就要求臼比较接近于一,只有这样.式中的二次 项及其后的高阶项都可以忽略,从而.、.式将成为系统模型的很 好近似。 用算法进行非线性时问序列.的在线预测相当于对时刻的 邻近的一定宽度的时间窗口内的状态矢量值进行一个中值估算,该估算 值能使这个邻近窗口内的测量均方误差最小。由于目紧密分布在研口的 周围,故将十分接近于,满足对非线性测量函数采取一级近似进 行线性化的条件,因此用算法很适合做状态向量的方差较小的非线性时 间序列的在线预测。这也是我们选择算法作为预测模型进行二次 在线学习算法的出发点。 。目九 / , / 图.状态矢量的概率分御 然而,应用算法之前还存在两个重要问题: 非线性函数?,”咳如何确定; 迭代初值、的选择。第四章基于白适应滤波的预测模型