水文时间序列相似性挖掘系统
1引言
时间序~:ll(timeseries)是指按时间顺序排列的观测值 集合.按照研究的现象和问题的不同,可以得到各种时 间序列.例如产品销售
记录
混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载
,股票价格数据,地区降雨 量数据等,针对时间序列的数据挖掘研究从大量时间序 列历史数船中发掘有价值信息的算法及实现技术,是一 个新的,极具挑战性的研究领域.时间序歹?相似性挖掘 的目的是柜时间序列数据库中发现与给定序列模式相似 的序列.在这方面前人已开展了大量工作.
时间序列相似性挖掘的典型算法是基于离散博立叶
该方_=击通过DFT将时 变换(DFT)的相似性比较方法】.
间序列从时域空间映射到频域空间,用R一拊作为其索引 结构Faloutsos等人叉在此基础上提出了快速子序列匹 配技术IzJ,采用滑动窗口和MBR方法,ST-index作为索 引和存储.这些方_=击在判断序歹?相似时采用了欧氏距离 作为序列间的相似性评价函数,即两序列间欧氏距离小 于绐定闽值时就认为序列相似.但实际中,由于序列 长度等或取样率不同等问题,使得欧氏距离难以直接 应用.因而RAgrawal和DavoodRalilei在各自工
允许 作中提出了序列规范变换和仿射安全变换的技术,序列比较前首先进行适当变换,井对各种变换实施顺序 及其对效率的影响等问题进行了讨论.
上述基干DFT,欧氏距离和各种序列变换的相似挖 掘方具有较好的适应性和灵活性.但其局限性时间排 序的数据元素组成,每个数据元素又是一个n维向量.目 前关于多维时间序列相似性研究尚不多见.但在实际中,
多维时间序列具有重要的意义,例如为了根据水雨情数 据的历史观测值作出正确的预报,需要将水位,流量,降 雨,气温等多个指标综合考虑,这就需要考虑多维时间 序列.目前,多维时间序列研究,特别是基于多维序列 数据的相似性挖掘研究是具有重要应用前景的研究方向. 水文数据库相似性挖掘系统是我们正在从事的水文 数据挖掘HYDM(HydrologicalDataMining)研究工作的 一
部分.水文数据库中存储着大量时间序列数据(水位, 流量,雨量等),而相似性挖掘对洪水预报,防洪调度具 有重要的现实意义.我们在
分析
定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析
现有的相似挖掘模型和 算法的基础上,设计了针对水文时间序列数据的特点及 要求的相似性挖掘系统.
2水文相似性挖掘系统
经过对现有多种时间序歹【I相似性挖掘算法的比较,
我们借鉴前人的研究 依据水文时间序列的特点和要求,
成果并进行了改进,设计出水文相似性挖掘系统.系统 主要基于欧氏距离度量,根据需要允许平移并引入移动 平均值比较处理较长序列时,采用子序列MBR方法, 降低复杂度;特别提出了对多维时间序列进行相似性挖 掘的方法.
2.1水文时间序列
水文数据库中存储着大量时间序列数据,例如各类 测站(河道站,闸坝站等)水文数据观测值,数据包含实时 数据和历史数据.
以江苏省水文数据库为例.如河道水情数据:存储
各河道站记录的水文数据,主要信息包括站号,时间,水 位,流量等降雨量数据:存储各雨量站的降雨数据,主
要信息包括站号,时间,降雨量等.
由于拍报级别不同,不同地区不同类型测站的报汛 时间可能不同.但同一地区内各类测站均按照级别规定, 有严格统一的时间间隔如雨量站基本报汛时间为每日 上午8时加报除外.因而水文时间序列可以看作是离散, 规则的时间序列
2.2系统功能与结构
水文时序数据相似性挖掘系统主要目的是指定一时 间序列(称为查询序列),在水文时间序列数据库的相应序 集上自动挖掘出与之具有相似模式的一个或多个时间 序列.例如可以发现夸年汛期某河道站的水情与历史上 某年相似.从而辅助防汛部门做出相应的防洪决策 按挖掘对象信息类分,系统包括雨情,河道水情 闸坝水情,水库水情等多个功能模块;按时序数据的维 数分,包括一维时间序列挖掘和多维时间序列挖掘 例如,单站降雨量是一维时间序列,而同时考虑某时 间段内多个站的降雨量就可看作是多维序列.仅考虑单 站流量或单站水位是一维时间序列,但某些站既有流量 又有水位,就是二维序列,当同时比较某时间段内n个站 的流量时,就成了n维序列.在实际应用中,某地区内多 站降雨,某河道上的多站流量或水位通常比单站数据更 有意义,从而也更有相似性挖掘的必要
水文时序数据相似性挖掘系统层次结构如图1所示. 嚣耋麓翥罄删螂萁他
图1
相似性挖掘主要步骤包括:
.
数据选择:相似性挖掘的对象可以来自水文数据库 (包括实时数据库),也可以来自水文数据仓库及其他数据
源需对选择的时阃序列进行数据预处理,进行一致性 检查,消除噪声干扰等.
.
相似挖掘:按照预先设计的相似性度量方法,进行 挖掘包括参数定义,序列分割,子序列MBR距离计算, 相似程度判断等,是系统的核心.
结果
表
关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf
达;将挖掘得到的结果以可视化的形式呈现 给用户,如果不能另用户满意,则需重复上面的步骤 3结束语
我们利用江苏省水文数据库的部分数据对挖掘系统 进行了测试,不仅验证了许多已知的相似序列模式,更 发现了许多新的相似性.
水文时间序列相似性挖掘系统中提出了较为可行的 多维时间序列的相似性挖掘方法,挖掘算法基于MBR, 并不需对序列上的每个点进行比较,降低了时间和空间 复杂度,提高了效率.尚须努力的方面包括:不规则时 间序列上的相似性挖掘t对噪声数据的有效处理;当多 维时间序U维度较高时,需考虑采取降维技术.? 参考t献
,R月.CFMoutm=.
andA.
Swam/.Eff/cier~=inv~itys~a,chm??
datab~os,
Proc.4川c.f.c?,FomdaCionsofDmr?『血cmd AlgorithmsOct}09~84 2cFaloccsos.M?andY.ManotopoulosF=t一蛔 m豳肾_搴-抽曲埘晦罄.Proc}洲AOO-SIGMOD.C明M"-枷 Mayt994.}9,忸
3月.Agtwal,.一f.Un.
//.SSawhney.
?dShimF=tS~tRrdy脚_mthe
preser,ceofnoise.?旧.andmm?mame-sefie=曲?h栅Proc 2,I卅,ConfVeryD啪血j时.
s}鲫5490~50t.
4DavoodRaFmi.and^0Menddzona咖TimeB? ?Similerity.IEEEr~tions?and日'咖VOL ,2.No5.&m.2003.6/5--093,
浙公网安备 33021202002483