金融时间序列数据挖掘的研究与应用

第30卷 2008年 2月 第1期 104—106页 世界科技研究与发展 W ORLD SCI-TECH R&D Vol_30 No．1 Feb．2008 PP．104—106 金融时间序列数据挖掘的研究与应用 何 典 梁 英 (湖南商学院计算机与电子 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 学院，长沙410205) 摘 要：介绍了金融时间序列分析及其方法，阐述了金融时间序列数据挖掘的特点， 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 了金融时间序列数据挖掘的主要方法，介 绍了金融时间序列数据挖掘的典型应用及技术进展。 关键词：时间序列分析；数据挖掘；金融 中图分类号：TP391 文献标识码：A Research and Application of Financial Time Series M ining HE Dian LIANG Ying (School of Computer and Electronic Engineering，Hunan Business College，Changsha 410205) Abstract：Introduces the financial time series analysis and its technology，expounds the characteristics of financial time series mining，sum— marizes the main methods of financial time series mining technology，introduces the representative applications and technology progresses in the field of financial time series mining． Key words：time series analysis；data mining；finance 1 引言 时问序列分析被广泛地应用于电力、水文、气象 、金融 、 医学等领域。在金融领域中，股价 、股指、期权期货价格、汇 率等都属于时间序列数据。对这些数据进行时间序列分析， 可以得到各种金融数据之问的关系、随时间变化规律与趋 势、异常变动、相似群体或者相异的个体等，对可疑金融交易 监控、股市汇市预测、上市公司分析 、特殊投资机会发掘等都 有重要的参考价值。数据挖掘是进行金融时问序列分析的 有效方法 ，金融时问序列数据挖掘已成为目前数据挖掘技术 研究和应用的热点之一。 2 时间序列分析方法 目前 ，时问序列分析的主要方法有 ：基本分析和技术分 析、统计分析和数据挖掘。 2．1 基本分析和技术分析⋯ 在证券和期货市场的实际操作当中，基本分析和技术分 析是最常见的分析方法。基本分析主要通过对影响市场的 各种因素进行分析，得到市场的走势预测；技术分析是指通 过一些公式和定义对历史数据进行计算，得到一些技术指标 和图 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf ，用来判断市场的未来走向。基本分析和技术分析在 股市、期货市场的实际交易中应用较多，但不同的研究者站 在不同的角度对这些分析的结果有不同的看法，实际操作也 各异。基本分析和技术分析也无法用于进一步分析数据中 隐藏的其他规律和各种复杂的统计特征。 2．2 统计分析 统计分析一般基于一些构造好的数据模型，需要较高的 模型构建技巧，并且以一些假设作为前提，如平稳性假设、正 态分布假设等。而金融时间序列数据具有海量、高维、动态 变化迅速、信噪比低、非平稳、非正态、非线性、要求快速响应 等特点。所以，统计分析并不能很好地满足金融领域中时间 序列分析 的需要。另外，统计分析无法处理大规模的数据 集 ，其不适合于主动发现规律的方式。 2．3 时间序列数据挖掘 数据挖掘是从大量的数据中，抽取和发现潜在的、有价 第 104页 值的知识(模式或规则)的过程。广义地说，所有从海量数据 中发现新的规律的方法都可以统称为数据挖掘技术 。数 据挖掘技术近年来被广泛用于时间序列分析。采用数据挖 掘来对金融时间序列数据进行分析，以数据为驱动，可不基 于任何假设，可以处理大规模的数据集 ，由计算机 自动快速 地发现一些隐藏的、有价值的规律 。 金融时间序列数据挖掘方法 金融时间序列数据挖掘主要方法包括聚类分析、关联模 式挖掘、相似序列分析、神 经网络、异常检测 、混合 挖掘 等 ‘， ～ 。 3．1 聚类分析 将较大的数据集划分为几类小的数据集，在每一类中的 数据相似度较高，属于同一个类的对象可以作为一个整体来 对待。通过聚类分析，能够识别密集的和稀疏的区域，从而 发现全局的分布模式，以及数据属性之间的有趣的相互关 系。金融时问序列聚类分析可以应用于金融资产价格预测、 投资组合、板块研究以及风险分析等许多方面。 3．2 关联模式挖掘 关联模式挖掘用于发现事物间的关联规则。通过关联 模式挖掘，可以分析不同股市间的联动，分析不同股票之间 的联动、分析股价和成交量之间的关系。金融变量和非金融 变量之间的关系(降水量与大豆期货价格)。 3．3 相似序列分析 用于发现与给定目标序列最相似的序列。数据挖掘技 术可以从大量时间序列数据中提取具有相同变动趋势的子 序列，从而进一步发现这样的子序列出现后 ，最有可能出现 什么样的变动情况。当在未来某一天再次出现相似的走势 时从概率最大意义上辅助决策。这样，可以根据图形上的相 似程度，寻找价格、收益率 、变化趋势相近的金融数据序列。 3．4 神经 网络 人工智能中的神经网络具有广泛的适应能力和学习能 力，通过神经网络训练出不同的模型。神经网络可以用于分 类分析 ，即根据一组训练集，找出训练集记录的特征，然后根 WWW．globesci．corn 维普资讯 http://www.cqvip.com 2008年2月 世界科技研究与发展 管理学 据这些特征分类后续的未知类别的数据。 神经网络还可用于股票价格预测等金融时间序列预测 应用中。 3．5 异常检测 通过发现数据集中明显与其他数据不 同的数据(离群 点，或称孤立点、奇异点等)，通过异常检测，可以发现异常资 金量的转移和高频交易行为等，也可以用于信用卡欺诈行为 的检测。 3．6 混合挖掘 由于金融领域的时间序列具有一些重要的特征，因此可 将各种挖掘方法与金融时间序列的特征，以及各种传统的时 间序列分析模型相结合形成混合挖掘方法。这类方法大都 针对金融领域某个特定的分析任务，或者基于金融时间序列 数据的某些特征，因此更具有针对性。 文献[8]结合了聚类分析和径向基神经网络的优点。先 利用聚类分析的方法 ，将历史数据分类 ，然后针对不同类型 的数据，采用径向基神经网络训练出不同的模型；最后对新 输入的时间序列，先判断它属于哪一类，然后输入对应于该 类已经训练好的模型，得出预测结果。文献[9]基于小波的 多尺度奇异事件特征提取方法 ，将时间序列分割为独立趋势 形态的事件子序列，利用遗传算法改进聚类算法性能。 4 金融时间序列数据挖掘应用及技术 4．1 可疑金融交易监控 金融交易数据中存在着大量的表(关系)，包含着丰富的 属性。有的属性是数量型(如年龄、交易金额等)，或者是分 类型的(如邮政编码、电话号码等)。这些属性间蕴含着丰富 的关联规则。有效地发现这些关联规则，对于实际决策过程 有着重要的意义。文献[10]提出了基于模糊概念的量化关 联规则挖掘方法，通过在数据属性域定义一组模糊概念，将 隐含于量化属性间的关联关系转化为模糊概念间的问题而 解决。从而使结果简明，便于理解。该算法可以用于反洗钱 工作中的可疑金融交易识别，为有效开展可疑金融交易识别 提供有益参考。 通过分析金融网络中的交易路径 ，可以发现有洗钱嫌疑 的交易。文献[11]为了有效挖掘洗钱路径信息，设计了金融 网络中洗钱资金异常转移路径的经济成本模型，利用经济成 本最小原则构造合理路径集合和异常路径集合，进而通过异 常路径集合筛选可疑洗钱者。该模型能够改善反洗钱的监 管效率，为金融机构改善反洗钱内控体系提供经济可行的方 法。 文献[12]提出了一种快速的基于 FP·tree的约束最大频 繁项目集挖掘算法，可以根据用户的需要，随时减少不满足 约束条件的候选项目集个数，提高运行效率，同时可以确定 挖掘主属性，确定生成的关联规则范围，可以为有效开展金 融交易识别提供有益参考。 在金融分析中，发现稀有或例外事件的离群(outlier)模 式检测(又称作异常检测或奇异检测 )越来越显示出其重要 的研究价值，可以用于欺诈检测、金融监管、可疑交易监控等 实际应用。文献[13]和文献[14]均提出了基于相似度的离 群模式检测模型。文献[13]主要利用知识属性集分析离群 点，即能够处理离群点的数值属性，又能够处理其类别属性； WWW．globesci．com 通过组间相似度发现离群模式，不仅回避了离群点数量少的 缺陷，又利用了离群点的隐含语义。该模型能检测出可疑资 金流动序列，为反洗钱工作提供有意义的线索。文献[14]提 出了基于时间序列相似度的离群模式检测模型，通过基于重 要点的时序线段拟合方法描述整体波动规律，以线段斜率比 较描述时序走势的相似度。克服了一般时间序列分析算法 复杂度高 、缺乏整体波动规律把握的缺陷。可以有效地解决 高误报率、报送数据调查价值低的问题。 4．2 股票操纵行为识别 庄家行为会在其操盘上留下痕迹，也为通过分析操作行 为序列识别股票操纵行为提供了可能。文献[15]介绍了一 种数据可视化方法——三角多项式图，提出了一种数据鲁棒 距离，并在此基础上进行金融数据的快速聚类 ，可以发现庄 家行为和股票操纵，有利于实施有效的金融监管和加强市场 执法。尤其是严重操纵行为的股票，可以被挖掘出来。 4．3 股市汇市特性分析 金融时间序列数据挖掘可以找出股票运行的内在规律 ， 发现交易数据中的潜在规律和投资者感兴趣的震荡模式，在 众多股票中找到有相似波动规律的股票或者历史上有相似 波动的时段。相似性搜索是找出与给定查询序列最接紧的 数据序列，轮廓相似，局部上可以存在差异。文献[16]使用 相似性搜索技术寻找与上证综指有相似走势的个股 、寻找有 w底和M头走势的个股。 金融市场具有复杂的非线性动力学特性，可以将物理学 一 些理论和方法应用于研究金融时间序列数据。例如，将统 计力学应用于股市特征和收益率的概率密度函数特性研究； 将相变理论应用于股市突变的微观结构分析；将量子力学和 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 场理论应用于远离均衡状态的资产价格建模 ；将混沌与 分形应用于股市收益率的标度特性研究。文献[17]将消除 趋势波动分析法(DFA)应用于我国沪深两市不同时间标度 收盘指数的对数收益率序列，全面分析了我国股市价格波动 的标度特性。该方法还可以用于汇率波动的标度特性分析 等。 金融市场的有效性问题与投资决策、风险管理 、资产定 价等理论有重要的联系。文献[18]通过时间序列事件征兆 模式挖掘方法 ，对沪、深股市近年来的股票价格序列数据进 行挖掘，利用挖掘出的局部预测模式检验我国股市收益率的 短期可预测性 ，以此分析探讨我国股市的有效性问题。 文献[19]研究了一种股市交易决策规则挖掘系统。该 系统反映个人偏好特性 ，由投资者根据其经验给出买卖序列 模板 个人简介word模板免费下载关于员工迟到处罚通告模板康奈尔office模板下载康奈尔 笔记本 模板 下载软件方案模板免费下载 ，并确定相似度量偏好 ，系统根据相似度量偏好模型实 时识别股市形态，自动发出买卖信号。该模型可以用于确定 买卖时机，发现收益超过平均水平的交易规则，也可以用于 评价已有模型的实际效果。 文献[20]提出了基于小波和支持向量机的复杂时间序 列预测方法，结合了支持向量机和神经网络预测方法，对股 票数据进行预测，并在上证综指上进行了实验。 4．4 上市公司分析 文献[21]从大量的金融数据中找到数据间的关系和规 律。通过多层次的比率分析 ，采用聚类分析方法来分析上海 和香港股市的上市公司。通过构建基于 Web和金融 比率分 析的公司多层聚类系统，并集成了OLAP、关联规则等分析工 第 105页 维普资讯 http://www.cqvip.com 管理学 世界科技研究与发展 2008年2月 具，得到聚类结果，使用户可以对公司之间的相似关系有较 深的了解，从而帮助用户做出正确的选择和投资行为。 文献[22]提出了一种基于多重分形的时间序列聚类算 法，该算法能够根据不同的分析 目的，灵活地使用不同的概 率函数以及序列的多重分形特征参量进行聚类。该算法可 用于发现其股票变动的相似上市公司。 4．5 开放式基金比较 文献[23]通过金融时间序列数据的分析，来衡量开放式 基金选股和择时能力。通过在 T—M和 H—M两种模型上 加入 CRACH模型来刻画时变过程，从而更精确分析我国开 放式基金经理的选股和择时能力。 4．6 汇市预测 文献[4]通过频繁模式分析来刻画汇市的波动性。如小 幅震荡上涨，急剧下跌后小幅叫升 ，暴涨后暴跌等；通过模式 匹配对其走势做出分析和预测对趋势的快速准确的判断。 4．7 特殊投资机会发掘 创新异常值(Innovation Outliers)的存在会波及到后面的 数据，从而使这些数据也展现出一定的异常，容易出现成串 的异常数据，并从本质上改变未来数据的趋势。所以成为金 融统计分析和金融数据挖掘需要着重解决的问题。这些异 常值往往另带了重要的投资信息。文献[24]通过分析证券 品种的历史数据 ，从中寻找出符合一定条件的点，在这些点 之后的预设点数内，要求收盘价能够达到目标利润。找出适 合进行异常投资机会的盘中挖掘。 5 结束语 金融时间序列数据挖据技术的研究与应用虽然已经有 了较大的进展，但是由于金融领域复杂度高 、数据量大、属性 丰富，并且受到各种因素的干扰 ，其挖掘结果是否反映实际 情况，是否满足需求 ，也需要进行进 ·步的验证 ；挖掘结果能 否被使用者理解和接受，也受到使用者个人因素的制约；加 之金融机构之间的激烈商业竞争与保密要求，使得实用技术 的交流受到限制。所以，金融时间序列数据挖掘技术还面临 一 些问题，有较大的研究空间，需要进一步进行研究和实践， 金融时间序列数据挖掘的普遍应用也需要较长的时问。值 得注意的是，金融时间序列数据挖掘技术可以应用到时间序 列分析的其他领域，而其他领域的时间序列分析技术的进展 也可以被金融时间序列数据挖掘技术所借鉴，这也说明了金 融时间序列数据挖掘技术重要的研究意义和广阔的应用前 景。 参考文献 [1]黄超，龚惠群 金融领域时间序列挖掘技术研究[J]．东南大学 学报(哲学社会科学版)，2007，(5)：36—39 第106页 [2]胡桔州，兰秋军．金融时问序列的数据挖掘技术与经典统计模型 的比较 J]．系统工群，2005，(6)：95～98 [3]Hand D，Mannila H，Smyth P．Principles ofdatamining[M]．Mas— saehusetts Institute of Technology，2001 [4 胡晓青，王波．基于数据挖掘的金融时序频繁模式的快速发现 [J]．上海理工大学学报，2006，(4)：381～385 [5]马超群，兰秋军，陈为民．金融数据挖掘 [M]．北京：科学出版 社 ，2007，4 [6]兰秋军，马超群，文风华．基于共同机制的时问序列关联模式挖 掘系统及其应用 J]．系统工程理论与实践，2004，(8)：73～79 7]尚书敬，张有仁，刘洁．RCR：一种面向金融时间序列的相似度量 模型[J]．华东理工大学学报，2005，(6)：775～777 [8]刘峰，瞿俊．基于聚类分析和神经网络的时问序列预测方法[J]． 微电子学 j 算机，2006，(9)：85～87 [9]曲文龙 ，张克君，杨炳儒，等．基于奇异事件特征聚类的时问序列 符号化方法[J]．系统工程与电子技术，2006，(8)：1131～1134 [10]李时．基于模糊概念的可疑金融交易最化关联规则研究[J]． 当代经济科学，2007，(2)：57—60 [11]杨冬梅，吴冲锋，冯芸．金融网络中洗钱资金异常转移路径的经 济成本模型[J]．系统工程理论与实践，2006，(5)：23～29 [12]李时，张成虎．隐私保护关联规则在可疑金融交易识别中的应 用[J] 兰州大学学报(社会科学版)，2007，(2)：128～132 [13]卢正鼎，王琼．基于相似度的离群模式发现模型[J]．华中科技 大学学报(自然科学版)，2005，(1)：22～24 [14]汤俊，熊前兴．基于时问序列相似度的离群模式榆测模型[J]． 武汉大学学报(工学版)，2006，(3)：111～114 [15]畅莉．高维数据的可视化和快速聚类算法[J]．计算机科学， 2006，(11)：132～134 [16]宋咏谦，李芳，谢康林．金融时间序列的概念表示[J]．计算机 应用与软件，2005，(6)：53～54 [17]都国雄，宁宣熙，胡永生．基于 DFA的我国股票市场标度特性 研究[J]．南京师大学报(自然科学版)，2007，(3)：48—53 [18]兰秋军，马超群，甘圈君，等 中国股巾弱有效吗?——来 自数 据挖掘的实证研究[J]．中国管理科学，2005，(4)：17—23 [19 兰秋军，马超群，文风华，等．基于序列模板的股票时间序列交 易决策规则挖掘[J]．系统工程，2004，(11)：55～58 [2O]曲文龙，李海燕，刘永伟，等．基于小波和支持向量机的多尺度 时间序列预测[J]．计算机工程与应用，2007，(29)：182—185 [21]梅永国，杨杰 ，陈文中．一个基于 Web的金融多层聚类系统 [J]．七海交通大学学报，2002，(12)：1816—1920 [22]黄超，吴清烈，武忠，等．基于方差波动多重分形特征的金融时 间序列聚类[J]．系统工程，2006，(6)：100—103 [23]刘建桥，陈万正，孙文全．基于时变的我国开放式基金选股和择 时能力定量分析[J]．华中师范大学学报 (自然科学版)，2007， (2)：299—303 [24]杨虎，李强．金融时序 中异常数据挖掘算法设计及实证分析 [J]．fp圉管珲科学，2004，(3)：7～l1 作者简介 何 典(HE Dian，1977一)，男，湖南湘阴人，讲师，硕士，研究方向：数 据挖掘，网络数据库。 梁 英(LIANG Ying，1977一)，女，湖南湘潭人，讲师，硕士，研究方向： 网格计算。 ． (责任编辑：詹冬梅) WWW．globesci．corn 维普资讯 http://www.cqvip.com