如何利用大数据进行辅助决策,涉及的关键技术有哪些,这样一个分析辅助决策系统呈现给终端用户的表现形式是什么呢?
大数据+决策支持,涉及的技术面太广了,需要结合业务产品,推整体业务解决
方案
气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载
,才好落地。上面的大数据分析平台是一个国家发改委一个科研项目的解决方案,落地的平台看这里 规划的数据平台产品AE(Accelerate Engine)
就按照这个图给你说说吧。
数据源:其实这种分类法是一种,还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构,而特别要说的是流数据,它的核心就是数据的连续性和快速分析性;
计算层:内存计算中的Spark是UC Berkeley的最新作品,思路是利用集群中的所有内存将要处理的数据加载其中,省掉很多I/O开销和硬盘拖累,从而加快计算。而Impala思想来源于Google Dremel,充分利用分布式的集群和高效存储方式来加快大数据集上的查询速度,这也就是我上面说到的近似实时查询;底层的文件系统当然是HDFS独大,也就是Hadoop的底层存储,现在大数据的技术除了微软系的意外,基本都是HDFS作为底层的存储技术。上层的YARN就是MapReduce的第二版,和在一起就是Hadoop最新版本。基于之上的应用有Hive,Pig Latin,这两个是利用了SQL的思想来查询Hadoop上的数据。
现在说到你问题中的关键了,想利用大数据做决策支持,那么好,R可以帮你在大数据上做统计分析,利用R语言和框架可以实现很专业的统计分析功能,并且能利用图形的方式展现;而Mahout就是一个集数据挖掘、决策支持等算法于一身的工具,其中包含的都是基于Hadoop来实现的经典算法,拿这个作为数据分析的核心算法集来参考还是很好的。
数据层和分析层就不过多的说了,主要的在计算层中已经说了。至于你问题的后半部分,这样一个决策支持系统要怎么展现呢?其实这个和数据挖掘过程中的展现一样,无非就是通过表格和图标图形来进行展示,其实一份分类详细、颜色艳丽、数据权威的数据图标报告就是呈现给客户的最好方式!至于用什么工具来实现,有两个是最好的数据展现工具,Tableau和Pentaho,利用他们最为数据展现层绝对是最好的选择。
大数据+决策支持,涉及的技术面太广了,需要结合业务产品,推整体业务解决方案,才好落地。上面的大数据分析平台是一个国家发改委一个科研项目的解决方案,落地的平台看这里 规划的数据平台产品AE(Accelerate Engine)