下载

0下载券

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 利用大数据技术寻找石油,事半功倍

利用大数据技术寻找石油,事半功倍.doc

利用大数据技术寻找石油,事半功倍

至死不渝lv
2018-12-24 0人阅读 举报 0 0 0 暂无简介

简介:本文档为《利用大数据技术寻找石油,事半功倍doc》,可适用于社会民生领域

利用大数据技术寻找石油事半功倍能源行业迈入大数据时代随着数据总量的持续增长和急速膨胀大数据时代已经来临石油、电力等能源细分行业纷纷拉开了大数据开发应用的序幕。如何从海量数据中高效获取信息有效地深加工并最终得到有用数据是能源企业涉足大数据的目的。对石油行业来说众多企业正在把更多的新技术应用于战略决策、科技研发、生产经营和安全环保等各个领域目的是为了从大数据资源中挖掘更多的财富和价值。大数据应用是石油行业信息化深入、IT与业务深度融合的必然趋势在我国石油石化行业应用的前景将越来越广阔。随着石油储备的逐步减少石油石化行业产业链中的勘探、开发难度日益增大信息化的成熟度已经成为影响行业增长幅度的首要因素。精准、快速的地质勘测成为世界能源巨头们倚重的核心竞争力之一其中高性能计算技术和大数据技术的应用是关键因素。油气勘探海量数据处理需要高性能计算目前在石油勘探中最常用的是地球物理方法。地球物理方法是使用现代物理方法进行地质勘探的方法包括电法、磁法、重力法、放射性法、地震波法等其中以地震波法最为重要。为了了解和模拟出地下数千米的地质构造通过地震波反射方式来收集海量数据一般二维数据可达~TB三维数据可高达几百TB甚至PB级然后进行大量的密集计算和模拟计算结果出来后还要转换成直观的可视画面方便专家对数据进行解释为油气钻井定位提供参考。因此这些海量数据的处理只有借助高性能计算才能实现最佳的勘探效益这也是在石油勘探领域高性能计算需求的主因。由于石油勘探行业的特殊性和复杂性石油勘探对高性能计算提出了非常苛刻的要求。过去十年中石油勘探计算处理多采用大型机或高性能计算机但目前高性能计算机系统在计算性能、系统建设与运行成本等方面已经面临着许多问题。让石油勘探企业感到颇为头痛的问题主要集中在三大困境:一是计算能力需求和CPU处理器性能落差越来越大目前通过不断提高CPU处理器的工作频率来提高计算性能的技术路线已经逐步走向其极限二是石油勘探高速增长的数据和存储扩容越来越不匹配三是能耗制约越来越严重高性能计算机的体积大、耗电多等弱点以及对庞大的计算机房空间需求、空调需求和用电量等已经成为石油勘探数据处理的一大挑战。地震资料数据的大数据特征BGP(中国石油集团东方地球物理公司)是中国石油天然气集团公司独资的地球物理专业化技术服务公司主要从事陆地、浅海地震勘探采集、处理、解释及物探装备和软件研发业务分布在全球个国家陆上地震勘探市场份额居全球第一位。现拥有万员工多IT人员和多软件开发人员在全球有个处理中心约万CPU核和万GPU核运算能力约PFlops存储容量超过PB。中国石油集团东方地球物理公司研究院的总工程师赖能和先生曾在华为云计算大会上做了《大数据技术在石油勘探领域的应用》的主题演讲对地震海量数据的采集与处理过程做了详细阐释。石油勘探过程产生的大数据有自己独特的“V”特征:、数据海量:以BGP为例每天会产生大于TB的生产数据在地震资料处理过程中还会产生大量的中间过程数据。、数据来源单一:地震资料数据是由人工模拟地震波激发由定点采集仪器接收和采集到的数据来源和数据格式都比较单一。、计算量大:以BGP为例TB的原始数据通过个CPU的计算集群处理需要多天时间。、处理流程复杂:地震资料处理过程涉及到频繁的IO和数据库操作复杂。地震数据的快速增长对于存储提出了巨大需求也对传统的HPC软硬件架构提出了新的挑战。华为石油勘探HPC解决方案实现高计算、大存储能力针对石油行业的特点和需求华为提出了石油勘探HPC解决方案包含以下几个部分:、计算集群系统计算节点和胖节点采用华为刀片服务器提供强大的计算能力特别是浮点计算能力以完成地震资料处理中巨大的计算任务。、存储系统存储部分采用华为OceanStor大数据存储系统(简称OceanStor)。与传统的NFS和lustre方案不同OceanStor采用全对称分布式架构每个节点都可以提供IO和存储单元提供业务访问、数据处理和存储的能力因此可以轻松完成节点扩容实现系统性能和容量的线性扩展。其全对称Scaleout架构通过集群模式、自动负载均衡、全局缓存等技术来整合和管理系统资源有效提升存储系统性能缩短地震资料处理的作业周期。OceanStor还具备高可靠性和硬件容错能力保障作业正常运行。它还能提供灵活的组网方式前后端网络均支持Infiniband或者GE以太网高速互联能有效满足石油勘探HPC场景的高带宽、低时延需求、网络互联采用计算网络、存储网络和管理网络分离的方式。计算网络采用万兆以太网承担并行计算时的数据通讯。管理网络采用千兆以太网用于HPC集群系统的管理和监控。存储网络采用GE以太网或GE的Infiniband网络为主机访问数据文件提供高速的网络互联。BIwwwyonghongtechcom

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

评分:

/4

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利