[itpub.net]韩鸿源_Big_Data

Oracle Big Data 韩鸿源（henry.han@oracle.com） Director Exadata & Strategic Solutions Safe Harbor Disclaimer The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle Corporation. 大数据的驱动力大数据的驱动力大数据的驱动力大数据的驱动力 人 事物 流程 对大数据处理的需求对大数据处理的需求对大数据处理的需求对大数据处理的需求 采集采集采集采集 存储存储存储存储 查询查询查询查询 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 分析分析分析 人 事物 流程 Oracle 的大数据解决MATCH_ word word文档格式规范word作业纸小票打印word模板word简历模板免费word简历 _1714159864097_0的大数据解决方案的大数据解决方案的大数据解决方案 Oracle No SQL Database Cloudera Hadoop Oracle Big Data Connectors Oracle Advanced Analytics SQL Oracle Business Analytics Foundation Oracle Database Oracle 的大数据解决方案的大数据解决方案的大数据解决方案的大数据解决方案 Oracle No SQL Database Cloudera Hadoop Oracle Big Data Connectors Oracle Advanced Analytics SQL Oracle Business Analytics Foundation Oracle Exalytics Oracle Big Data Appliance Oracle Exadata Oracle Big Data Appliance 高性价比的高性能 Hadoop一体机 � 最高性能的预优化最高性能的预优化最高性能的预优化最高性能的预优化Hadoop一体机一体机一体机一体机 ‒ 同类产品中最佳的优化软件集成 � 到到到到 Exadata的超快连接能力的超快连接能力的超快连接能力的超快连接能力: 15TB/Hour ‒ 分区与非分区；在线与离线数据装载 � 预先集成优化的软件系统预先集成优化的软件系统预先集成优化的软件系统预先集成优化的软件系统 ‒ Linux, Java VM, Cloudera Distribution of Hadoop ‒ Oracle R Distribution & NoSQL Database � 从小配置起步逐步扩展从小配置起步逐步扩展从小配置起步逐步扩展从小配置起步逐步扩展，，，，处理能力与存储同步提升处理能力与存储同步提升处理能力与存储同步提升处理能力与存储同步提升 Oracle Exadata 提供最佳性能的高性价比数据库运行平台 � 提升查询速度提升查询速度提升查询速度提升查询速度 10-100倍倍倍倍 ‒ 智能扫描消除 IO 瓶颈 ‒ 智能闪存缓存实现内存级数据访问 ‒ 并行查询提供水平扩展能力 � 在提供高性能的同时降低存储成本在提供高性能的同时降低存储成本在提供高性能的同时降低存储成本在提供高性能的同时降低存储成本 ‒ 混合列压缩提供10倍的存储容量节省 ‒ 系统级发挥磁盘的容量，闪存的IO，内存的速度 � 从小配置起步逐步扩展从小配置起步逐步扩展从小配置起步逐步扩展从小配置起步逐步扩展，，，，处理能力与存储同步提升处理能力与存储同步提升处理能力与存储同步提升处理能力与存储同步提升 Oracle DBMS SQL & R 跨所有系统实现全面数据分析 SQL Hadoop Oracle Database R � 扩展基于 Hadoop 的数据和用 户的应用范围 � 为所有数据提供 Oracle SQL 与 R 的全面分析能力 � 通过快速的Big Data Connectors 把驻留在Hadoop 中的数据以流的方式持续导入 数据库 IB Oracle Business Analytics 探索与重用大数据 Oracle Business Analytics Sample and Discover Oracle No SQL Database Cloudera Hadoop Oracle Big Data Connectors • 方便地对Hadoop中的抽样数据 实现加载，可视化和分析探索 • 促进用户对大数据中潜在价值的 发掘 • 帮助用户为后续分析定义有效的 模型 In-Memory AggregatesIn-Memory Aggregates In-Memory CacheIn-Memory Cache Visualizations & Info DiscoveryVisualizations & Info Discovery Optimized Hive Connector Optimized DBMS Connectors � 统一分析驻留在Hadoop的数据与其他 结构化数据 � 帮助用户实现搜索，导航，数据探索与 关联性分析 � 支持不同的分析方式 –查询与分析, 数 据探查等 Oracle Business Analytics 帮助所有用户实现对大数据的访问 Oracle Exalytics 高性能的业务分析系统 � 提升分析速度提升分析速度提升分析速度提升分析速度 10-100倍倍倍倍 ‒ 把汇总数据和其他需要快速访问的数据缓存在内 存中 ‒ 自动实现汇总数据的生成和管理 � 沉浸式用户体验沉浸式用户体验沉浸式用户体验沉浸式用户体验 ‒ 支持桌面和移动使用方式 ‒ 兼顾分析专家和普通用户的使用 ‒ 稀疏数据与密集数据的可视化支持 � 有不同规模的配置供用户选择有不同规模的配置供用户选择有不同规模的配置供用户选择有不同规模的配置供用户选择 (4TB或或或或7 TB型号型号型号型号) Complex Event Processor No SQL Database In-Memory Data Grid 报警与人工干预报警与人工干预报警与人工干预报警与人工干预 业务流程与决策自动处理业务流程与决策自动处理业务流程与决策自动处理业务流程与决策自动处理 业务应用业务应用业务应用业务应用 Oracle Fast Data Oracle Enterprise Manager 为软件，服务器，存储提供统一管理 � 监控，配置，诊断，补丁修 复, .. � 统一管理所有硬件 – BDA, Exadata, Exalytics � 统一管理所有软件 – Hadoop, Database, Analytics, R, 4. National Cancer Institute 识别基因与癌症间的相互作用关系 60M Patients 20M Medical Publications 17,000 Genes 5 Major Cancer Types Oracle 大数据解决方案的优势大数据解决方案的优势大数据解决方案的优势大数据解决方案的优势 � 完整的端到端解决方案 � 最佳的性能 � 经过广泛证明的数据量，查询数，用户规模方面的扩展性 � 快速实现业务价值 � 基于现有的投资实现逐步扩展 Big Data Applicance � 系统概况 � 软件版本演进 � 企业级软件增强 � 应用场景与 案例 全员育人导师制案例信息技术应用案例心得信息技术教学案例综合实践活动案例我余额宝案例 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.20 Big Data Appliance X3-2 单机柜硬件: • 288 CPU cores ，，，， 1152 GB RAM • 648 TB磁盘空间 • 40 Gb/s InfiniBand 内部集成软件: • Oracle Linux • Oracle Java VM • Cloudera Distribution of Apache Hadoop (CDH) • Cloudera Manager • Oracle R Distribution • NoSQL Database Community Edition 所有集成的软件 (NoSQL DB CE除外) 的技术支持由系统的 Premier Support 与操作系统的Premier Support 来提供 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.21 Big Data Appliance 产品系列产品系列产品系列产品系列 • 服务器使用Sun Oracle X3-2L • 每节点包含 – 16 Core Intel Xeon CPU – 64 GB 内存 – 36TB 磁盘空间 • 配置了6台服务器的Starter Rack 是完全配置好 并且可以提供未来扩展基础的最小配置 • In-Rack Expansion 提供6台服务器的模块化升 级单元 • 满机架配置综合提供最优的容量和更大规模扩 展的选项 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.22 繁忙的一年繁忙的一年繁忙的一年繁忙的一年 BDA 2.0 January 2013 BDA 2.1 BDA 2.2 BDA 2.3 BDA 3.0 • CDH 4.2 & CM 4.5 • Starter Rack + In-Rack Expansion • Multitenant • Enhanced security • CDH 4.4 • OXH 1.0 • Etc. • CDH 4.3 • NoSQL DB Lay-out • BDC Updates • CDH 5.0 & CM 5.0 • BDC Updates • Hadoop “Copy” April 2013 July 2013 October 2013 Early 2014 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.23 完整的认证，授权与审计机制 Hadoop增强与支持 XQuery 数据处理 增强对企业级可管理性的自持 Big Data Appliance 与与与与 Big Data Connectors 实现大数据与企业需求的整合实现大数据与企业需求的整合实现大数据与企业需求的整合实现大数据与企业需求的整合 安全性安全性安全性安全性 性能性能性能性能 可管理性可管理性可管理性可管理性 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.24 用户认证用户认证用户认证用户认证 对数据和服务进行授权访问对数据和服务进行授权访问对数据和服务进行授权访问对数据和服务进行授权访问 审计系统的行为和用户行为审计系统的行为和用户行为审计系统的行为和用户行为审计系统的行为和用户行为 为大数据提供安全性为大数据提供安全性为大数据提供安全性为大数据提供安全性 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.25 一体化集成系统管理一体化集成系统管理一体化集成系统管理一体化集成系统管理Management 为BDA, Exadata, Exalytics 与 Exalogic提供一致的管理能力 �集成的软硬件管理 – 性能监控 – 直观的硬件图形与报警显示 – 硬件与软件拓扑展现 �整合的事件管理 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.26 监控多租户部署监控多租户部署监控多租户部署监控多租户部署 � 系统配置通过自动发现获取 – 支持跨多个机架的 Hadoop集群 部署 – 也支持一个机架内部署多个 Hadoop集群 Hadoop Cluster BDA Rack InfiniBand Network Copyright © 2012, Oracle and/or its affiliates. All rights reserved.27 Oracle XQuery for Hadoop Acquire – Organize – Analyze Oracle Big Data Connectors Oracle Data Integrator Oracle Loader for Hadoop � OXH 是大数据的数据转换引擎之一 � XQuery 语言由 Map/Reduce 框架执行 XQuery for $ln in text:collection() let $f := tokenize($ln) where $f[1] = 'x' return text:put($f[2]) Map/Reduce Execution Plan M/R M/R M/R M/R Map/Reduce Worker Nodes HDFS OXH Engine Copyright © 2012, Oracle and/or its affiliates. All rights reserved.28 Oracle XQuery for Hadoop 支持的输入/输出格式 输入输入输入输入 HDFS Oracle NoSQL DB Text CSV JSON Avro XML 输出输出输出输出 HDFS Oracle NoSQL DB Text CSV JSON Avro Oracle NoSQL DB XML Oracle Database Map/Reduce Job Counters Copyright © 2012, Oracle and/or its affiliates. All rights reserved.29 Big Data Appliance 软件组成软件组成软件组成软件组成 � Oracle Linux 6.4 with UEK 2 (v2.6.39) � Oracle JDK 1.7u40 � Cloudera CDH 4.4 � Cloudera Manager 4.7 � Big Data Connectors 2.3 � Oracle NoSQL Database CE 12cR1 2.3 版本 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.30 Big Data 应用模式应用模式应用模式应用模式 在 Hadoop集群上运行ETL 与批处理操作 Data Factory SQL SQL NoSQL DW & BI Analytics Web • 扩展性 • 灵活性 • 高性价比 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.31 Regions Bank 通过简化IT架构来降低成本 目标目标目标目标 � 满足合规性要求需要更多数据用于支持压 力测试 � 通过减少冗余数据来降低IT成本同时理顺 业务流程 解决方案解决方案解决方案解决方案 � 单一可靠的基于 BDA/Exadata 的 ODS 支 撑所有下游系统 � 同时为结构化和非结构化数据管理工作区 与归档区 � Exadata 被作为 BDA 的“第19个节点” - Toyota Global Vision Operational Data Store Mainframe, RDBMS, more BDA Exadata • Agile business model • All data • De-normalized & Partial- normalized • Normalized • Aggregate data • EDW Oracle Enterprise Manager Oracle Data Integrator Data Delivery Master S1 Master S2 Master Sn SOA/API CRMS Other � 快速访问超过 85% 的新增数据 � 降低成本，简化架构，快速实现业务价值 收益收益收益收益 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.32 Big Data 应用模式应用模式应用模式应用模式 用细粒度的数据存储扩充数据仓库的数据范围 Marts数据仓库 Σ Σ 商业智能 应用 归档 • 在线 • 扩展性 • 灵活性 • 高性价比 数据池 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.33 Sabre 充分利用客户报价的最大价值 目标目标目标目标 � 最大化给客户机票报价的有效性 � 确保航班容量满足需求 解决方案解决方案解决方案解决方案 � 把给客户的每一笔报价都采集进入 BDA � 为每位消费者优化价格与座位安排 � 分析超卖与没有航线带来的销售损失 - Toyota Global Vision � 通过优化报价来增加收入 � 通过降低“报价字节”来降低开销 � BDA 简化了复杂性并帮助用户快速实现业务价 值 收益收益收益收益 BDA Teradata Capture & Process Data Warehouse Airline Offers Online Travel Services