大数据技术培训课程方案-2天

大数据技术培训课程 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 -2天 Hadoop大数据技术与应用实战 培训课程方案说明书 【主 办 单 位】中 国 电 子 标 准 协 会 【咨 询 热 线】0 7 5 5 – 2 6 5 0 6 7 5 7 1 3 7 9 8 4 7 2 9 3 6 李 生 【报 名 邮 箱】martin#ways.org.cn,请将#换成@, 课程方案说明书 一、 应答简介 针对贵方培训需求之《Hadoop大数据技术与应用实战》课程,特编制此课程方案。课程要点应答说明表, 表1.《Hadoop大数据技术与应用实战》课程应答说明 课程要求与指标 是否满足与能够实质响应 应适用课程目标人群包括大数据开发满足、能够 人员、运维人员、项目管理人员 应满足指定课程目标 满足、能够 应覆盖指定课程内容 满足、能够 应在指定课时内完成授课内容 满足、能够 方案包括课程目标设计、课程实施大纲与框架、师资队伍配备内容。 二、 培训收益与课程目标设计 本课程通过培训使学习者达到如下目标: 1. 本课程让学员充分掌握大数据处理平台,Hadoop和内存型实时计算Spark，技 术架构、以及平台的安装部署、运维配置、应用开发实战技能,熟悉国内外主 流的大数据处理解决方案、以及大数据应用案例 2. 本课程强调主流的大数据关键技术及其在不同行业中企业的实际应用,立足于 实际的行业应用需求,旨在让企业学员能够掌握大数据平台技术及应用如何落 地,以及基于大数据平台的应用程序开发,以及大数据集群的运维技术,让学 员掌握业界主流的大数据平台的应用和部署,并且结合当前,移动，互联网环 境下产生的大规模结构化与非结构化数据管理以及分析处理需求,详细讲解有 机地集成大数据平台各个功能组件,大数据收集、大数据存储、大数据管理、 大数据挖掘、大数据分析和大数据可视化组件，设计大数据项目,并分享大数 据项目应用实施案例。 3. 让学员掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际 应用,并用结合实际的生产系统案例进行教学,讲解利用Hadoop+Spark对行 业大数据进行存储管理和分析挖掘的技术应用,掌握基于Hadoop大数据平台 的数据挖掘和数据仓库分布式系统平台应用,以及主流的大数据平台产品剖 析。 课程方案说明书 4. 让学员掌握业界最流行Hadoop与Spark大数据平台,深入讲解Hadoop生态系统组件,包括HDFS,MapReduce,HIVE,HBase,Mahout,Spark,GraphX,MLib,Shark, ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术的实践应用。 5. 引导学员利用Hadoop大数据技术解决企业中存在的问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ,掌握运用Hadoop开展大数据项目解决方案思路。 6. 本课程采用技术原理与项目实战相结合的方式进行教学,在讲授原理的过程中,穿插实际的系统操作,本课程讲师也精心准备的实际的应用案例供学员动手训练。 三、 课程实施大纲与内容框架 日程 培训模块 内容 1) 大数据技术的发展历程和应用背景、大数据 产业链概况,以及大数据技术在通信运营 商、互联网金融业、网上银行、电子商务、 零售业、制造业、电子政务、移动互联网、 1. Hadoop大数据应用背 教育信息化等行业中的应用实践， 景、技术构成、以及 2) 解析业界主流的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 化大数据平台Hadoop+ 行业案例 Spark平台架构,重点讲解它们在大数据存 储、管理、分析处理方面的应用方案,以及 在大数据离线分析、近线分析、实时在线分 析处理方面的优化组合方案及优势， 第一天 上午 1) 分类介绍常见的传统数据分析平台和新兴的 2. 业界主流的Hadoop大大数据分析处理平台,它们各自的技术特色 数据分析平台的生态以及平台的生态系统组件 系统剖析 2) Hadoop大数据平台的体系结构、生态系统组 件、平台架构以及工作原理 1) HDFS分布式文件系统HDFS概述、功能、作 用、优势、应用范畴、应用现状和发展趋势 3. HDFS分布式文件系统 2) HDFS分布式文件系统核心关键技术、设计精 技术及其应用 髓、基本工作原理、系统架构、文件存储模 式、工作机制、存储扩容与吞吐性能扩展 课程方案说明书 3) HDFS系统SHELL命令操作、文件数据读取、 写入、追加、删除、文件状态查询 4) HDFS的Client API应用程序开发实战 5) HDFS集群的部署配置和性能调优,以及常见 故障的解决之道。 1) 大数据平台中的并行计算处理与函数式编程 技术原理,以及数据并行技术—MapReduce 4. MapReduce并行处理 技术的工作原理 平台架构和关键技术 2) Hadoop MapReduce并行处理平台的系统架剖析 构、JobTracker和TaskTracker等核心功能 模块剖析 1) MapReduce应用开发环境的配置 2) MapReduce大数据处理应用程序的编程开发 5. MapReduce大数据处 实践技巧 理应用程序开发实践 3) MapReduce程序Debug调试、作业执行和任 务调度技术 1) 第二代大数据计算框架Yarn的工作原理以及 6. Yarn并行处理框架应 DAG并行执行机制,Yarn框架的配置部署,用实践以及 以及基于Yarn的大数据处理应用程序开发 MapReduce高级编程 2) MapReduce高级编程技巧与性能优化实践、开发 MapReduce与Yarn项目案例实践 1) 目前业界主流的大规模非结构化数据管理技 第一天7. Hadoop生态系统中的术实现与平台应用,以及SQL、NoSQL和 下午 NoSQL与NewSQL数据NewSQL分布式数据库平台技术及应用 库剖析 2) Hadoop半结构化与非结构化大数据管理系统 HBase集群的应用及其发展趋势 8. HBase半结构化大数1) HBase大数据管理系统的平台架构,HMaster据管理系统的平台架和HRegionServer的工作原理,以及DDL,构、关键技术及应用DML和DCL的实践操作 程序开发实践 2) HBase大数据管理集群的配置部署、管理、 课程方案说明书 运维监控、性能优化、负载均衡,以及 HBase与HDFS、MapReduce和ZooKeeper分 布式集群之间的数据交互和协同工作机制 3) HBase Client包的API调用,以及大数据管 理应用程序的开发实战 1) Hadoop集群的安装部署,分别配置HDFS和 MapReduce分布式集群,3节点以上， 2) ZooKeeper分布式协调服务集群的部署与配 置,3个节点， 9. HBase大数据管理集3) HBase分布式集群的部署与配置,3个节点以群的安装部署和配置 上， 4) 将500万条数据集导入到HBase,并且基于 类SQL语句实现十个查询类型 5) 配置HBase开发环境,使用Java Client API实现大数据管理应用程序 1) HIVE大型数据仓库集群的平台架构、工作原 理及其在国内BAT与国外GAF等互联网公司 中的应用案例 10. Hive大数据仓库的平2) Hive大数据仓库集群的部署配置,类SQL的台架构、关键技术及操作,HIVE SQL到MapReduce的解析技术剖应用实践 析 3) HIVE文件与 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 存储格式、Hive与HBase数第二天 据库整合、Hive大数据统计分析报表技术、上午 Hive功能操作实践 1) 部署HIVE元数据管理服务器 2) 部署 HIVEServer,允许Client访问、HWI11. Hive数据仓库集群的 访问 安装部署、参数配置 3) 将HDFS中的4000万条数据集导入到HIVE数和性能优化 据仓库中,并创建数据仓库表 4) 基于HIVE数据仓库提供的HQL语句完成十个 课程方案说明书 统计指标 5) 配置HIVE开发环境,并实现大数据仓库的统 计分析应用程序 6) 基于Hadoop的Mahout大数据挖掘平台的技 术架构、关键技术剖析 7) Mahout与HBase、HDFS和MapReduce的对接 和接口调用实现 8) Mahout大数据协同过滤分析技术原理及应用 12. Mahout大数据分布式 并行挖掘平台技术及9) Mahout频繁模式挖掘分析技术原理及应用 应用程序开发实践 10) Mahout聚类分析技术原理及应用 11) Mahout分类分析技术原理及应用 12) Mahout推荐分析技术原理及应用 13) Mahout大数据挖掘平台的应用程序开发实现 14) 根据搜索引擎日志数据集利用Mahout实现用 户行为分析程序 13. Mahout大数据分析挖 掘平台的集群安装部15) 根据电商数据集利用Mahout实现协同过滤程 序设计 署、参数配置和性能 16) 根据电商平台的日志数据利用Mahout实现推优化 荐过滤应用程序 1) Spark大数据实时处理平台的技术原理、集 群架构及其在大型互联网公司和运营商企业 中的应用实践案例 14. Hadoop生态系统中的2) Spark内存实时处理平台架构,Spark分布式Spark大数据实时处实时处理框架及工作原理 第二天 理技术及应用实践 3) Spark集群的平台架构及其生态系统组件剖 下午 析,SparkSQL和Spark Streaming应用技巧 4) 基于Spark的MLib实时数据挖掘应用实践 5) 基于Spark的GraphX图数据分析应用实践 15. Hadoop生态系统中数1) 利用Sqoop实现关系数据库,MySQL、据交互与应用对接实Oracle，和HDFS、HBase之间的数据导入与 课程方案说明书 战 导出应用实践 2) 实现HIVE与HBase之间的数据对接,实现 OLAP与OLTP一体化数据处理平台 3) 基于Hadoop与Spark实现内外存数据交互, 实现批处理与实时处理平台 1) 授课内容回顾 16. Hadoop大数据技术及 2) 授课知识点答疑 应用实践的课程总结 3) 大数据解决方案咨询 四、 师资简介 钟运琴 数据仓库 Hadoop开发专家、云计算建设与优化、Linux系统管理与维护授课专家。 现任中国科学院计算技术研究所助理研究员,中级职称，。2008 年 9 月至 2013 年 6 月在中国科学院计算技术研究所攻读计算机系统结构专业硕博连读研究生,获工学博士学位。 2013 年7 月份起留在中科院计算所工作,担任助理研究员,中级职称，。从 2008 年 12 月起,主要从事云计算和大规模数据管理方面的研究,精通云计算平台和大规模数据库管理系统内部实现细节,包括Hadoop、键值存储系统,KVS， 、NoSQL (HBase、Cassandra、Membase/ Memcached)数据库和数据仓库(HIVE)。近五年来,参与了 4 项云计算和数据管理相关的国家 863 计划、973 计划和自然科学基金科研项目,在学术期刊和国际会议上发表了 SCI/EI 索引学术论文 8 篇,合作授权专利 1 项。硕博连读期间获得中科院国家奖学金 1 次、三好学生 3 次、中国科学院优秀博士毕业生和北京市普通高等学校优秀毕业生等荣誉称号。具有 3 年多的计算机程序设计任教和培训讲师,兼职，经验。 1. 主要规划经历 , 2008-2010 担任公司战略分析研究员,负责产业分析,撰写产业报告和决策报 告，制定产品规划和研发路线,制定大项目整体产品方案。在08年准确预测了5 课程方案说明书 年后国家4G牌照发放时间,及产业规模。在06-09年期间,成功把握未来5G移动 通信研究方向。 , 2010-2011 主持电力系统无线专网,为客户提供市场、技术咨询,并提供大项目 解决方案，完成系统设计、研发、推广、布网工作。 , 2011-2012 曾任大型石油行业信息化ERP云计算平台项目经理,提供咨询,需求 分析、项目整体技术解决方案和标准制定，并进行后续系统设计。 , 2012-2014 担任某市智慧城市大型IT集成项目经理,负责前期总体方案设计,云 计算平台搭建,通信子系统设计。 2. 培训经历 培训客户包括,中海油气电集团、中国移动、中国普天、国道数据、超威电池等几 十家大、中型企业,有着非常深厚的理论基础和丰富的实际培训工作经验。 3. 技术方向 , 熟悉主流的云计算平台,并有商业与开源云计算平台的实践经验， , 对云计算关键技术有深刻了解和实践经验,如分布式系统、虚拟化、分布式文件系 统、云存储等， , 对大数据关键技术有深刻了解和实践经验,如NoSQL数据库、大数据处理、 Hadoop、Hive、HBase、Spark等。 4. 主讲课程 , 云计算平台、架构与技术，虚拟化，大数据，云存储等相关课程。 5. 研究及项目经历 , 基于Amazon EC2云计算平台的Web应用动态资源分配与调度 。 作为项目负责人,进行以下工作, , 调研主流商业与开源云计算平台,Amazon EC2, Rackspace, Eucalyptus，的 架构与虚拟机性能特性,并使用上述云平台搭建Web应用运行环境， , 针对云计算平台虚拟机性能异构特性,提出利用在线Profiling技术对虚拟机 进行性能建模,并进行性能预测的动态资源分配机制， 课程方案说明书 , 在Amazon EC2上开发实现上述动态资源分配机制。 , 基于Hadoop的海量数据分析系统 作为项目核心骨干,进行以下三方面工作, , 掌握Hadoop框架核心技术,HDFS部署,MapReduce开发,以及Hadoop调 优 ， , 基于列存储的Hadoop海量数据分析系统开发,支持列存储,支持数据段内快 速索引查询,支持SQL接口查询,支持兼容Hive， , 掌握Hadoop框架外延系统HBase,Hive等，掌握基于内存的大数据分析框架 Spark。 , 基于NoSQL数据库的高可伸缩性Web应用系统开发 作为项目主要负责人,进行以下四方面工作, , 研究当前用于提升Web应用可伸缩性的主流技术,调研主流的Key-Value数据 存储和NoSQL数据库,如Google Bigtable,HBase,MongoDB,Cassandra 等， , 根据数据库事务处理、写操作和读操作的不同特点,对Web应用数据按属性进 行垂直分解,并对数据进行重新聚合,便于进一步应用可伸缩性技术， , 针对Web应用语义特点,基于元组进行水平分解,进一步提升Web应用可伸缩 性， , 基于Web应用标准测试程序实现数据分解技术,利用NoSQL数据库进行应用伸 缩开发。 , Platform as a Service,PaaS，平台开发项目。 作为项目主要负责人,负责以下三方面工作, , 参与Platform as a Service平台的架构设计和模块设计。该项目建立一个类 似Google App Engine的应用平台,为第三方应用提供应用程序和数据的部署 接口,同时负责监测应用的运行时负载情况,根据SLA 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 对进行动态资源供 应， 课程方案说明书 , 协调、辅助项目各模块小组的工作， , 负责平台应用部署、数据部署、负载均衡、负载监测以及资源管理模块的系统 整合工作。