|
|
|
|
全部课程 >大数据 |
|
大数据平台构建、应用与管理
|
2507 次浏览  67 次
|
|
|
| 地点时间:
在线 、北京、
上海、深圳根据报名开班 |
| 课程费用：5700元/人 |
|
|
|
| 企业内训：可以根据企业需求,定制内训,详见
内训学习手册 |
|
 |
认证方式：
培训前了解能力模型。
培训后进行能力评测：
在线考试
能力分析，给出学习建议
合格者颁发证书，作为职业技能资格证明
|
 |
|
|
| 通过课程学习企业级大数据体系整体规划和建设内容，以及大数据平台的监控和优化。深刻理解在“互联网
”时代下大数据的产生背景、发展历程和演化趋势；了解业界市场需求和国内外新的大数据技术潮流，洞察大数据的潜在价值；理解大数据项目解决方案及业界大数据应用案例，从而为企业在大数据项目中的技术选型及技术架构设计提供决策参考；掌握业界流行的大数据技术体系 |
| 培训目标： |
企业级大数据平台架构
企业大数据技术平台概述
大数据平台核心服务组件
大数据平台应用组件
大数据平台监控与管理组件
企业级大数据平台的构建
大数据平台构建的总体架构
Hadoop核心体系的构建
Hadoop应用组件的构建
Spark平台的搭建
Flink体系的构建
大数据采集引擎
大数据分布式协调框架ZooKeeper
基于大数据平台的应用开发
Hadoop应用开发
Spark应用开发
Flink应用开发
大数据平台运维管理
大数据平台的监控
大数据平台的优化 |
| 培训对象：大数据架构师、数据平台开发工程师 |
| 学员基础：具有一定的数据设计、开发和管理经验 |
| 授课方式：
定制课程 + 案例讲解 + 小组讨论，60%案例讲解，40%实践演练 |
| 培训内容：2天
|
| 主题
|
章节
|
详细内容 |
企业级大数据平台架构
|
企业大数据技术平台概述 |
大数据平台整合前存在的问题
数据冗余，标准化低
数据质量不高
应用创新不足
企业大数据平台架构概述
数据源层
数据采集层
数据存储层
数据计算层
数据仓库层
应用层 |
| 大数据平台核心服务组件 |
Hadoop核心组件及其原理
分布式文件HDFS系统核心原理
分布式计算模型MapReduce与Yarn
Demo演示：HDFS与执行MapReduce任务
Spark核心组件及其原理
Spark体系架构与任务调度
Spark核心概念RDD
Spark Core核心对象：SparkContext
Flink核心组件及其原理
有边界的数据流和无边界的数据流
Flink体系架构与任务调度
Flink的体系架构 |
| 大数据平台应用组件 |
Hadoop生态圈应用组件
NoSQL数据库：HBase
数据采集引擎：Sqoop与Flume
数据分析引擎：Hive与Pig
分布式协调服务：ZooKeeper
Spark生态圈应用组件
数据分析引擎Spark SQL
流式计算引擎Spark Streaming
机器学习框架MLlib
Flink生态圈应用组件
离线计算模块Flink DataSet AP
流式计算模式DataStream API
数据分析引擎Flink Table&SQL |
| 大数据平台监控与管理组件 |
可视化管理监控框架HUE
Hadoop组件监控指标
Spark组件监控指标
Flink组件监控指标 |
企业级大数据平台的构建
|
大数据平台构建的总体架构 |
大数据平台的构建目标
大数据平台的整体架构
大数据架构主从架构的单点故障问题
大数据中心与其他业务系统的关系 |
| Hadoop核心体系的构建
|
环境的准备
Hadoop的本地模式
Hadoop的伪分布模式
Hadoop的全分布模式
Hadoop HA的实现 |
| Hadoop应用组件的构建 |
HBase的构建
Hive的构建
Pig的构建 |
| Spark平台的搭建
|
搭建Spark的伪分布模式
搭建Spark的全分布模式
Spark HA的实现 |
| Flink体系的构建
|
Flink StandAlone模式
Flink on Yarn模式
Flink的HA模型
使用Java编程接口访问HDFS文件系统 |
| 大数据采集引擎
|
数据交换引擎Sqoop
日志采集引擎Flume |
| 大数据分布式协调框架ZooKeeper
|
什么是ZooKeeper
ZooKeeper核心原理与架构
基于ZooKeeper的大数据高可用架构 |
基于大数据平台的应用开发
|
Hadoop应用开发
|
使用MapReduce的开发大数据分析处理应用
使用Hive SQL处理大数据
使用PigLatin处理大数据 |
| Spark应用开发
|
Spark RDD与算子
使用Spark Core处理离线数据
使用Spark SQL
开发Spark Streaming流式计算应用 |
| Flink应用开发
|
开发DataSet离线计算应用
开发DataStreaming离线计算应用
使用Flink Table&SQL |
| 大数据平台运维管理 |
大数据平台的监控
|
访问控制系统
性能监控系统
异常报警系统 |
| 大数据平台的优化
|
优化的目的和目标
大数据平台组件的优化 |
|
| |
|
|
| |
|
|
|
|
2507 次浏览 67 次
|
| 其他人还看了课程 |
|
|
|
|
|
| 咨询目标
|
对客户的数据库进行性能评价，设计优化，管理优化 |
| 咨询范围 |
数据库性能评价，数据库结构优化，数据访问SQL优化。 |
| 咨询方式 |
现有数据库调查，问题诊断，性能评价。
对数据库进行逻辑结构优化，对数据库进行访问SQL优化。
建立数据库运行监控平台。运行监控与优化方法指导。 |
| 成功案例 |
建设银行，中国农业银行，中国工商银行，中航信 |
| 详情咨询：010-62670969， zhgx@uml.net.cn
|
|
|
|
|
|
|
