|
|
|
|
|
|
|
|
全部课程 >大数据 |
|
Hadoop架构与大数据开发应用实践 |
2099 次浏览  38 次
|
|
|
| 时间地点：北京
深圳 上海 根据报名开班 |
| 课程费用：5800元/人 |
|
|
|
| 企业内训：可以根据企业需求,定制内训,详见
内训学习手册 |
|
 |
认证方式：
培训前了解能力模型。
培训后进行能力评测：
在线考试
能力分析，给出学习建议
合格者颁发证书，作为职业技能资格证明
|
 |
|
|
本课程结合大规模大数据案例，讲解完整的hadoop的工作周期中的相关的工具、原理和应用方法。涉及：采集、存储、访问、挖掘和分析、优化。
|
| 培训目标： |
- 大数据的基础介绍
- 开源Hadoop生态圈的介绍
- HDFS分布式文件系统详解
- ZooKeeper分布式协作服务
- Yarn资源管理系统
- Sqoop大数据同步工具详介
- MapReduce分布式计算框架详解
- Hive 数据仓库及案例
- Impala准实时分析
- Hbase列数据库及应用案例
- 大数据平台部署及案例
|
| 培训对象：大数据架构师、开发工程师。 |
| 学院基础：数据库应用开发工程师，数据库管理员，数据架构师
|
| 授课方式： 定制课程 + 案例讲解
+ 小组讨论，60%案例讲解，40%实践演练 |
| 培训内容：2天
|
大数据的基础介绍
|
什么是大数据
大数据时代的背景
学术上怎么定义大数据
大数据的构成
大数据的演进过程
大数据的关键技术
大数据分布式系统的构成
计算模式
大数据产业
大数据与云计算的关系
大数据和物联网的关系 |
| 开源Hadoop生态圈的介绍 |
1、Hadoop生态圈
2、组件功能概要
3、介绍Cloudera公司
4、CDH5.0的技术优势
5、ClouderaManager的介绍
6、CM集群监控
7、HDFS监控
8、Hbase监控
9、Hive监控
10、服务维护页面 |
| HDFS分布式文件系统详解 |
什么是分布式文件系统HDFS
2、HDFS基本架构
3、基本概念
4、主要涉及理念
5、hdfs常用命令
6、hdfs的上传文件
7、hdfs的下载文件
8、hdfs的查看数据
9、hdfs优点和缺点
10、案例：实现HDFS文件上传和下载
|
| ZooKeeper分布式协作服务 |
1.ZooKeeper概述
2.ZooKeeper结构与原理
3.安装和运行ZooKeeper
4.Zookeeper的API接口
5.ZK实操(创建节点等)
6.Zookeeper的4个应用场景详解 |
| Yarn资源管理系统 |
1、什么是Yarn
2、Yarn特点
3、Yarn原理
4、Yarn核心架构
5、优势和不足
6、ResourceManager(RM)介绍
7、ApplicationMaster(AM)介绍
8、NodeManager(NM)介绍
9、Container介绍
|
| Sqoop大数据同步工具详解 |
1、Sqoop基本介绍
2、基本原理
3、应用场景
4、Sqoop和mysql的连接
5、mysql数据到HDFS
6、HDFS数据到mysql
7、关系型数据库到hive
8、hive到关系型数据库
9、Sqoop优点和缺点
10、案例：oracle到hdfs的大数据量转换 |
MapReduce分布式计算框架详解
|
1、MapReduce基本介绍
2、为什么要用MR
3、MR是什么
4、工作原理
5、Map的原理
5、Reduce的原理
6、MR例子-单词计数
7、MR的优点和不足
8、适用场景
9、案例：统计多个数据文件每个单词出现次数并倒序排列 |
| Hive
数据仓库及案例 |
1、Hive
基本介绍
Hive 是什么
Hive 不是什么
Hive 结构图
Hive 元数据
Hive 和普通关系数据的异同
Hive 和 SQL 比较
2、Hive 命令
建表
显示表
修改表
load 数据
3、Hive 优化
分区概念
分区适用场景
分区例子
优化例子
优化建议方案
4、Hive 的用户自定义函数
UDF 函数
UDAF 函数
UDTF 函数
5、案例讲解：Hive分区表的优化设计
|
| Impala准实时分析 |
1、Impala基本介绍
2、技术架构
3、Impala与HIVE的关系
4、基本原理
5、优点和缺点
6、建表
7、加载数据
8、批量处理
9、常用脚本
10、和hive的性能比较
11、和oracle的对比2亿数据性能
12、和oracle的对比12亿数据性能
13、案例：Impala调用外部文件
|
| Hbase列数据库及应用案例 |
1、Hbase感性认识
Hbase简介
Hbase特点
HBase与RDBMS对比
HBase体系结构
Hbase常见概念
2、Hbase主要组成
HBase基本命令介绍
Zookeeper、Hmaster
HRegionServer、Region
HStore存储、Hfile
Hbase内部扫描RowKey的原理
Hbase内部读写原理
HBase设计原理、架构分析
Hadoop+HBase伸缩性（自动扩容、热部署）
HBase相关表结构设计（列族、列详细分析）
HBase主HMaster与备用HMaster间的切换原理
3、Hbase性能测试
测试数据
测试过程
测试结论
和Oracle Rac等进行对比
4、Hbase设计原则和优化
Hbase的RowKey设计原则
性能参数的设置
性能参数的调整
模型和性能优化
5、项目案例：HBase在小米业务的应用
6、项目案例：运营商全国用户上网记录案例介绍 |
| 大数据平台部署及案例 |
hadoop有哪几个版本
2、Hadoop版本介绍
3、CDH和Apache版本主要区别
4、集群硬件应该如何选配
网络拓扑
内存
硬盘
CPU
价格
5、集群硬件应该如何选配
6、英特尔Hadoop发行版的介绍
7、英特尔功能增强
8、项目案例：某省级通信运营商清帐单查询系统
9、项目案例：新清账单中心的部署方案 |
|
|
|
|
|
| |
|
|
|
|
2099 次浏览 38 次
|
| 其他人还看了课程 |
|
|
|
|
|
| 咨询目标
|
对客户的数据库进行性能评价，设计优化，管理优化 |
| 咨询范围 |
数据库性能评价，数据库结构优化，数据访问SQL优化。 |
| 咨询方式 |
现有数据库调查，问题诊断，性能评价。
对数据库进行逻辑结构优化，对数据库进行访问SQL优化。
建立数据库运行监控平台。运行监控与优化方法指导。 |
| 成功案例 |
建设银行，中国农业银行，中国工商银行，中航信 |
| 详情咨询：010-62670969， zhgx@uml.net.cn
|
|
|
|
|
|
|
