一、云计算 |
云计算架构概览
云计算能带来什么好处
云计算之虚拟机
云计算之大数据
经典的使用案例
|
二、大数据之分布式存储 |
分布式存储-HDFS
大数据的好处
大数据的核心架构
企业使用大数据的案例
什么是分布式文件系统和HDFS
HDFS设计目标
HDFS的基本组件
HDFS架构图和工作原理
HDFS服务进程详解
HDFS的未来发展
NameNode详解
DataNode详解
HDFS副本备份策略
|
三、分布式存储实战 |
HDFS实战-命令行等使用
HDFS安装须知
HDFS命令行工具
启动、停止HDFS服务
如何查看HDFS日志
如何查看HDFS Web控制台
HDFS参数配置
上机练习
HDFS实战-Java API使用
Eclipse 开发环境介绍
HDFS 开发基本步骤
HDFS Java API详解
oConfiguration
oPath
oFileSystem
oStream、IOUtils
HDFS Java API使用场景示例
FuseHDFS
WebHDFS RESTful API
上机练习
|
四、大数据之分布式计算 |
什么是MapReduce
MapReduce服务
MapReduce服务
MapReduce作业执行流程
MapReduce错误处理机制
MapReduce高级特性
MapReduce任务调度
MapReduce任务调度
|
五、分布式计算实战 |
MapReduce命令行使用
启动、停止MapReduce服务
查看MapReduce日志
查看MapReduce控制台
MapReduce参数配置
MapReduce 编程实战
MapReduce框架类库介绍
开发MapReduce程序步骤
WordCount流程分解
WordCount代码分析
上机练习
Hadoop IO 框架
为什么要学习Hadoop I/O框架
序列化
SequenceFile
MapFile
数据完整性
数据压缩
上机练习
|
六、大数据之数据仓库-Hive |
什么是Hive?
Hive的架构原理
如何利用Hive来建造数据仓库?
Hive的使用
HQL的调优:
操作练习
|
七、大数据之NOSQL-Hbase
|
什么是Hbase?
Hbase的架构原理
Hbase核心知识点
HBase列族与列
HBase时间戳
HBase物理模型
数据存储结构:LSM
HBase Log
HBase Filter
HBase安装
配置与优化
表设计与相关参数
操作练习
|
八、大数据之内存计算-Spark |
Spark架构介绍
Scala介绍
Mesos介绍
Spark介绍
Spark原理及架构剖析
Spark RDD计算模型解析
Spark的任务执行机制解析
Spark的调试与任务分配
Spark的容错机制剖析
Spark集群部署
Standalone
集群分布式
与HDFS结合
Spark Shell命令行分析
构建与运行Spark应用
Spark RDD操作方法解析
Spark作业测试解析
Spark的性能调优
Spark生态体系剖析
SPARK SQL
SPARK ML
SPARK Streaming
Spark应用实践
|
九、大数据之资源管理-Yarn |
Yarn 与MapReduce的不同
Yarn 原理与架构
Apache YARN基本框架
Apache YARN工作流程
Apache YARN设计细节
Yarn 核心技术模块原理解析
Yarn ResouceManager原理解析
Yarn NodeManager 原理解析
Yarn ApplicationMaster
MapReduce与YARN结合
如何与Yarn来结合
Yarn 配置及搭建
|
十、大数据之分析脚本工具-Pig |
Pig基础
使用Pig进行简单数据分析
使用Pig处理复杂数据
使用Pig分析处理多数据集
扩展Pig
Pig排错和优化
|
十一、数据安全 |
安全体系图
应用安全、数据安全
多级认证体系
产品安全思路
学员实际演练与老师现场指导 |
十二、云计算运维体系 |
云计算运维体系架构图
服务可靠性
提高服务质量
降低服务成本
现场演示:实际项目中云计算运维体系架构图。 |
十三、大练习:以实际项目案例为基础 |
进行云计算分布式架构的设计思路和流程实际演练。
(此内容是本课程的重点内容,课程压轴大作,从而 使云计算架构设计最终落地) |