|
|
|
|
|
|
|
|
|
全部课程 >云计算 |
|
实时计算框架设计、构建及应用 |
1683 次浏览  30 次
|
|
|
| 时间地点：北京
上海 深圳根据报名开班
|
| 课程费用：5000元/人
|
|
|
|
| 企业内训：可以根据企业需求,定制内训,详见
内训学习手册 |
|
 |
认证方式：
培训前了解能力模型。
培训后进行能力评测：
在线考试
能力分析，给出学习建议
合格者颁发证书，作为职业技能资格证明
|
 |
|
|
大数据时代，对数据的计算能力是IT的核心能力之一，而计算的实时性是业务快速响应的基础，本课程关注如何搭建实时计算框架，快速地进行数据的实时计算。课程结合当前流行的流式计算框架Storm和Spark进行实时计算的落地。课程注重技术框架理论和实践应用的结合，结合搜索与推荐应用案例应用实例进行剖析和讲解，并安排关键环节的时间练习，让学员能够建立完整的工程能力。课程关注实战用例，将编写数个极具实践价值的应用程序，为开发者提供参考。 |
| |
| 培训目标： |
实时计算架构概览
实时计算系统架构解析
实时计算的技术架构实现
实时计算的技术参考架构
- Storm的体系结构
- 流式计算简介与环境准备
- 使用Storm进行流计算
- 开发Storm程序
构建高可用的实时计算架构
- 通过集群构建高可用性
- 集成Storm和Redis
- 集成Storm：Kafka
- 高可用实时计算架构：Storm HA的实现
- Spark体系结构和SparkStreaming
- Spark Streaming原理解析
应用实例设计与优化
|
| 培训对象：软件工程师、软件架构师 |
| 学员基础：具有java编程经验 |
| 授课方式： 定制课程 + 案例讲解
+ 小组讨论，60%案例讲解，40%实践演练 |
| 培训内容：2天
|
| 实时计算原理与架构概览 |
| 实时计算架构概览 |
结合实际大数据应用案例讲解：
什么是实时计算
为什么需要实时计算
实时计算需要考虑哪些技术能力
实时计算的当前的典型参考技术架构
流式计算对实时计算的支持。 |
| 实时计算系统架构解析 |
分布式实时计算架构蓝图
分布式实时计算任务模型的设计与实现：
map/reduce
fork/join
分布式计算的数据流缓冲区
Kafka分布式消息系统
Rabbitmq消息系统
ActiveMQ消息系统
计算节点的数据流访问接口
远程调用
Web服务
Restful服务
计算服务的适用于管理
服务注册、
服务发现
服务访问
计算任务的调度机制
事件驱动的任务处理
实时调度管理
定时任务管理 |
| 实时计算的技术架构实现 |
| 实时计算的技术参考架构 |
常见的流式计算框架及其原理
Storm、JStorm、
Spark Streaming、
Flink |
| Storm的体系结构
|
Storm基本原理和基本元素
Storm集群的组成
搭建Storm集群环境
torm高可用性的实现 |
| 流式计算简介与环境准备 |
Storm应用场景与对应的技术方案
准备Storm的实验环境 |
| 使用Storm进行流计算 |
Storm
Demo演示：Word Count
数据流模型和WordCount的处理过程
Storm的数组分组策略 |
| 开发Storm程序 |
设计高并发、高可靠性的Topology
Worker、Task和Excutor的关系
开发Spout组件
开发Bolt组件
开发Topology：本地模式和集群模式
部署并运行Storm任务 |
| 构建高可用的实时计算架构 |
| 通过集群构建高可用性 |
Storm集群在ZK上保存的数据结构
Storm集群任务提交流程
Storm内部通信机制
Storm的异常处理、容错机制及如何保证数据不重复处理
Storm如何保证可靠性传输 |
集成Storm和
Redis |
MemCached和Redis内存数据库简介
搭建和使用Redis
集成Storm和Redis |
| 集成Storm：Kafka |
消息系统与Kafka
搭建Kafka消息系统实验环境
集成Storm和Kafka |
| 高可用实时计算架构：Storm
HA的实现 |
什么是ZooKeeper
搭建ZooKeeper集群及ZooKeeper的特性
使用ZooKeeper实现Storm的HA |
| Spark体系结构和SparkStreaming |
Spark架构原理
解析Spark Streaming
Spark的体系架构与搭建
利用ZooKeeper实现Spark Streaming的HA |
| Spark
Streaming原理解析 |
执行Spark
Streaming程序
Spark Streaming的核心：DStream
开发Spark Streaming应用程序和窗口操作
Spark Streaming的性能优化 |
| 应用实例设计与优化 |
| 实时计算在资讯个性化推荐系统中应用实例 |
推荐系统的整体架构和流程
常用的推荐算法
基于用户的协同过滤算法
基于物品的协同过滤算法
ALS协同过滤算法
其他算法 |
|
|
|
|
|
| |
|
|
|
|
1683 次浏览 30 次
|
| 其他人还看了课程 |
|
|
|
|
|
咨询目标
|
对现有的架构进行评估，发现问题，并优化
|
| 咨询范围 |
业务架构，应用架构，数据架构，技术架构
|
| 咨询方式 |
对现有架构进行建模，然后诊断问题，对问题进行集成分析，设计优化方案，指导团队实施优化，最终效果评估。
|
| 成功案例 |
中国移动广西分公司，中国电信
|
| 详情咨询：010-62670969， zhgx@uml.net.cn |
|
|
|
|
|
|
