|
|
|
|
|
全部课程 >云计算 |
|
实时计算框架设计、构建及应用 |
2060 次浏览 54 次
|
|
|
时间地点:北京
上海 深圳根据报名开班
|
课程费用:5000元/人
|
|
|
|
企业内训:可以根据企业需求,定制内训,详见
内训学习手册 |
|
|
认证方式:
培训前了解能力模型。
培训后进行能力评测:
在线考试
能力分析,给出学习建议
合格者颁发证书,作为职业技能资格证明
|
|
|
|
大数据时代,对数据的计算能力是IT的核心能力之一,而计算的实时性是业务快速响应的基础,本课程关注如何搭建实时计算框架,快速地进行数据的实时计算。课程结合当前流行的流式计算框架Storm和Spark进行实时计算的落地。课程注重技术框架理论和实践应用的结合,结合搜索与推荐应用案例应用实例进行剖析和讲解,并安排关键环节的时间练习,让学员能够建立完整的工程能力。课程关注实战用例,将编写数个极具实践价值的应用程序,为开发者提供参考。 |
|
培训目标: |
实时计算架构概览
实时计算系统架构解析
实时计算的技术架构实现
实时计算的技术参考架构
- Storm的体系结构
- 流式计算简介与环境准备
- 使用Storm进行流计算
- 开发Storm程序
构建高可用的实时计算架构
- 通过集群构建高可用性
- 集成Storm和Redis
- 集成Storm:Kafka
- 高可用实时计算架构:Storm HA的实现
- Spark体系结构和SparkStreaming
- Spark Streaming原理解析
应用实例设计与优化
|
培训对象:软件工程师、软件架构师 |
学员基础:具有java编程经验 |
授课方式: 定制课程 + 案例讲解
+ 小组讨论,60%案例讲解,40%实践演练 |
培训内容:2天
|
实时计算原理与架构概览 |
实时计算架构概览 |
结合实际大数据应用案例讲解:
什么是实时计算
为什么需要实时计算
实时计算需要考虑哪些技术能力
实时计算的当前的典型参考技术架构
流式计算对实时计算的支持。 |
实时计算系统架构解析 |
分布式实时计算架构蓝图
分布式实时计算任务模型的设计与实现:
map/reduce
fork/join
分布式计算的数据流缓冲区
Kafka分布式消息系统
Rabbitmq消息系统
ActiveMQ消息系统
计算节点的数据流访问接口
远程调用
Web服务
Restful服务
计算服务的适用于管理
服务注册、
服务发现
服务访问
计算任务的调度机制
事件驱动的任务处理
实时调度管理
定时任务管理 |
实时计算的技术架构实现 |
实时计算的技术参考架构 |
常见的流式计算框架及其原理
Storm、JStorm、
Spark Streaming、
Flink |
Storm的体系结构
|
Storm基本原理和基本元素
Storm集群的组成
搭建Storm集群环境
torm高可用性的实现 |
流式计算简介与环境准备 |
Storm应用场景与对应的技术方案
准备Storm的实验环境 |
使用Storm进行流计算 |
Storm
Demo演示:Word Count
数据流模型和WordCount的处理过程
Storm的数组分组策略 |
开发Storm程序 |
设计高并发、高可靠性的Topology
Worker、Task和Excutor的关系
开发Spout组件
开发Bolt组件
开发Topology:本地模式和集群模式
部署并运行Storm任务 |
构建高可用的实时计算架构 |
通过集群构建高可用性 |
Storm集群在ZK上保存的数据结构
Storm集群任务提交流程
Storm内部通信机制
Storm的异常处理、容错机制及如何保证数据不重复处理
Storm如何保证可靠性传输 |
集成Storm和
Redis |
MemCached和Redis内存数据库简介
搭建和使用Redis
集成Storm和Redis |
集成Storm:Kafka |
消息系统与Kafka
搭建Kafka消息系统实验环境
集成Storm和Kafka |
高可用实时计算架构:Storm
HA的实现 |
什么是ZooKeeper
搭建ZooKeeper集群及ZooKeeper的特性
使用ZooKeeper实现Storm的HA |
Spark体系结构和SparkStreaming |
Spark架构原理
解析Spark Streaming
Spark的体系架构与搭建
利用ZooKeeper实现Spark Streaming的HA |
Spark
Streaming原理解析 |
执行Spark
Streaming程序
Spark Streaming的核心:DStream
开发Spark Streaming应用程序和窗口操作
Spark Streaming的性能优化 |
应用实例设计与优化 |
实时计算在资讯个性化推荐系统中应用实例 |
推荐系统的整体架构和流程
常用的推荐算法
基于用户的协同过滤算法
基于物品的协同过滤算法
ALS协同过滤算法
其他算法 |
|
|
|
|
|
|
|
|
2060 次浏览 54 次
|
其他人还看了课程 |
|
|
|
|
|
咨询目标
|
对现有的架构进行评估,发现问题,并优化
|
咨询范围 |
业务架构,应用架构,数据架构,技术架构
|
咨询方式 |
对现有架构进行建模,然后诊断问题,对问题进行集成分析,设计优化方案,指导团队实施优化,最终效果评估。
|
成功案例 |
中国移动广西分公司,中国电信
|
详情咨询:010-62670969, zhgx@uml.net.cn |
|
|
|
|
|