求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
成功案例
某核电企 软件设计重构与代码
某集成电 多核体系的软件仿真
某电力能 设计模式原理及应用
南方航空 软件设计方法与实践
某跨国公 软件设计原理与实
爱立信( 软件设计
Moto 设计模式
 
全部课程 >云计算  
实时计算框架设计、构建及应用
2060 次浏览  54 次
张老师
全球知名的大数据技术提供商担任大数据技术专家
 
时间地点:北京 上海 深圳根据报名开班
课程费用:5000元/人
报公开课  
企业内训:可以根据企业需求,定制内训,详见 内训学习手册



认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    大数据时代,对数据的计算能力是IT的核心能力之一,而计算的实时性是业务快速响应的基础,本课程关注如何搭建实时计算框架,快速地进行数据的实时计算。课程结合当前流行的流式计算框架Storm和Spark进行实时计算的落地。课程注重技术框架理论和实践应用的结合,结合搜索与推荐应用案例应用实例进行剖析和讲解,并安排关键环节的时间练习,让学员能够建立完整的工程能力。课程关注实战用例,将编写数个极具实践价值的应用程序,为开发者提供参考。

     
    培训目标:

    实时计算架构概览
    实时计算系统架构解析
    实时计算的技术架构实现
    实时计算的技术参考架构
    • Storm的体系结构
    • 流式计算简介与环境准备
    • 使用Storm进行流计算
    • 开发Storm程序
    构建高可用的实时计算架构
    • 通过集群构建高可用性
    • 集成Storm和Redis
    • 集成Storm:Kafka
    • 高可用实时计算架构:Storm HA的实现
    • Spark体系结构和SparkStreaming
    • Spark Streaming原理解析
    应用实例设计与优化
    • 实时计算在资讯个性化推荐系统中应用实例
    培训对象:软件工程师、软件架构师
    学员基础:具有java编程经验
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天

    实时计算原理与架构概览
    实时计算架构概览 结合实际大数据应用案例讲解:
  • 什么是实时计算
  • 为什么需要实时计算
  • 实时计算需要考虑哪些技术能力
  • 实时计算的当前的典型参考技术架构
    流式计算对实时计算的支持。
    实时计算系统架构解析 分布式实时计算架构蓝图
  • 分布式实时计算任务模型的设计与实现:
  • map/reduce
  • fork/join
  • 分布式计算的数据流缓冲区
  • Kafka分布式消息系统
  • Rabbitmq消息系统
  • ActiveMQ消息系统
  • 计算节点的数据流访问接口
  • 远程调用
  • Web服务
  • Restful服务
  • 计算服务的适用于管理
  • 服务注册、
  • 服务发现
  • 服务访问
  • 计算任务的调度机制
  • 事件驱动的任务处理
  • 实时调度管理
  • 定时任务管理
  • 实时计算的技术架构实现
    实时计算的技术参考架构 常见的流式计算框架及其原理
  • Storm、JStorm、
  • Spark Streaming、
  • Flink
  • Storm的体系结构 Storm基本原理和基本元素
    Storm集群的组成
    搭建Storm集群环境
    torm高可用性的实现
    流式计算简介与环境准备 Storm应用场景与对应的技术方案
    准备Storm的实验环境
    使用Storm进行流计算 Storm Demo演示:Word Count
    数据流模型和WordCount的处理过程
    Storm的数组分组策略
    开发Storm程序 设计高并发、高可靠性的Topology
    Worker、Task和Excutor的关系
    开发Spout组件
    开发Bolt组件
    开发Topology:本地模式和集群模式
    部署并运行Storm任务
    构建高可用的实时计算架构
    通过集群构建高可用性 Storm集群在ZK上保存的数据结构
    Storm集群任务提交流程
    Storm内部通信机制
    Storm的异常处理、容错机制及如何保证数据不重复处理
    Storm如何保证可靠性传输
    集成Storm和
    Redis
    MemCached和Redis内存数据库简介
    搭建和使用Redis
    集成Storm和Redis
    集成Storm:Kafka 消息系统与Kafka
    搭建Kafka消息系统实验环境
    集成Storm和Kafka
    高可用实时计算架构:Storm HA的实现 什么是ZooKeeper
    搭建ZooKeeper集群及ZooKeeper的特性
    使用ZooKeeper实现Storm的HA
    Spark体系结构和SparkStreaming Spark架构原理
    解析Spark Streaming
    Spark的体系架构与搭建
    利用ZooKeeper实现Spark Streaming的HA
    Spark Streaming原理解析 执行Spark Streaming程序
    Spark Streaming的核心:DStream
    开发Spark Streaming应用程序和窗口操作
    Spark Streaming的性能优化
    应用实例设计与优化
    实时计算在资讯个性化推荐系统中应用实例 推荐系统的整体架构和流程
    常用的推荐算法
  • 基于用户的协同过滤算法
  • 基于物品的协同过滤算法
  • ALS协同过滤算法
  • 其他算法
  •    
    2060 次浏览  54 次
    其他人还看了课程
    基于Docker的Devops实战训练  2549 次浏览
    基于OpenStack构建云   3356 次浏览
    Docker部署被测系统与自动化框架实践  4319 次浏览
    Azure云计算平台开发与运维  2194 次浏览
    虚拟化容器技术Docker+K8s  331 次浏览
    微服务开发原理与实战  1851 次浏览
    定制内训


    咨询服务:架构评估与优化
    咨询目标
    对现有的架构进行评估,发现问题,并优化
    咨询范围 业务架构,应用架构,数据架构,技术架构
    咨询方式 对现有架构进行建模,然后诊断问题,对问题进行集成分析,设计优化方案,指导团队实施优化,最终效果评估。
    成功案例 中国移动广西分公司,中国电信
    详情咨询:010-62670969, zhgx@uml.net.cn
    课程计划
    面向对象业务分析与系统设计 10-16[线上]
    嵌入式软件架构设计-高级实践 10-17[线上]
    Qlik Sense数据分析技术 10-17线上]
    基于 UML 和EA进行分析设计 10-22[北京]
    用户研究与用户建模 10-24[北京]
    QT应用开发 10-24[北京]