求知 文章 文库 Lib 视频 iProcess 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 电子&机械 | 军工学院 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某集成电 多核体系的软件仿真
某电力能 设计模式原理及应用
南方航空 软件设计方法与实践
某跨国公 软件设计原理与实
爱立信( 软件设计
Moto 设计模式
北京 软件设计原理与实践

 
全部课程 >云计算  
实时计算框架设计、构建及应用
277 次浏览  6 次
张老师
全球知名的大数据技术提供商担任大数据技术专家
 
时间地点:北京 上海 深圳根据报名开班
课程费用:5000元/人
企业内训:可以根据企业需求,定制内训,详见 内训学习手册



认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    大数据时代,对数据的计算能力是IT的核心能力之一,而计算的实时性是业务快速响应的基础,本课程关注如何搭建实时计算框架,快速地进行数据的实时计算。课程结合当前流行的流式计算框架Storm和Spark进行实时计算的落地。课程注重技术框架理论和实践应用的结合,结合搜索与推荐应用案例应用实例进行剖析和讲解,并安排关键环节的时间练习,让学员能够建立完整的工程能力。课程关注实战用例,将编写数个极具实践价值的应用程序,为开发者提供参考。

     
    培训目标:

    实时计算架构概览
    实时计算系统架构解析
    实时计算的技术架构实现
    实时计算的技术参考架构
    • Storm的体系结构
    • 流式计算简介与环境准备
    • 使用Storm进行流计算
    • 开发Storm程序
    构建高可用的实时计算架构
    • 通过集群构建高可用性
    • 集成Storm和Redis
    • 集成Storm:Kafka
    • 高可用实时计算架构:Storm HA的实现
    • Spark体系结构和SparkStreaming
    • Spark Streaming原理解析
    应用实例设计与优化
    • 实时计算在资讯个性化推荐系统中应用实例
    培训对象:软件工程师、软件架构师
    学员基础:具有java编程经验
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天

    实时计算原理与架构概览
    实时计算架构概览 结合实际大数据应用案例讲解:
  • 什么是实时计算
  • 为什么需要实时计算
  • 实时计算需要考虑哪些技术能力
  • 实时计算的当前的典型参考技术架构
    流式计算对实时计算的支持。
    实时计算系统架构解析 分布式实时计算架构蓝图
  • 分布式实时计算任务模型的设计与实现:
  • map/reduce
  • fork/join
  • 分布式计算的数据流缓冲区
  • Kafka分布式消息系统
  • Rabbitmq消息系统
  • ActiveMQ消息系统
  • 计算节点的数据流访问接口
  • 远程调用
  • Web服务
  • Restful服务
  • 计算服务的适用于管理
  • 服务注册、
  • 服务发现
  • 服务访问
  • 计算任务的调度机制
  • 事件驱动的任务处理
  • 实时调度管理
  • 定时任务管理
  • 实时计算的技术架构实现
    实时计算的技术参考架构 常见的流式计算框架及其原理
  • Storm、JStorm、
  • Spark Streaming、
  • Flink
  • Storm的体系结构 Storm基本原理和基本元素
    Storm集群的组成
    搭建Storm集群环境
    torm高可用性的实现
    流式计算简介与环境准备 Storm应用场景与对应的技术方案
    准备Storm的实验环境
    使用Storm进行流计算 Storm Demo演示:Word Count
    数据流模型和WordCount的处理过程
    Storm的数组分组策略
    开发Storm程序 设计高并发、高可靠性的Topology
    Worker、Task和Excutor的关系
    开发Spout组件
    开发Bolt组件
    开发Topology:本地模式和集群模式
    部署并运行Storm任务
    构建高可用的实时计算架构
    通过集群构建高可用性 Storm集群在ZK上保存的数据结构
    Storm集群任务提交流程
    Storm内部通信机制
    Storm的异常处理、容错机制及如何保证数据不重复处理
    Storm如何保证可靠性传输
    集成Storm和
    Redis
    MemCached和Redis内存数据库简介
    搭建和使用Redis
    集成Storm和Redis
    集成Storm:Kafka 消息系统与Kafka
    搭建Kafka消息系统实验环境
    集成Storm和Kafka
    高可用实时计算架构:Storm HA的实现 什么是ZooKeeper
    搭建ZooKeeper集群及ZooKeeper的特性
    使用ZooKeeper实现Storm的HA
    Spark体系结构和SparkStreaming Spark架构原理
    解析Spark Streaming
    Spark的体系架构与搭建
    利用ZooKeeper实现Spark Streaming的HA
    Spark Streaming原理解析 执行Spark Streaming程序
    Spark Streaming的核心:DStream
    开发Spark Streaming应用程序和窗口操作
    Spark Streaming的性能优化
    应用实例设计与优化
    实时计算在资讯个性化推荐系统中应用实例 推荐系统的整体架构和流程
    常用的推荐算法
  • 基于用户的协同过滤算法
  • 基于物品的协同过滤算法
  • ALS协同过滤算法
  • 其他算法
  •  
    277 次浏览  6 次
    其他人还看了课程
    云计算  1199 次浏览
    云计算高级架构师  1436 次浏览
    云端应用开发基础  210 次浏览
    云平台与微服务架构设计  1435 次浏览
    企业私有云原理与构建  1345 次浏览
    Windows Azure 云计算应用开发  1574 次浏览
    定制内训


    咨询服务:架构评估与优化
    咨询目标
    对现有的架构进行评估,发现问题,并优化
    咨询范围 业务架构,应用架构,数据架构,技术架构
    咨询方式 对现有架构进行建模,然后诊断问题,对问题进行集成分析,设计优化方案,指导团队实施优化,最终效果评估。
    成功案例 中国移动广西分公司,中国电信
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    基于Kubernetes的DevOps实践 10-22[北京]
    需求分析管理 11-5[北京]
    软件开发过程中的质量管理实践 11-16[北京]
    人工智能,机器学习和深度学习 11-26 [北京]
    业务架构到IT架构(TOGAF9.2认证)11-28[北京]
    企业级全栈自动化测试技术 10-16 [上海]
    大数据平台架构与应用实战 11-8[上海]
    Python及数据分析 11-25 [深圳]
     讲座 数据治理
     讲师:王辉
     时间:2019-10-19
     
    某军工研究单位  嵌入式软件架构
    某银行  人工智能+Python+大数据
    中国机械集团某研究院   基于模型的系统工程(MBSE)
    航天科工某子公司  C++中级开发实战(SOUI)
    中航工业某研究所  嵌入式软件开发指南
     
     
     

     
    每天2个文档/视频
    扫描微信二维码订阅
    订阅技术月刊
    获得每月300个技术资源
     
    希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
    频道编辑:sky
    邮       件:sky@uml.net.cn

    关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号