求知 文章 文库 Lib 视频 Code iProcess 课程 认证 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企
某知名银 大数据分析专题-R
IGT 数据分析与挖掘

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
 
Storm与大数据分析    
 
徐老师
曾任58同城,大数据首席架构师。曾任趋势科技,大数据架构师。曾任通用数据,大数据架构师。
报名课程   396 次浏览  24 次
时间地点: 北京 上海 深圳 根据报名开班
课程费用: 5000元/人
企业内训: 可以根据企业需求,定制内训,详见 内训学习手册
课程简介
本次课程的主要目的,使客户了解基于Storm的大数据分析架构和应用方法。
  • 数据源导入、数据分析流程、数据使用方案等问题,提升大数据架构设计知识理解。
  • 介绍核心内容Storm与实际使用中的优化事项,提升技术能力与技术理解,
  • 实际项目的架构分享,介绍现互联网行业大数据平台架构,与使用中的注意事项, 四 基于互联网行业应用案例,分享基于推荐系统的数据挖掘,(包括用户与用户的关系挖掘,用户与产品关系的挖掘,并介绍核心算法库)。
  • 搭建与管理大数据Storm相关组件,完成服务搭建与支撑业务应用,监控系统部署、服务指标监控、数据存储预警预计与计算资源预警。
  • 培训目标:
    主要希望帮助培训方解决的问题
  • 理解Storm的架构与各组件的使用场景
  • Storm核心的组件的架构设计与原理
  • Storm使用中的经验分享
  • 互联网行业的使用案例,使其帮助客户有大数据行业入门的思维,能够自行搭建大数据平台,完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。
  • 培训对象:大数据分析开发工程师
    学员基础:最好了解大数据技术框架Hadoop
    授课方式:定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容: 2天
    Storm基础知识 storm基本概念
    storm应用场景
    storm与hadoop的区别
    Storm与spark的区别

    Storm的架构与原理 Nimbus进程与Supervisor进程
    storm集群环境搭建:
  • zookeeper集群的搭建
  • storm配置文件配置项讲解
  • storm常用组件和编程API:
  • Topology
  • Spout
  • Bolt
  • Storm分组策略(Stream Groupings)、
    storm项目环境的搭建
    storm单词计数例子

    storm高并发策略 工作进程、执行器与任务的区别
    配置topology的并行度
    topology实例
    如何改变运行中topology的并行度

    storm可靠性机制 消息处理的含义
    storm的ack/fail机制
    storm如何保证可靠性
    storm如何实现可靠性

    拓扑的常见模式 流链接(stream join)
    批处理(Batching)
    BasicBolt
    内存中缓存与字段的组合
    流的topN

    storm批处理事务处理 storm批处理详解
    storm事务工作原理深入讲解
    storm事务相关API详解
    storm事务案例分析
    storm分区事务与不透明分区事务

    Kafka kafka概述
  • kafka是什么
  • kafka概念详解:Topics/logs、Distributitions、Producers、Consumers、Guarantees。
  • kafka的应用场景
    kafka的体系架构与设计原理
  • 消息持久化
  • 生产者与消费者
  • 消息传输机制
  • 复制备份
  • 分配机制
    kafka的安装部署
  • kafka集群环境的搭建
  • kafka配置项的配置与讲解
    kafka的存储策略
    kafka的分布与订阅
  • 分布与订阅的原理
  • 分布与订阅的接口
    kafka使用zookeeper进行协调管理
  • zookeeper在kafka中的作用
  • zookeeper如何进行协调管理


  • Spark-streaming Spark streaming架构设计
    Spark与storm消费kafka的对比
    吞吐量对比

    应用案例 中移动流计算平台介绍
    阿里J storm服务介绍
    百度流计算平台设计
    58飞流服务系统设计
    联通流计算平台设计

    案例演练与能力评测 搭建storm服务平台
    搭建kafka消息中心
    编写测试storm程序消费kafka数据统计ID出现次数
    笔试

     
    397 次浏览  24 次
    其他人还看了课程
    数据统计分析方法与工具、实践  747 次浏览
    大数据分析-SparkR  1031 次浏览
    大数据落地技术系列课程  1219 次浏览
    大数据分析专题-R语言培训  3737 次浏览
    CDH Cloudera Manager管理实战与案例解析  1457 次浏览
    大数据(Hadoop、Spark、NoSQL等)的技术与实践  1330 次浏览
    定制内训



    咨询服务:数据库设计与性能优化
    咨询目标 对客户的数据库进行性能评价,设计优化,管理优化
    咨询范围 数据库性能评价,数据库结构优化,数据访问SQL优化。
    咨询方式 现有数据库调查,问题诊断,性能评价。
    对数据库进行逻辑结构优化,对数据库进行访问SQL优化。
    建立数据库运行监控平台。运行监控与优化方法指导。
    成功案例 建设银行,中国农业银行,中国工商银行,中航信
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    [北京]敏捷开发过程与项目管理 6-12
    [北京]以用户为中心的软件界面设计 6-19
    [北京]开发过程中的质量管理实践 6-23
    [北京]人工智能,机器和深度学习 6-21
    [北京]架构设计方法、案例与实践 6-28
    [北京]HTML5+CSS3原理与开发应 7-13
    [上海]区块链技术与项目实战 7-6
    [上海]物联网原理与应用 7-13
    [上海]微服务架构设计与实践 7-14
    [厦门]高质量软件设计与设计模式 6-14
    [深圳]嵌入式架构设计高级实践 6-21
    [深圳]UML和EA进行系统分析设计 7-7
     
     
     

     
    每天2个文档/视频
    扫描微信二维码订阅
    订阅技术月刊
    获得每月300个技术资源
     
    希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
    频道编辑:sky
    邮       件:sky@uml.net.cn

    关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号