求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
成功案例
中航信 数据湖架构原理与应
某医疗磁 数据采集与处理
某科技公 大数据(Hadoo
诺基亚 Python基础
天津电子 Elasticse
中国电信 数据仓库与数据挖掘
某航天科 MySQL性能优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
Storm与大数据分析
2020 次浏览  38 次
徐老师
曾任58同城,大数据首席架构师。曾任趋势科技,大数据架构师。曾任通用数据,大数据架构师。
 
时间地点: 北京 上海 深圳根据报名开班
课程费用:5000元/人
报公开课  
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    本次课程的主要目的,使客户了解基于Storm的大数据分析架构和应用方法。

    • 数据源导入、数据分析流程、数据使用方案等问题,提升大数据架构设计知识理解。
    • 介绍核心内容Storm与实际使用中的优化事项,提升技术能力与技术理解,
    • 实际项目的架构分享,介绍现互联网行业大数据平台架构,与使用中的注意事项, 四 基于互联网行业应用案例,分享基于推荐系统的数据挖掘,(包括用户与用户的关系挖掘,用户与产品关系的挖掘,并介绍核心算法库)。
    • 搭建与管理大数据Storm相关组件,完成服务搭建与支撑业务应用,监控系统部署、服务指标监控、数据存储预警预计与计算资源预警。
    培训目标:

    主要希望帮助培训方解决的问题
    • 理解Storm的架构与各组件的使用场景
    • Storm核心的组件的架构设计与原理
    • Storm使用中的经验分享
    • 互联网行业的使用案例,使其帮助客户有大数据行业入门的思维,能够自行搭建大数据平台,完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。
    培训对象:大数据分析开发工程师
    学员基础:最好了解大数据技术框架Hadoop
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容:2天

    Storm基础知识 storm基本概念
    storm应用场景
    storm与hadoop的区别
    Storm与spark的区别

    Storm的架构与原理 Nimbus进程与Supervisor进程
    storm集群环境搭建:
  • zookeeper集群的搭建
  • storm配置文件配置项讲解
  • storm常用组件和编程API:
  • Topology
  • Spout
  • Bolt
  • Storm分组策略(Stream Groupings)、
    storm项目环境的搭建
    storm单词计数例子

    storm高并发策略 工作进程、执行器与任务的区别
    配置topology的并行度
    topology实例
    如何改变运行中topology的并行度

    storm可靠性机制 消息处理的含义
    storm的ack/fail机制
    storm如何保证可靠性
    storm如何实现可靠性

    拓扑的常见模式 流链接(stream join)
    批处理(Batching)
    BasicBolt
    内存中缓存与字段的组合
    流的topN

    storm批处理事务处理 storm批处理详解
    storm事务工作原理深入讲解
    storm事务相关API详解
    storm事务案例分析
    storm分区事务与不透明分区事务

    Kafka kafka概述
  • kafka是什么
  • kafka概念详解:Topics/logs、Distributitions、Producers、Consumers、Guarantees。
  • kafka的应用场景
    kafka的体系架构与设计原理
  • 消息持久化
  • 生产者与消费者
  • 消息传输机制
  • 复制备份
  • 分配机制
    kafka的安装部署
  • kafka集群环境的搭建
  • kafka配置项的配置与讲解
    kafka的存储策略
    kafka的分布与订阅
  • 分布与订阅的原理
  • 分布与订阅的接口
    kafka使用zookeeper进行协调管理
  • zookeeper在kafka中的作用
  • zookeeper如何进行协调管理


  • Spark-streaming Spark streaming架构设计
    Spark与storm消费kafka的对比
    吞吐量对比

    应用案例 中移动流计算平台介绍
    阿里J storm服务介绍
    百度流计算平台设计
    58飞流服务系统设计
    联通流计算平台设计

    案例演练与能力评测 搭建storm服务平台
    搭建kafka消息中心
    编写测试storm程序消费kafka数据统计ID出现次数
    笔试

       
    2020 次浏览  38 次
    其他人还看了课程
    数据中台架构与建设  5295 次浏览
    大数据平台搭建与高性能计算  6244 次浏览
    银行数据挖掘、精准营销与风险分析  3014 次浏览
    ELK应用架构与实践方法  1515 次浏览
    Power BI 建模专家培训  1679 次浏览
    Flume & Kafka原理与实践  1793 次浏览
    定制内训


    咨询服务:数据库设计与性能优化
    咨询目标 对客户的数据库进行性能评价,设计优化,管理优化
    咨询范围 数据库性能评价,数据库结构优化,数据访问SQL优化。
    咨询方式 现有数据库调查,问题诊断,性能评价。
    对数据库进行逻辑结构优化,对数据库进行访问SQL优化。
    建立数据库运行监控平台。运行监控与优化方法指导。
    成功案例 建设银行,中国农业银行,中国工商银行,中航信
    详情咨询:010-62670969, zhgx@uml.net.cn
    课程计划
    MBSE(基于模型的系统工程)4-18[北京]
    自然语言处理(NLP) 4-25[北京]
    基于 UML 和EA进行分析设计 4-29[北京]
    以用户为中心的软件界面设计 5-16[北京]
    DoDAF规范、模型与实例 5-23[北京]
    信息架构建模(基于UML+EA)5-29[北京]