求知 文章 文库 Lib 视频 iProcess 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 电子&机械 | 军工学院 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某综合性 人工智能与机器学习
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
Storm与大数据分析
882 次浏览  37 次
徐老师
曾任58同城,大数据首席架构师。曾任趋势科技,大数据架构师。曾任通用数据,大数据架构师。
 
时间地点: 北京 上海 深圳根据报名开班
课程费用:5000元/人
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    本次课程的主要目的,使客户了解基于Storm的大数据分析架构和应用方法。

    • 数据源导入、数据分析流程、数据使用方案等问题,提升大数据架构设计知识理解。
    • 介绍核心内容Storm与实际使用中的优化事项,提升技术能力与技术理解,
    • 实际项目的架构分享,介绍现互联网行业大数据平台架构,与使用中的注意事项, 四 基于互联网行业应用案例,分享基于推荐系统的数据挖掘,(包括用户与用户的关系挖掘,用户与产品关系的挖掘,并介绍核心算法库)。
    • 搭建与管理大数据Storm相关组件,完成服务搭建与支撑业务应用,监控系统部署、服务指标监控、数据存储预警预计与计算资源预警。
    培训目标:

    主要希望帮助培训方解决的问题
    • 理解Storm的架构与各组件的使用场景
    • Storm核心的组件的架构设计与原理
    • Storm使用中的经验分享
    • 互联网行业的使用案例,使其帮助客户有大数据行业入门的思维,能够自行搭建大数据平台,完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。
    培训对象:大数据分析开发工程师
    学员基础:最好了解大数据技术框架Hadoop
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容:2天

    Storm基础知识 storm基本概念
    storm应用场景
    storm与hadoop的区别
    Storm与spark的区别

    Storm的架构与原理 Nimbus进程与Supervisor进程
    storm集群环境搭建:
  • zookeeper集群的搭建
  • storm配置文件配置项讲解
  • storm常用组件和编程API:
  • Topology
  • Spout
  • Bolt
  • Storm分组策略(Stream Groupings)、
    storm项目环境的搭建
    storm单词计数例子

    storm高并发策略 工作进程、执行器与任务的区别
    配置topology的并行度
    topology实例
    如何改变运行中topology的并行度

    storm可靠性机制 消息处理的含义
    storm的ack/fail机制
    storm如何保证可靠性
    storm如何实现可靠性

    拓扑的常见模式 流链接(stream join)
    批处理(Batching)
    BasicBolt
    内存中缓存与字段的组合
    流的topN

    storm批处理事务处理 storm批处理详解
    storm事务工作原理深入讲解
    storm事务相关API详解
    storm事务案例分析
    storm分区事务与不透明分区事务

    Kafka kafka概述
  • kafka是什么
  • kafka概念详解:Topics/logs、Distributitions、Producers、Consumers、Guarantees。
  • kafka的应用场景
    kafka的体系架构与设计原理
  • 消息持久化
  • 生产者与消费者
  • 消息传输机制
  • 复制备份
  • 分配机制
    kafka的安装部署
  • kafka集群环境的搭建
  • kafka配置项的配置与讲解
    kafka的存储策略
    kafka的分布与订阅
  • 分布与订阅的原理
  • 分布与订阅的接口
    kafka使用zookeeper进行协调管理
  • zookeeper在kafka中的作用
  • zookeeper如何进行协调管理


  • Spark-streaming Spark streaming架构设计
    Spark与storm消费kafka的对比
    吞吐量对比

    应用案例 中移动流计算平台介绍
    阿里J storm服务介绍
    百度流计算平台设计
    58飞流服务系统设计
    联通流计算平台设计

    案例演练与能力评测 搭建storm服务平台
    搭建kafka消息中心
    编写测试storm程序消费kafka数据统计ID出现次数
    笔试

     
    882 次浏览  37 次
    其他人还看了课程
    数据可视化方法与实践  303 次浏览
    金融行业数据分析  363 次浏览
    大数据体系实践  257 次浏览
    Spark实践培训  1499 次浏览
    《企业级Hadoop大数据处理最佳实践》  998 次浏览
    数据统计分析方法与工具、实践  1298 次浏览
    定制内训


    咨询服务:数据库设计与性能优化
    咨询目标 对客户的数据库进行性能评价,设计优化,管理优化
    咨询范围 数据库性能评价,数据库结构优化,数据访问SQL优化。
    咨询方式 现有数据库调查,问题诊断,性能评价。
    对数据库进行逻辑结构优化,对数据库进行访问SQL优化。
    建立数据库运行监控平台。运行监控与优化方法指导。
    成功案例 建设银行,中国农业银行,中国工商银行,中航信
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    需求分析管理 11-5[北京]
    ANSYS 有限元分析实战 11-23[北京]
    企业架构师(TOGAF官方认证)11-28[北京]
    Apache ActiveMQ技术实战 12-9[北京]
    人工智能,机器和深度学习11-26 [上海]
    分布式系统设计与实践 12-12[上海]
    云平台与微服务架构设计 11-15 [深圳]
    北京  需求分析师能力认证
    某电信运营供应商  应用UML进行面向对象分析设计
    某综合性科研机构  人工智能与机器学习应用
    中国平安  测试质量控制与管理
    某新能源电力企业  软件架构设计方法、案例与实践