要资料 文章 文库 Lib 视频 Code iProcess 课程 认证 服务 工具 讲座吧   成长之路  
会员   
 
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企
某知名银 大数据分析专题-R
IGT 数据分析与挖掘
某风电企 R语言数据分析
某车联网 数据分析与挖掘

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 

Flume & Kafka原理与实践  
郭老师
2007年加入阿里巴巴,历任资深开发工程师、技术专家、高级技术专家。
报名课程     138 次浏览    6 次 
时间地点:北京 上海 深圳根据报名开班
课程费用:5000元/人
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

  • 详解Flume架构,同时结合源代码分析了Flume事务的实现原理,并讲解如何实现自定义的Source, Sink, Channel, Interceptor
  • 详解kafka架构,包含数据持久化方式——Topic / Partition / Segment,及数据发布方案——Producer,数据路由策略——Partitioner,和消息订阅方案——Consumer
  • 分析Kafka实现高可用的原理,并将其推广到通用分布式系统,从而为分布式系统常见问题提供参考解决方案
  • 分析Kafka的Consumer Group Rebalance方案原理及其演进过程,并分析不同方案的优劣
  • 讲解Kafka Stream的适用场景,基于Partition的并发模型。同时分析流式处理系统的常见问题,以及Kafka Stream的对应解决方案。并给出Kafka Stream与其它流式处理系统的区别及各自适合的应用场景
  • 培训目标:
  • 了解Flume的适用场景,掌握Flume的事务原理及二次开发的注意事项,以及性能调优方案
  • 掌握Kafka的使用方式,以及如何与现有业务系统集成
  • 理解Kafka实现高可用的原理,了解Consumer Group Rebalance的原理及方案演进以及对业务代码的影响。同时为分布式系统经典问题提供思路
  • 掌握Kafka Stream的原理及适用场景
  • 掌握Kafka运维的核心问题解决方案
  • 培训对象:大数据开发工程师
    学员基础:具有java编程基础
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容:2天

    1. Flume原理 1.1 Flume架构
    1.2 Fan-in & Fan-out
    1.3 Flume事务原理
    1.4 Flume监控
    1.5 Flume性能优化
    2. Flume二次开发 2.1 Flume Event数据结构
    2.2 自定义Source
    2.3 自定义Sink
    2.4 自定义Channel
    2.5 自定义Interceptor
    3. Kafka架构 3.1 Kafka整体架构
    3.2 Topic & Partition
    3.3 Producer最佳实践
    3.4 消息路由之自定义Partitioner
    3.5 两种不同的Consumer用法
    4. Kafka高可用原理 4.1 Kafka面临的CAP问题
    4.2 高可用下的数据分发
    4.3 动态平衡策略ISR
    4.4 基于Zookeeper的领导选举方案
    4.5 Failover原理
    5. Consumer Rebalance方案演进 5.1 为什么需要Rebalance
    5.2 Rebalance实现的效果
    5.3 自治式Rebalance原理及问题
    5.4 集中式Rebalance实现原理
    5.5 应用程序如何处理Consumer Rebalance
    6. Kafka Stream 6.1 Kafka Stream架构
    6.2 Kafka Stream并发模型
    6.3 实现Topology的两种方式
    6.4 窗口和Join原理与可恢复性保障
    6.5 适用场景
    7. Kafka运维与如何实现正好一次 7.1 重新分配Replica
    7.2 Preferred Replica Leader Election
    7.3 两阶段提交实现正好一次
    7.4 幂等操作实现正好一次
    7.5 数据处理与offset管理放在同一事务实现正好一次
    138 次浏览   6 次
    其他人还看了课程
    Apache Kylin平台应用与实操  47 次浏览
    大数据工具Flume&Kafka集成实践  103 次浏览
    大数据架构设计实战演练  631 次浏览
    Flume & Kafka原理与实践  139 次浏览
    Spark内存计算框架原理与实践应用  144 次浏览
    定制内训


    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    [北京]需求分析与管理 10-16
    [北京]人工智能、机器和深度学习 9-18
    [北京]软件架构设计方法、案例实践9-20
    [北京]敏捷开发过程及最佳实践 10-25
    [北京]敏捷开发过程与项目管理 9-24
    [北京]自动化测试框架设计实践 10-26
    [上海]UML和EA进行系统分析设计 9-22
    [上海]DevOps体系实践工具与平台 9-22
    [深圳]领域驱动的建模与设计9-27
    [深圳]需求分析与管理 10-19
     
     
     

     
    每天2个文档/视频
    扫描微信二维码订阅
    订阅技术月刊
    获得每月300个技术资源
     
    希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
    频道编辑:sky
    邮       件:sky@uml.net.cn

    关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号