求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
成功案例
某集成电 多核体系的软件仿真
某电力能 设计模式原理及应用
南方航空 软件设计方法与实践
某跨国公 软件设计原理与实
爱立信( 软件设计
Moto 设计模式
北京 软件设计原理与实践
 
全部课程 >架构设计  
Kafka原理与实践      
1518 次浏览  31 次
Jason
多年从事大数据、云计算研发工作经验,资深软件架构师
 
地点时间:北京 上海 深圳根据报名开班
课程费用:5000元/人,详见 公开课学习手册
报公开课  
企业内训:可以根据企业需求,定制内训,详见 内训学习手册



认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    1.详解kafka架构,包含数据持久化方式——Topic / Partition / Segment,及数据发布方案——Producer,数据路由策略——Partitioner,和消息订阅方案——Consumer
    2.分析Kafka实现高可用的原理(可用性与数据一致性动态平衡机制ISR,Replica选主核心Controller),并将其推广到通用分布式系统,从而为分布式系统常见问题提供参考解决方案
    3.分析Kafka的Consumer Group Rebalance方案原理及其演进过程(从各自为政到Consumer Coordinator),并分析不同方案的优劣
    4.讲解Kafka Stream的适用场景,基于Partition的并发模型。同时分析流式处理系统的常见问题,以及Kafka Stream的对应解决方案。并给出Kafka Stream与其它流式处理系统的区别及各自适合的应用场景
    5.分析 Kafka 0.11.*版本中幂等Producer的实现原理,Kafka事务机制设计思路(Transaction Coordinator),以及Kafka Stream实现端到端正好一次语义的关键技术
    6.介绍Kafka运维思路与方法

     
    培训目标:

    1. 掌握Kafka的使用方式,以及如何与现有业务系统集成
    2. 理解Kafka实现高可用的原理,包括但不限于Controller与ISR原理
    3. 了解Consumer Group Rebalance的原理及方案演进以及对业务代码的影响。同时为分布式系统经典问题提供思路
    4. 掌握Kafka Stream的原理及适用场景
    5. 掌握使用Kafka实现端到端正好一次语义的方法
    6. 掌握Kafka运维的核心问题解决方案
    7. 了解Kafka运维思路与方法
    培训对象:分布式应用开发工程师
    学员基础:具有java编程基础
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天

    主题 课程安排
    1. Kafka架构 1.1 Kafka整体架构
    1.2 Topic & Partition
    1.3 Producer最佳实践
    1.4 消息路由之自定义Partitioner
    1.5 两种不同的Consumer用法
    2. Kafka高可用原理 2.1 Kafka面临的CAP问题
    2.2 高可用下的数据分发
    2.3 动态平衡策略ISR
    2.4 基于Zookeeper的领导选举方案(Controller)
    2.5 Failover原理
    3. Consumer Rebalance方案演进 3.1 为什么需要Rebalance
    3.2 Rebalance实现的效果
    3.3 自治式Rebalance原理及问题
    3.4 集中式Rebalance实现原理(Consumer Coordinator)
    3.5 应用程序如何处理Consumer Rebalance
    4. Kafka Stream 4.1 Kafka Stream架构
    4.2 Kafka Stream并发模型
    4.3 实现Topology的两种方式
    4.4 窗口和Join原理与可恢复性保障
    4.5 适用场景
    5. Kafka运维与如何实现正好一次 5.1 重新分配Replica
    5.2 Preferred Replica Leader Election
    5.3 两阶段提交实现正好一次
    5.4 幂等操作实现正好一次
    5.5 数据处理与offset管理放在同一事务实现正好一次
    6. Kafka事务机制 6.1 幂等Producer原理
    6.2 Kafka事务原理(Transaction Coordinator)
    6.3 Kafka Stream中的事务
    7. Kafka运维 7.1 Partition重新分配
    7.2 Preferred Replica Leader Election
    7.3 Kafka监控
       
    1518 次浏览  31 次
    其他人还看了课程
    大型互联网公司网站架构背后的基础技术  1721 次浏览
    大型互联网高可用架构设计实践  4752 次浏览
    大规模高性能分布式存储系统设计与实现  1676 次浏览
    NGOSS原理与应用  1768 次浏览
    业务架构到技术架构的设计与建模(TOGAF9.2鉴定级认证)  2960 次浏览
    Kafka原理与实践  1518 次浏览
    定制内训


    咨询服务:企业架构梳理与建模
    咨询目标
    帮助客户梳理企业架构, 对企业架构进行建模,支持未来的企业架构规划和建设。
    咨询范围 企业架构梳理:业务架构,数据架构,应用架构,技术架构
    企业架构建模:业务模型,数据模型,应用模型,技术模型
    咨询方式 对现有的企业架构进行调研、
    对现有的企业架构进行建模
    对现有的企业架构进行评价,给出评价标准。
    对未来的企业架构进行规划
    对未来的企业架构进行建模
    规划企业架构迁移路线图。
    成功案例 民生银行某IT支撑部门,中国金融电子某IT部门,某大型航空公司,某大型汽车厂商,某大型金融证券机构,某大型能源企业。
    详情咨询:010-62670969, zhgx@uml.net.cn
    课程计划
    MBSE(基于模型的系统工程)4-18[北京]
    自然语言处理(NLP) 4-25[北京]
    基于 UML 和EA进行分析设计 4-29[北京]
    以用户为中心的软件界面设计 5-16[北京]
    DoDAF规范、模型与实例 5-23[北京]
    信息架构建模(基于UML+EA)5-29[北京]