求知 文章 文库 Lib 视频 iProcess 课程 角色 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 电子&机械 | 军工学院 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
Kafka 原理剖析及实战演练
77 次浏览  3 次
石老师
曾就职于58同城,唯品会从事数据平台及数据产品的建设工作,现就职于一家著名电商企业,负责流式SQL开发平台建设工作。
 
时间地点: 北京 上海 深圳根据报名开班
课程费用:5500元/人
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

  • 详解kafka架构设计及消息消费模型,包含数据持久化方式——Topic / Partition / Segment,及数据发布方案——Producer,数据路由策略——Partitioner,和消息消费方式——Consumer
  • 分析Kafka实现高可用的原理,并将其推广到通用分布式系统,从而为分布式系统常见问题提供参考解决方案
  • 分析Kafka的Consumer Group Rebalance方案原理及其演进过程,并分析不同方案的优劣
  • 讲解Kafka Stream的设计特点及提供的功能特性, 同时对比讲解其他流处理系统在面对状态维护、 时间处理、并发模型、编程模型等关键问题时的设计,以及Kafka Stream的对应解决方案。并给出Kafka Stream与其它流式处理系统的区别及各自适合的应用场景
  • 分析Kafka幂等Producer的实现原理, Kafka事务机制设计思路,以及Kafka Stream实现端到端正好一次语义的关键技术
培训目标:

  • 掌握Kafka的使用方式,以及如何与现有业务系统集成
  • 理解Kafka实现高可用、一致性的原理
  • 了解Consumer Group Rebalance的原理及方案演进以及对业务代码的影响。同时为分布式系统经典问题提供思路
  • 掌握Kafka Stream的原理及应用场景
  • 掌握使用Kafka实现端到端正好一次语义的原理及方法
  • 掌握Kafka性能评估及监控等运维问题的解决思路
培训对象:大数据产品开发工程师,大数据架构师,大数据运维人员,对Kafka感兴趣的人员
学院基础:
最好具备以下基础,能通过本课程有更多收获:
1、了解消息队列等消息中间件的常见用法及作用;
2、了解流式应用场景及常见问题

授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容:2天

一、Kafka 架构及应用 Kafka 整体架构
1. 概念及整体视图
2. 消费模式
3. 可扩展方案
4. 负载均衡方案
5. 高可用方案
Kakfa Producer
1. 重要参数配置
2. 消息发送及序列化
3. 消息分区
4. 生产拦截
5. 元数据管理
Kakfa Consumer
1. 重要参数配置
2. 订阅主题与分区
3. 消息消费及反序列化
4. 起始消费位置
5. 消费拦截
主题与分区
1. 主题管理
2. 分区管理
二、日志存储与清理 1. 日志格式
2. 日志索引
3. 日志清理
三、Kafka 可靠性与一致性问题 1. 高可用方案
2. 日志同步与副本管理
3. 可靠性分析
四、Consumer Rebalance 问题 1. 为什么需要 Rebalance
2. Rebalance 实现的效果
3. 自治式 Rebalance 原理及问题
4. 集中式 Rebalance 实现原理(Consumer Coordinator)
5. 应用程序如何处理 Consumer Rebalance

五、Kafka 数据完整性问题 1. 数据完整性语义
2. 幂等及实现原理
3. 事务及实现原理
六、Kafka Stream 1. Kafka Stream 架构
2. Kafka Stream 并发模型
3. Kafka Stream 状态及容错管理
4. Kafka Stream 编程模型
5. Kafka Stream 已支持的高级特性
6. 与其他流处理系统对比。
七、Kafka 运维与应用 1. 内置工具
2. 常用监控指标说明
3. 监控模块
4. 性能评估
5. 应用场景解析
6. Kafka Connect
7. Mirror Maker
8. Uber uReplicator
 
77 次浏览  3 次
其他人还看了课程
Apache Kylin平台应用与实操  830 次浏览
大数据工具Flume&Kafka集成实践  751 次浏览
大数据架构设计实战演练  1590 次浏览
大数据搜索框架(ElasticSearch)与应用  1160 次浏览
Hadoop与Spark大数据架构专题  4677 次浏览
深入浅出学Zookeeper   124 次浏览
定制内训


咨询服务:大数据技术平台构建与应用
咨询目标 帮助客户设计、规划大数据架构
帮助客户建立大数据技术平台,
帮助客户建立大数据分析模型
咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
大数据技术平台:分布式存储与计算平台,采集工具,分析工具
大数据分析应用案例:分析模型,结果报告
咨询方式 调查分析客户当前的数据资源和使用情况。
为客户设计大数据架构
搭建大数据技术平台
建立大数据分析应用示例。
详情咨询:010-62670969, zhgx@uml.net.cn

最新活动计划
用户体验、可用性测试与评估 9-17 [北京]
测试需求分析与测试用例设计 9-19 [北京]
DoDAF理论与实践理 9-24 [北京]
需求分析管理 9-26 [北京]
敏捷测试-简单而可行 10-18 [北京]
云平台与微服务架构设计 10-23 [北京]
基于Flink搭建流计算平台 9-20 [上海]
企业级全栈自动化测试技术 10-16[上海]
人工智能,机器学习和深度学习 10-16[深圳]
 讲座 数据治理
 讲师:王辉
 时间:2019-10-19
 
 
 
 

 
每天2个文档/视频
扫描微信二维码订阅
订阅技术月刊
获得每月300个技术资源
 
希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
频道编辑:sky
邮       件:sky@uml.net.cn

关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号