要资料 文章 文库 Lib 视频 Code iProcess 课程 认证 服务 工具 讲座吧   成长之路  
会员   
 
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企
某知名银 大数据分析专题-R
IGT 数据分析与挖掘
某风电企 R语言数据分析
某车联网 数据分析与挖掘

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 

大数据工具Flume&Kafka集成实践 
Jason
多年从事大数据、云计算研发工作经验,资深软件架构师。
报名课程   102 次浏览    7 次 
时间地点: 北京 上海 深圳根据报名开班
课程费用:5000元/人
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。Flume&Kafka集合可以打造有效地大数据日志采集系统,本课程将通过实际案例讲解如何综合运用Flume&Kafka实现高效的日志采集和聚合功能。

培训目标:

1、彻底理解大数据分布式日志收集工具Flume技术;
2、深入剖析Kafka大数据分布式消息中间件;
3、培养学生整合成Flume与Kafka能力,并且进行实践操作;
培训对象:大型网站、电商网站等运维人员;大数据从业者;对大数据、分布式存储、分析等感兴趣的朋友;
学员基础:Java、PHP、C等任意一门编程语言的开发者;了解Hadoop生态体系,
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容:2天

大数据分布式收集工具Flume部署介绍(大数据分布式收集工具Flume部署介绍) 1、什么是Flume
2、Flume简介及使用
3、Flume逻辑架构
4、Flume部署架构
5、Flume集群部署
大数据分布式收集工具Flume技术介绍(大数据分布式收集工具Flume介绍) 1、Flume数据源类型
2、Flume收集数据2种主要工作模式
3、Flume核心概念
4、Flume特点
5、Flume数据收集
6、Flume配置
7、Flume分别配置组件属性
8、Flume多agent流
9、Flume在一个agent中添加多个数据流
10、Flume配置多个agent数据流
11、Flume复用流
12、消息发送处理过程
13、Flume扇出流
14、Flume合并
15、Flume Load Balance功能
16、Flume数据源
17、Flume Sinks
18、Flume Channels
19、Flume Channel Selectors
20、Flume Sink Processors
21、Event Serializers
22、Flume Interceptors
23、Flume Properties
24、Flume可靠性机制
25、Flume可恢复性
26、Flume插件功能
27、Flume Tools
28、Alias Conventions
29、大数据集群日志数据收集
30、大数据架构案例分享及实战演练:Flume在SaaS中的应用
分布式消息中间件Kafka剖析(深入理解Kafka的实现原理 1、Kafka诞生背景剖析
2、什么是Kafka
3、Kafka特征剖析
4、Kafka架构剖析
5、Broker
6、Producer
7、Consumers
8、Topics
9、Leader
10、Follower
11、Kafka集群部署
12、队列模式(queuing)
13、发布-订阅模式(publish-subscribe)
14、Kafka创建topic、发送消息、消费消息
15、数据传输的事务定义
16、数据的持久化
17、Kafka存储在硬盘上的消息格式
18、Kafka节点管理
19、Kafka运维管理
20、Kafka主从同步
21、Kafka的性能优化
22、Kafka的消息与日志
23、Kafka实战案例:
Kafka Shell操作实战(全面深入理解Kafka相关命令和具备Kafka的运维能力)

1、Kafka Shell介绍
2、Kafka查看日志命令
3、Kafka主从命令
4、Kafka监控命令

编写Kafka程序(深入理解Kafka的APIs并动手实践) 1、搭建Kafka开发环境
2 、Driver程序开发
3、Producer程序开发
4 、Consumer程序开发
5 、发布与运行
6 、Kafka APIs全面剖析
7 、Kafka APIs应用场景剖析及案例
8 、Kafka程序监控
9 、Kafka实战案例:Kafka整合实现数据实时数据分析处理设计与分析
Flume与Kafka集成配置实操(Flume与Kafka的集群动手实践) 1、实战案例:在Flume中数据源配置为Kafka
102 次浏览   7 次
其他人还看了课程
Apache Kylin平台应用与实操  47 次浏览
大数据工具Flume&Kafka集成实践  103 次浏览
大数据架构设计实战演练  631 次浏览
Flume & Kafka原理与实践  138 次浏览
Spark内存计算框架原理与实践应用  144 次浏览
定制内训


咨询服务:大数据技术平台构建与应用
咨询目标 帮助客户设计、规划大数据架构
帮助客户建立大数据技术平台,
帮助客户建立大数据分析模型
咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
大数据技术平台:分布式存储与计算平台,采集工具,分析工具
大数据分析应用案例:分析模型,结果报告
咨询方式 调查分析客户当前的数据资源和使用情况。
为客户设计大数据架构
搭建大数据技术平台
建立大数据分析应用示例。
详情咨询:010-62670969, zhgx@uml.net.cn

最新活动计划
[北京]需求分析与管理 10-16
[北京]人工智能、机器和深度学习 9-18
[北京]软件架构设计方法、案例实践9-20
[北京]敏捷开发过程及最佳实践 10-25
[北京]敏捷开发过程与项目管理 9-24
[北京]自动化测试框架设计实践 10-26
[上海]UML和EA进行系统分析设计 9-22
[上海]DevOps体系实践工具与平台 9-22
[深圳]领域驱动的建模与设计9-27
[深圳]需求分析与管理 10-19
 
 
 

 
每天2个文档/视频
扫描微信二维码订阅
订阅技术月刊
获得每月300个技术资源
 
希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
频道编辑:sky
邮       件:sky@uml.net.cn

关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号