求知 文章 文库 Lib 视频 iProcess 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 电子&机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某通信设 Python数据分
某综合性 人工智能与机器学习
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
大数据工具Flume&Kafka集成实践 
817 次浏览  35 次
Jason
多年从事大数据、云计算研发工作经验,资深软件架构师。
 
时间地点: 北京 上海 深圳根据报名开班
课程费用:5000元/人
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
    Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。Flume&Kafka集合可以打造有效地大数据日志采集系统,本课程将通过实际案例讲解如何综合运用Flume&Kafka实现高效的日志采集和聚合功能。

    培训目标:

    1、彻底理解大数据分布式日志收集工具Flume技术;
    2、深入剖析Kafka大数据分布式消息中间件;
    3、培养学生整合成Flume与Kafka能力,并且进行实践操作;
    培训对象:大型网站、电商网站等运维人员;大数据从业者;对大数据、分布式存储、分析等感兴趣的朋友;
    学员基础:Java、PHP、C等任意一门编程语言的开发者;了解Hadoop生态体系,
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容:2天

    大数据分布式收集工具Flume部署介绍(大数据分布式收集工具Flume部署介绍) 1、什么是Flume
    2、Flume简介及使用
    3、Flume逻辑架构
    4、Flume部署架构
    5、Flume集群部署
    大数据分布式收集工具Flume技术介绍(大数据分布式收集工具Flume介绍) 1、Flume数据源类型
    2、Flume收集数据2种主要工作模式
    3、Flume核心概念
    4、Flume特点
    5、Flume数据收集
    6、Flume配置
    7、Flume分别配置组件属性
    8、Flume多agent流
    9、Flume在一个agent中添加多个数据流
    10、Flume配置多个agent数据流
    11、Flume复用流
    12、消息发送处理过程
    13、Flume扇出流
    14、Flume合并
    15、Flume Load Balance功能
    16、Flume数据源
    17、Flume Sinks
    18、Flume Channels
    19、Flume Channel Selectors
    20、Flume Sink Processors
    21、Event Serializers
    22、Flume Interceptors
    23、Flume Properties
    24、Flume可靠性机制
    25、Flume可恢复性
    26、Flume插件功能
    27、Flume Tools
    28、Alias Conventions
    29、大数据集群日志数据收集
    30、大数据架构案例分享及实战演练:Flume在SaaS中的应用
    分布式消息中间件Kafka剖析(深入理解Kafka的实现原理 1、Kafka诞生背景剖析
    2、什么是Kafka
    3、Kafka特征剖析
    4、Kafka架构剖析
    5、Broker
    6、Producer
    7、Consumers
    8、Topics
    9、Leader
    10、Follower
    11、Kafka集群部署
    12、队列模式(queuing)
    13、发布-订阅模式(publish-subscribe)
    14、Kafka创建topic、发送消息、消费消息
    15、数据传输的事务定义
    16、数据的持久化
    17、Kafka存储在硬盘上的消息格式
    18、Kafka节点管理
    19、Kafka运维管理
    20、Kafka主从同步
    21、Kafka的性能优化
    22、Kafka的消息与日志
    23、Kafka实战案例:
    Kafka Shell操作实战(全面深入理解Kafka相关命令和具备Kafka的运维能力)

    1、Kafka Shell介绍
    2、Kafka查看日志命令
    3、Kafka主从命令
    4、Kafka监控命令

    编写Kafka程序(深入理解Kafka的APIs并动手实践) 1、搭建Kafka开发环境
    2 、Driver程序开发
    3、Producer程序开发
    4 、Consumer程序开发
    5 、发布与运行
    6 、Kafka APIs全面剖析
    7 、Kafka APIs应用场景剖析及案例
    8 、Kafka程序监控
    9 、Kafka实战案例:Kafka整合实现数据实时数据分析处理设计与分析
    Flume与Kafka集成配置实操(Flume与Kafka的集群动手实践) 1、实战案例:在Flume中数据源配置为Kafka
     
    817 次浏览  35 次
    其他人还看了课程
    Apache Kylin平台应用与实操  893 次浏览
    大数据工具Flume&Kafka集成实践  817 次浏览
    大数据架构设计实战演练  1700 次浏览
    大数据搜索框架(ElasticSearch)与应用  1279 次浏览
    Hadoop与Spark大数据架构专题  4874 次浏览
    深入浅出学Zookeeper   201 次浏览
    定制内训


    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    人工智能,机器学习和深度学习 12-8[北京]
    软件架构设计方法、案例与实践 12-18[北京]
    ANSYS 有限元分析实战 12-20[北京]
    基于UML和EA进行系统分析设计 12-26[北京]
    嵌入式C高质量编程 12-12 [上海]
    区块链项目解析与项目实战 12-27[上海]
    基于SysML和EA系统设计建模 12-16 [深圳]
    某通信设备企业  Python数据分析与挖掘
    北京  需求分析师能力认证
    某电信运营供应商  应用UML进行面向对象分析设计
    某综合性科研机构  人工智能与机器学习应用
    中国平安  测试质量控制与管理