求知 文章 文库 Lib 视频 iProcess 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 电子&机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某通信设 Python数据分
某综合性 人工智能与机器学习
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
基于Flink搭建流计算平台
702 次浏览  37 次
石老师
曾就职于58同城,唯品会从事数据平台及数据产品的建设工作,现就职于一家著名电商企业,负责流式SQL开发平台建设工作。
 
时间地点: 北京 上海 深圳根据报名开班
课程费用:5500元/人
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

本课程的大纲设置,注重的是Flink基础和核心技术的梳理和掌握,之后会对其中几个重要的技术点做深入分析。针对企业内训的需求,我们对大纲的设置,特别增加了学以致用的实战环节,让企业学员能够在学习完Flink技术知识后,具备将Flink应用到实际生产环境中的能力,通过短时间的技术学习,为公司创造价值和提高技术生产的效率。

此课程共两天,第一天为Flink的基础和进阶技术知识点,以及第一个实战项目。第二天为Flink的高级技术知识点,包含了第二个实战项目。

培训目标:

  • 掌握Flink流式计算系统的核心设计原理;
  • 具备初步的流式应用开发能力;
  • 具备Flink流式计算平台搭建、运维和优化能力。
培训对象:实时计算平台搭建、实时应用开发人员,对Flink感兴趣的人员
学院基础: 最好有Java或Scala编程,基础如果您对流式计算有需要解决的问题,则通过本课程,会有更多收获。
授课方式: 讲授 + 实战演练
培训内容:2天

一、流式处理架构 1.1 流式处理背景及架构介绍
1.2 流式处理行业案例以及Flink的适用场景及应用概述
二、Flink概述 2.1 什么是Flink
2.2 Flink架构
2.3 Flink 与 Spark的比较以及为什么选择Flink
2.4 Flink开发环境配置和搭建
三、Flink编程模型 3.1 数据集类型
3.2 Flink编程接口
3.3 Flink程序结构
3.4 Flink数据类型
四、DataStream API介绍与使用 4.1 DataStream编程模型
4.2 Flink Execution 参数
4.3 Transformation
4.4 时间概念与Watermark
4.5 Windows窗口计算
4.6 作业链和资源组
4.7 Asynchronous I/O异步API
4.8 Asynchronous I/O异步原理

五、Flink流式计算基本概念介绍 5.1 时间特性:Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 数据完整性语义
5.5 State/Checkpoint/Savepoint
5.6 Time window

六、Flink Connector数据源 6.1 FlinkKafkaSource序列化、消费模式
6.2 FlinkKafkaSource容错、动态分区及topic
6.3 FlinkKafkaSink序列化、配置、分区与容错
6.4自定义Source和Sink

七、DataSet API介绍与使用 7.1 DataSet API,Transformation
7.2 迭代计算
7.3 广播变量与分布式缓存
7.4 语义注解
7.5 DataSetUtils工具类
八、Table API & SQL介绍与使用 8.1 基本概念
    流/表对偶性
    Source/Sink Table
    数据回撤
8.2 Flink Table API
8.3 Flink SQL使用
    Flink SQL client
    Flink SQL 已支持特性
8.4 自定义函数 UDF/UDTF/UDAF

九、两个完整的Flink实现案例 9.1 Kafka 数据流处理,写入HDFS
9.2多源数据关联与聚合分析

十、Flink有状态的计算、状态管理和容错 10.1 什么是有状态计算
10.2 有状态计算中的数据一致性挑战
10.3 理解state状态
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用与Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用条件及使用步骤
10.9 Checkpoint相关配置及重启策略
10.10 Savepoint的触发、Job恢复及删除


十一、实战项目1:用Flink实现一个通用、配置化的海量数据流、批处理产品 11.1实现配置管理
11.2实现数据源加载
11.3实现主流程控制
11.4实现任务管理
十二、Flink部署与应用 12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升级
12.5 Flink on Yarn的原理和运行方式
12.6 Flink on Yarn 提交任务与停止任务
十三、Flink监控与性能优化 13.1 监控指标
13.2 Backpressure监控与优化
13.3 Checkpointing监控与优化
13.4 Flink内存优化
十四、Flink组件栈介绍与使用 14.1 Flink复杂事件处理
14.2 Flink Gelly图计算应用
14.3 FlinkML机器学习应用
14.4 Flink Metrics 与监控
十五、Flink源码学习 15.1 Flink源码编译
15.2 如何阅读和学习Flink源码
15.3 Flink源码实现思路以及依赖管理
15.4 Flink核心模块源码带读与分析
十六、Flink在各大互联网公司的典型应用剖析 16.1Flink在阿里的应用
16.2Flink在字节跳动的应用
16.3Flink在腾讯的应用
16.4Flink在微博的应用
16.5Flink在其他互联网公司的应用
16.6Flink 最佳实践
十七、实战项目2:使用Flink实现电商用户支付行为分析和审计风控 17.1电商支付数据模型(订单,流水,账户余额,发现表)
17.2用户行为分析需求与维度指标设计
17.3审计风控的需求与实现思路
17.4Flink代码实现结构与业务逻辑细节拆解
 
702 次浏览  37 次
其他人还看了课程
数据统计分析方法与工具、实践  1325 次浏览
大数据分析-SparkR  1712 次浏览
《企业级Hadoop大数据处理最佳实践》  1014 次浏览
大数据落地技术系列课程  1629 次浏览
Power BI 数据分析实战  321 次浏览
大数据分析专题-R语言培训  4775 次浏览
定制内训


咨询服务:大数据技术平台构建与应用
咨询目标 帮助客户设计、规划大数据架构
帮助客户建立大数据技术平台,
帮助客户建立大数据分析模型
咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
大数据技术平台:分布式存储与计算平台,采集工具,分析工具
大数据分析应用案例:分析模型,结果报告
咨询方式 调查分析客户当前的数据资源和使用情况。
为客户设计大数据架构
搭建大数据技术平台
建立大数据分析应用示例。
详情咨询:010-62670969, zhgx@uml.net.cn

最新活动计划
测试需求分析与测试用例设计 12-17[北京]
软件架构设计方法、案例与实践 12-18[北京]
ANSYS 有限元分析实战 12-20[北京]
基于UML和EA进行系统分析设计 12-26[北京]
嵌入式C高质量编程 12-12 [上海]
区块链项目解析与项目实战 12-27[上海]
基于SysML和EA系统设计建模 12-16 [深圳]
 讲座 5G网络技术
 讲师:林尚静
 时间:2019-12-28