求知 文章 文库 Lib 视频 iProcess 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 电子&机械 | 军工学院 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
基于Flink搭建流计算平台
628 次浏览  37 次
石老师
曾就职于58同城,唯品会从事数据平台及数据产品的建设工作,现就职于一家著名电商企业,负责流式SQL开发平台建设工作。
 
时间地点: 北京 上海 深圳根据报名开班
课程费用:5500元/人
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

本课程的大纲设置,注重的是Flink基础和核心技术的梳理和掌握,之后会对其中几个重要的技术点做深入分析。针对企业内训的需求,我们对大纲的设置,特别增加了学以致用的实战环节,让企业学员能够在学习完Flink技术知识后,具备将Flink应用到实际生产环境中的能力,通过短时间的技术学习,为公司创造价值和提高技术生产的效率。

此课程共两天,第一天为Flink的基础和进阶技术知识点,以及第一个实战项目。第二天为Flink的高级技术知识点,包含了第二个实战项目。

培训目标:

  • 掌握Flink流式计算系统的核心设计原理;
  • 具备初步的流式应用开发能力;
  • 具备Flink流式计算平台搭建、运维和优化能力。
培训对象:实时计算平台搭建、实时应用开发人员,对Flink感兴趣的人员
学院基础: 最好有Java或Scala编程,基础如果您对流式计算有需要解决的问题,则通过本课程,会有更多收获。
授课方式: 讲授 + 实战演练
培训内容:2天

一、流式处理架构 1.1 流式处理背景及架构介绍
1.2 流式处理行业案例以及Flink的适用场景及应用概述
二、Flink概述 2.1 什么是Flink
2.2 Flink架构
2.3 Flink 与 Spark的比较以及为什么选择Flink
2.4 Flink开发环境配置和搭建
三、Flink编程模型 3.1 数据集类型
3.2 Flink编程接口
3.3 Flink程序结构
3.4 Flink数据类型
四、DataStream API介绍与使用 4.1 DataStream编程模型
4.2 Flink Execution 参数
4.3 Transformation
4.4 时间概念与Watermark
4.5 Windows窗口计算
4.6 作业链和资源组
4.7 Asynchronous I/O异步API
4.8 Asynchronous I/O异步原理

五、Flink流式计算基本概念介绍 5.1 时间特性:Event Time / Processing Time / Ingestion Time
5.2 WaterMark
5.3 Source/Sink/Operator
5.4 数据完整性语义
5.5 State/Checkpoint/Savepoint
5.6 Time window

六、Flink Connector数据源 6.1 FlinkKafkaSource序列化、消费模式
6.2 FlinkKafkaSource容错、动态分区及topic
6.3 FlinkKafkaSink序列化、配置、分区与容错
6.4自定义Source和Sink

七、DataSet API介绍与使用 7.1 DataSet API,Transformation
7.2 迭代计算
7.3 广播变量与分布式缓存
7.4 语义注解
7.5 DataSetUtils工具类
八、Table API & SQL介绍与使用 8.1 基本概念
    流/表对偶性
    Source/Sink Table
    数据回撤
8.2 Flink Table API
8.3 Flink SQL使用
    Flink SQL client
    Flink SQL 已支持特性
8.4 自定义函数 UDF/UDTF/UDAF

九、两个完整的Flink实现案例 9.1 Kafka 数据流处理,写入HDFS
9.2多源数据关联与聚合分析

十、Flink有状态的计算、状态管理和容错 10.1 什么是有状态计算
10.2 有状态计算中的数据一致性挑战
10.3 理解state状态
10.4 Operator State 的使用及Redistribute
10.5 Keyed State的使用与Redistribute
10.6 Broadcast State的妙用
10.7 Checkpoint核心原理剖析
10.8 Checkpoint使用条件及使用步骤
10.9 Checkpoint相关配置及重启策略
10.10 Savepoint的触发、Job恢复及删除


十一、实战项目1:用Flink实现一个通用、配置化的海量数据流、批处理产品 11.1实现配置管理
11.2实现数据源加载
11.3实现主流程控制
11.4实现任务管理
十二、Flink部署与应用 12.1 Flink集群部署
12.2 Flink高可用配置
12.3 Flink安全管理
12.4 Flink集群升级
12.5 Flink on Yarn的原理和运行方式
12.6 Flink on Yarn 提交任务与停止任务
十三、Flink监控与性能优化 13.1 监控指标
13.2 Backpressure监控与优化
13.3 Checkpointing监控与优化
13.4 Flink内存优化
十四、Flink组件栈介绍与使用 14.1 Flink复杂事件处理
14.2 Flink Gelly图计算应用
14.3 FlinkML机器学习应用
14.4 Flink Metrics 与监控
十五、Flink源码学习 15.1 Flink源码编译
15.2 如何阅读和学习Flink源码
15.3 Flink源码实现思路以及依赖管理
15.4 Flink核心模块源码带读与分析
十六、Flink在各大互联网公司的典型应用剖析 16.1Flink在阿里的应用
16.2Flink在字节跳动的应用
16.3Flink在腾讯的应用
16.4Flink在微博的应用
16.5Flink在其他互联网公司的应用
16.6Flink 最佳实践
十七、实战项目2:使用Flink实现电商用户支付行为分析和审计风控 17.1电商支付数据模型(订单,流水,账户余额,发现表)
17.2用户行为分析需求与维度指标设计
17.3审计风控的需求与实现思路
17.4Flink代码实现结构与业务逻辑细节拆解
 
628 次浏览  37 次
其他人还看了课程
数据可视化方法与实践  274 次浏览
金融行业数据分析  336 次浏览
大数据体系实践  245 次浏览
Spark实践培训  1475 次浏览
《企业级Hadoop大数据处理最佳实践》  970 次浏览
数据统计分析方法与工具、实践  1271 次浏览
定制内训


咨询服务:大数据技术平台构建与应用
咨询目标 帮助客户设计、规划大数据架构
帮助客户建立大数据技术平台,
帮助客户建立大数据分析模型
咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
大数据技术平台:分布式存储与计算平台,采集工具,分析工具
大数据分析应用案例:分析模型,结果报告
咨询方式 调查分析客户当前的数据资源和使用情况。
为客户设计大数据架构
搭建大数据技术平台
建立大数据分析应用示例。
详情咨询:010-62670969, zhgx@uml.net.cn

最新活动计划
基于Kubernetes的DevOps实践 10-22[北京]
需求分析管理 11-5[北京]
软件开发过程中的质量管理实践 11-16[北京]
人工智能,机器学习和深度学习 11-26 [北京]
业务架构到IT架构(TOGAF9.2认证)11-28[北京]
企业级全栈自动化测试技术 10-16 [上海]
大数据平台架构与应用实战 11-8[上海]
Python及数据分析 11-25 [深圳]
 讲座 数据治理
 讲师:王辉
 时间:2019-10-19
 
某军工研究单位  嵌入式软件架构
某银行  人工智能+Python+大数据
中国机械集团某研究院   基于模型的系统工程(MBSE)
航天科工某子公司  C++中级开发实战(SOUI)
中航工业某研究所  嵌入式软件开发指南
 
 
 

 
每天2个文档/视频
扫描微信二维码订阅
订阅技术月刊
获得每月300个技术资源
 
希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
频道编辑:sky
邮       件:sky@uml.net.cn

关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号