求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
中航信 数据湖架构原理与应
某医疗磁 数据采集与处理
某科技公 大数据(Hadoo
诺基亚 Python基础
天津电子 Elasticse
中国电信 数据仓库与数据挖掘
某航天科 MySQL性能优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
大数据处理技术架构(基于hadoop和OpenStack)    
 
Gavin Liu
目前就职于国外著名的大数据公司
报名课程    
时间地点:上海 北京 深圳 根据报名开班
课程费用:5900元/人 (学生3折),详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

本课程关注如何针对Hadoop大数据平台进行数据治理,以便更好地满足应用需求。

培训目标:
  • 数据治理范围
  • 大数据在国内的运用
  • 大数据生态系统介绍
  • 统一元数据管理
  • 数据生命周期管理
  • 大数据平台安全
  • 数据湖
  • 数据分发系统
  • Think big基于Hadoop平台实战
  • 大数据BI展现工具
  • 互联网大数案例分享
 
培训对象:大数据架构师,大数据运维工程师
学员基础:了解大数据平台技术架构,最好具有一定运维经验
授课方式: 小班授课(12人之内)+ 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容: 2天
数据治理范围
  • 数据治理面临的挑战
  • 数据的多元化
  • 数据的复杂性
  • 数据的完整性
  • 数据生命周期管理
  • 统一元数据管理
  • 数据集成方法
  • 数据安全
  • 数据湖架构
  • 基于大数据平台的数据建模
  • RMDBS数据的增量实时同步采集
大数据在国内的运用
  • 大数据在国内的使用介绍
  • 离线计算框架介绍
  • 流式计算框架介绍
  • 内存计算框架介绍
  • 内存流式计算介绍
  • 大数据实时请求框架介绍
  • 大数据在证券的案例介绍
  • 大数据在银行的案例介绍
大数据生态系统介绍
  • 分布式存储—HDFS
  • 分布式并行计算—MapReduce
  • 基于Hadoop的数据仓库—Hive
  • 统一元数据管理—Hcatlog
  • 集群管理工具—ambari
  • 工作流工具—Oozie
  • 数据的并行采集—Flume
  • MapReduce脚本工具—Pig
  • 与关系型数据库之间的数据迁移—Sqoop
  • 资源管理平台—Yarn
  • 数据生命周期管理—Falcon
  • 数据挖掘算法—Mahout
  • 分布式统一服务—Zookeeper
  • Hadoop安全工具—Knox
  • 流式计算框架—Storm
  • 内存计算框架—Spark
  • 数据挖掘框架—Mahout、Mllib和Graphx
统一元数据管理
  • 元数据概念
  • Hadoop平台元数据处理面临的问题
  • Hcatalog介绍
  • Hcatlog原理和架构解析
  • Hive与Hcatlog关系
  • Hcatlog解决那些问题
  • Hcatlog实战
  • 元数据注册机制
  • 基于Hadoop平台元数据处理方案
数据生命周期管理
  • 数据质量
  • 数据标准
  • 数据生命周期管理的重要性
  • 数据生命周期的概念
  • 开源Falcon解决那些问题
  • Falcon架构和原理
  • Falcon实战
  • Falcon+HDFS、Hive实战
  • Falcon+Oozie实战
大数据平台安全
  • Hadoop平台安全介绍
  • HDFS2.0的ACLS介绍
  • Hive安全介绍
  • Hbase基于namespace的安全介绍
  • Hadoop访问安全控制Knox
  • Knox的架构和原理
  • Knox与Kerberos介绍
  • Ranger安全工具介绍
  • Knox+Ranger整合控制Hadoop平台的安全
  • 基于Hadoop平台的数据加密
数据湖
  • 数据湖概念
  • 数据湖解决那些问题
  • 数据湖架构
  • 数据的整合
  • 数据的landing zone功能
  • 离线数据管理
  • 流式数据管理
  • RDBMS全量和增量数据实时采集
  • Databus框架介绍
  • Databus功能介绍
  • Databus解决那些问题
数据分发系统
  • NiFi的使用场景
  • NiFi架构和原理
  • HDFS+NiFi实战
  • 使用Nifi来跟踪数据分发
Think big基于Hadoop平台实战
  • 怎么快速迭代在Hadoop平台开发
  • Hadoop平台设施的方法论
  • 2个月快速基于Hadoop平台开发步骤
  • Hadoop平台开发的难点
  • Hadoop平台开的注意点
  • Hadoop平台设施的流程
大数据BI展现工具
  • Pentaho开源大数据BI工具介绍
  • Talend开源大数据BI工具介绍
  • 百度Echarts插件介绍
互联网大数案例分享
  • 淘宝大数据平台深度解析
  • 基于大数据平台的实时营销架构
  • 淘宝大数据推荐架构介绍
  • 大数据实时分析架构
 
 
其他人还看了课程
AS9100D标准内审员课程  1232 次浏览
  
ChatGPT快速入门  822 次浏览
数据治理与数据仓库建模  2721 次浏览
MBSE 的5堂课  842 次浏览
《人工智能》5门课  835 次浏览
定制内训


课程计划
MBSE(基于模型的系统工程)4-18[北京]
自然语言处理(NLP) 4-25[北京]
基于 UML 和EA进行分析设计 4-29[北京]
以用户为中心的软件界面设计 5-16[北京]
DoDAF规范、模型与实例 5-23[北京]
信息架构建模(基于UML+EA)5-29[北京]