求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某科技公 大数据(Hadoo
诺基亚 Python基础
天津电子 Elasticse
中国电信 数据仓库与数据挖掘
某航天科 MySQL性能优化
某大型金 Python基础与
某交通信 Oracle数据库

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 

全部课程 >大数据  
大数据平台构建、应用与管理
1570 次浏览  5 次
赵老师
曾任京东大数据学院首席大数据技术专家
 
地点时间: 在线 北京、 上海、深圳根据报名开班
课程费用5700元/人
报公开课  
企业内训:可以根据企业需求,定制内训,详见 内训学习手册



认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    通过课程学习企业级大数据体系整体规划和建设内容,以及大数据平台的监控和优化。深刻理解在“互联网 ”时代下大数据的产生背景、发展历程和演化趋势;了解业界市场需求和国内外新的大数据技术潮流,洞察大数据的潜在价值;理解大数据项目解决方案及业界大数据应用案例,从而为企业在大数据项目中的技术选型及技术架构设计提供决策参考;掌握业界流行的大数据技术体系

    培训目标:
    企业级大数据平台架构
  • 企业大数据技术平台概述
  • 大数据平台核心服务组件
  • 大数据平台应用组件
  • 大数据平台监控与管理组件

  • 企业级大数据平台的构建
  • 大数据平台构建的总体架构
  • Hadoop核心体系的构建
  • Hadoop应用组件的构建
  • Spark平台的搭建
  • Flink体系的构建
  • 大数据采集引擎
  • 大数据分布式协调框架ZooKeeper

  • 基于大数据平台的应用开发
  • Hadoop应用开发
  • Spark应用开发
  • Flink应用开发

  • 大数据平台运维管理
  • 大数据平台的监控
  • 大数据平台的优化
  • 培训对象:大数据架构师、数据平台开发工程师
    学员基础:具有一定的数据设计、开发和管理经验
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天
    主题 章节 详细内容
    企业级大数据平台架构

    企业大数据技术平台概述 大数据平台整合前存在的问题
  • 数据冗余,标准化低
  • 数据质量不高
  • 应用创新不足

  • 企业大数据平台架构概述
  • 数据源层
  • 数据采集层
  • 数据存储层
  • 数据计算层
  • 数据仓库层
  • 应用层
  • 大数据平台核心服务组件 Hadoop核心组件及其原理
  • 分布式文件HDFS系统核心原理
  • 分布式计算模型MapReduce与Yarn
  • Demo演示:HDFS与执行MapReduce任务

  • Spark核心组件及其原理
  • Spark体系架构与任务调度
  • Spark核心概念RDD
  • Spark Core核心对象:SparkContext

  • Flink核心组件及其原理
  • 有边界的数据流和无边界的数据流
  • Flink体系架构与任务调度
  • Flink的体系架构
  • 大数据平台应用组件 Hadoop生态圈应用组件
  • NoSQL数据库:HBase
  • 数据采集引擎:Sqoop与Flume
  • 数据分析引擎:Hive与Pig
  • 分布式协调服务:ZooKeeper

  • Spark生态圈应用组件
  • 数据分析引擎Spark SQL
  • 流式计算引擎Spark Streaming
  • 机器学习框架MLlib

  • Flink生态圈应用组件
  • 离线计算模块Flink DataSet AP
  • 流式计算模式DataStream API
  • 数据分析引擎Flink Table&SQL
  • 大数据平台监控与管理组件
  • 可视化管理监控框架HUE
  • Hadoop组件监控指标
  • Spark组件监控指标
  • Flink组件监控指标
  • 企业级大数据平台的构建
    大数据平台构建的总体架构
  • 大数据平台的构建目标
  • 大数据平台的整体架构
  • 大数据架构主从架构的单点故障问题
  • 大数据中心与其他业务系统的关系
  • Hadoop核心体系的构建
  • 环境的准备
  • Hadoop的本地模式
  • Hadoop的伪分布模式
  • Hadoop的全分布模式
  • Hadoop HA的实现
  • Hadoop应用组件的构建
  • HBase的构建
  • Hive的构建
  • Pig的构建
  • Spark平台的搭建
  • 搭建Spark的伪分布模式
  • 搭建Spark的全分布模式
  • Spark HA的实现
  • Flink体系的构建
  • Flink StandAlone模式
  • Flink on Yarn模式
  • Flink的HA模型
  • 使用Java编程接口访问HDFS文件系统
    大数据采集引擎
  • 数据交换引擎Sqoop
  • 日志采集引擎Flume
  • 大数据分布式协调框架ZooKeeper
  • 什么是ZooKeeper
  • ZooKeeper核心原理与架构
  • 基于ZooKeeper的大数据高可用架构
  • 基于大数据平台的应用开发
    Hadoop应用开发
  • 使用MapReduce的开发大数据分析处理应用
  • 使用Hive SQL处理大数据
  • 使用PigLatin处理大数据
  • Spark应用开发
  • Spark RDD与算子
  • 使用Spark Core处理离线数据
  • 使用Spark SQL
  • 开发Spark Streaming流式计算应用
  • Flink应用开发
  • 开发DataSet离线计算应用
  • 开发DataStreaming离线计算应用
  • 使用Flink Table&SQL
  • 大数据平台运维管理 大数据平台的监控
  • 访问控制系统
  • 性能监控系统
  • 异常报警系统
  • 大数据平台的优化
  • 优化的目的和目标
  • 大数据平台组件的优化
  •    
    1570 次浏览  5 次
    其他人还看了课程
    大数据(Hadoop、Spark、NoSQL等)的技术与实践  4769 次浏览
    大数据(Hadoop、Spark、NOSQL)案例分析与实践  3716 次浏览
    Spark大数据处理案例分析与实践  5955 次浏览
    数据中台架构与建设  4455 次浏览
    大数据平台搭建与高性能计算  5229 次浏览
    银行数据挖掘、精准营销与风险分析  2261 次浏览
    定制内训



    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn
    课程计划
    基于 UML 和EA进行分析设计 4-21[北京]
    Web前端开发技术培训 4-23[北京]
    基于SysML和EA系统分析设计 4-26[北京]
    MBSE(基于模型的系统工程) 5-24[北京]
    DoDAF规范、模型与实例 5-25[北京]
    智能质量中台建设实践 5-18[北京]