求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某交通信 Oracle数据库
某通信设 Python数据分
某通信设 Python数据分
某综合性 人工智能与机器学习
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
大数据平台构建、应用与管理
690 次浏览  23 次
赵老师
曾任京东大数据学院首席大数据技术专家
 
地点时间: 在线 北京、 上海、深圳根据报名开班
课程费用5700元/人
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册



认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    通过课程学习企业级大数据体系整体规划和建设内容,以及大数据平台的监控和优化。深刻理解在“互联网 ”时代下大数据的产生背景、发展历程和演化趋势;了解业界市场需求和国内外新的大数据技术潮流,洞察大数据的潜在价值;理解大数据项目解决方案及业界大数据应用案例,从而为企业在大数据项目中的技术选型及技术架构设计提供决策参考;掌握业界流行的大数据技术体系

    培训目标:
    企业级大数据平台架构
  • 企业大数据技术平台概述
  • 大数据平台核心服务组件
  • 大数据平台应用组件
  • 大数据平台监控与管理组件

  • 企业级大数据平台的构建
  • 大数据平台构建的总体架构
  • Hadoop核心体系的构建
  • Hadoop应用组件的构建
  • Spark平台的搭建
  • Flink体系的构建
  • 大数据采集引擎
  • 大数据分布式协调框架ZooKeeper

  • 基于大数据平台的应用开发
  • Hadoop应用开发
  • Spark应用开发
  • Flink应用开发

  • 大数据平台运维管理
  • 大数据平台的监控
  • 大数据平台的优化
  • 培训对象:大数据架构师、数据平台开发工程师
    学员基础:具有一定的数据设计、开发和管理经验
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天
    主题 章节 详细内容
    企业级大数据平台架构

    企业大数据技术平台概述 大数据平台整合前存在的问题
  • 数据冗余,标准化低
  • 数据质量不高
  • 应用创新不足

  • 企业大数据平台架构概述
  • 数据源层
  • 数据采集层
  • 数据存储层
  • 数据计算层
  • 数据仓库层
  • 应用层
  • 大数据平台核心服务组件 Hadoop核心组件及其原理
  • 分布式文件HDFS系统核心原理
  • 分布式计算模型MapReduce与Yarn
  • Demo演示:HDFS与执行MapReduce任务

  • Spark核心组件及其原理
  • Spark体系架构与任务调度
  • Spark核心概念RDD
  • Spark Core核心对象:SparkContext

  • Flink核心组件及其原理
  • 有边界的数据流和无边界的数据流
  • Flink体系架构与任务调度
  • Flink的体系架构
  • 大数据平台应用组件 Hadoop生态圈应用组件
  • NoSQL数据库:HBase
  • 数据采集引擎:Sqoop与Flume
  • 数据分析引擎:Hive与Pig
  • 分布式协调服务:ZooKeeper

  • Spark生态圈应用组件
  • 数据分析引擎Spark SQL
  • 流式计算引擎Spark Streaming
  • 机器学习框架MLlib

  • Flink生态圈应用组件
  • 离线计算模块Flink DataSet AP
  • 流式计算模式DataStream API
  • 数据分析引擎Flink Table&SQL
  • 大数据平台监控与管理组件
  • 可视化管理监控框架HUE
  • Hadoop组件监控指标
  • Spark组件监控指标
  • Flink组件监控指标
  • 企业级大数据平台的构建
    大数据平台构建的总体架构
  • 大数据平台的构建目标
  • 大数据平台的整体架构
  • 大数据架构主从架构的单点故障问题
  • 大数据中心与其他业务系统的关系
  • Hadoop核心体系的构建
  • 环境的准备
  • Hadoop的本地模式
  • Hadoop的伪分布模式
  • Hadoop的全分布模式
  • Hadoop HA的实现
  • Hadoop应用组件的构建
  • HBase的构建
  • Hive的构建
  • Pig的构建
  • Spark平台的搭建
  • 搭建Spark的伪分布模式
  • 搭建Spark的全分布模式
  • Spark HA的实现
  • Flink体系的构建
  • Flink StandAlone模式
  • Flink on Yarn模式
  • Flink的HA模型
  • 使用Java编程接口访问HDFS文件系统
    大数据采集引擎
  • 数据交换引擎Sqoop
  • 日志采集引擎Flume
  • 大数据分布式协调框架ZooKeeper
  • 什么是ZooKeeper
  • ZooKeeper核心原理与架构
  • 基于ZooKeeper的大数据高可用架构
  • 基于大数据平台的应用开发
    Hadoop应用开发
  • 使用MapReduce的开发大数据分析处理应用
  • 使用Hive SQL处理大数据
  • 使用PigLatin处理大数据
  • Spark应用开发
  • Spark RDD与算子
  • 使用Spark Core处理离线数据
  • 使用Spark SQL
  • 开发Spark Streaming流式计算应用
  • Flink应用开发
  • 开发DataSet离线计算应用
  • 开发DataStreaming离线计算应用
  • 使用Flink Table&SQL
  • 大数据平台运维管理 大数据平台的监控
  • 访问控制系统
  • 性能监控系统
  • 异常报警系统
  • 大数据平台的优化
  • 优化的目的和目标
  • 大数据平台组件的优化
  •  
    690 次浏览  23 次
    其他人还看了课程
    基于ELKStack的自动化日志平台实战  251 次浏览
    Power BI 数据分析实战  498 次浏览
    Apache Kylin平台应用与实操  1102 次浏览
    大数据工具Flume&Kafka集成实践  996 次浏览
    大数据架构设计实战演练  2006 次浏览
    大数据搜索框架(ElasticSearch)与应用  1550 次浏览
    定制内训



    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    MBSE(基于模型的系统工程) 10-20[北京]
    软件详细设计、建模与编档 11-1[北京]
    人工智能、机器学习& TensorFlow 11-5[北京]
    需求分析最佳实践与沙盘演练 11-11[北京]
    产品经理与产品管理 11-18[北京]
    软件架构设计方法、案例与实践 10-22[上海]
    云计算、微服务与分布式架构 10-28[上海]
    大数据平台搭建与高性能计算 10-29[上海]
     讲座 基于模型的质量管理
     讲师:俎涛
     时间:2020年10月25日