求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
成功案例
中航信 数据湖架构原理与应
某医疗磁 数据采集与处理
某科技公 大数据(Hadoo
诺基亚 Python基础
天津电子 Elasticse
中国电信 数据仓库与数据挖掘
某航天科 MySQL性能优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
Hadoop与Spark大数据架构专题 
7712 次浏览  37 次
董老师
《Hadoop技术内幕》图书作者
 
时间地点: 北京 上海 深圳 根据报名开班
课程费用:5700元/人
报公开课  
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明

    当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。

    培训目标:

    本课程将为大家全面而又深入的介绍大数据平台的构建流程,涉及:
    • 分布式数据收集
    • 大数据存储
    • 资源管理及分布式计算框架等
    本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍,涉及Flume, HDFS, Hbase,YARN,MapReduce,Hive, Zookeeper, Spark,Storm,Spark Streaming等主流的大数据开源系统架构及应用经验。
    培训对象:软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
    学员基础:了解Java语言;了解Linux系统;
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容:2天

    大数据架构概述 大数据层级架构及各层软件设计要求:
  • 大数据存储
  • 大数据计算框架
  • 大数据应用等
  • Hadoop生态系统概述以及版本演化
  • Hadoop生态系统及其版本演化历史
  • hadoop版本选择建议
  • Spark生态系统概述
  • Spark生态系统及其特点
  • Spark与Hadoop对比
  • 数据收集系统Flume与Sqoop 使用flume和sqoop两个系统将如下数据的数据导入Hadoop中
  • 外部流式数据(比如网站日志,用户行为数据等)
  • 关系型数据库(比如MySQL、Oracle等)中
  • 大数据存储系统HDFS与HBase HDFS 2.0 原理、特性与基本架构
  • HDFS 2.0原理与架构,与HDFS 1.0进行对比
  • HDFS 2.0新特性,包括快:照、缓存、异构存储架构等
  • HBase应用场景、原理和架构 几个HBase典型应用案例:
  • 互联网应用案例
  • 银行应用案例
  • 集群资源管理与调度系统
  • YARN应用场景
  • YARN基本架构
  • YARN资源调度
  • Zookeeper部署及典型应用
  • Zookeeper是什么
  • Zookeeper基本原理
  • Zookeeper应用
  • 大数据计算框架、平台与开源实现 批处理计算框架
  • MapReduce 2.0基本原理与架构,编程实践(涉及多语言编程)
  • 计算框架MapReduce基本原理与架构
  • 手把手介绍如何用java、C++、php等语言编写MapReduce程序
  • 数据分析系统Hive与Pig应用与比较
  • 如何使用hive和pig分析hadoop中的海量数据
  • Spark计算框架
  • Spark背景,使用以及应用案例
  • 交互式计算框架
  • Impala和presto应用场景
  • 基本架构
  • 典型应用案例
  • 流式/实时计算框架
  • storm以及Spark Streaming基本架构与特点
  • 典型应用案例
  • 数据挖掘与机器学习库 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。
       
    7712 次浏览  37 次
    其他人还看了课程
    数据治理方法与实践  373 次浏览
    大数据分析设计与建模  2238 次浏览
    基于模型的数据治理与数据中台建设  3877 次浏览
    大数据平台规划与设计-搜索与异地容灾  2278 次浏览
    Spark实践培训  2903 次浏览
    数据治理、数据架构及数据标准  4790 次浏览
    定制内训


    咨询服务:数据库设计与性能优化
    咨询目标 对客户的数据库进行性能评价,设计优化,管理优化
    咨询范围 数据库性能评价,数据库结构优化,数据访问SQL优化。
    咨询方式 现有数据库调查,问题诊断,性能评价。
    对数据库进行逻辑结构优化,对数据库进行访问SQL优化。
    建立数据库运行监控平台。运行监控与优化方法指导。
    成功案例 建设银行,中国农业银行,中国工商银行,中航信
    详情咨询:010-62670969, zhgx@uml.net.cn
    课程计划
    MBSE(基于模型的系统工程)6-20[北京]
    大模型微调原理与实操 6-20[厦门]
    基于模型的数据治理与中台 6-25[北京]
    DoDAF规范、模型与实例 6-24[北京]
    UAF架构体系与实践 7-4[北京]
    Linux内核编程及设备驱动 7-25[北京]