求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
中航信 数据湖架构原理与应
某医疗磁 数据采集与处理
某科技公 大数据(Hadoo
诺基亚 Python基础
天津电子 Elasticse
中国电信 数据仓库与数据挖掘
某航天科 MySQL性能优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 

全部课程 >大数据  
Hadoop与Spark大数据架构专题 
7363 次浏览  18 次
董老师
《Hadoop技术内幕》图书作者
 
时间地点: 北京 上海 深圳 根据报名开班
课程费用:5700元/人
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明

    当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。

    培训目标:

    本课程将为大家全面而又深入的介绍大数据平台的构建流程,涉及:
    • 分布式数据收集
    • 大数据存储
    • 资源管理及分布式计算框架等
    本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍,涉及Flume, HDFS, Hbase,YARN,MapReduce,Hive, Zookeeper, Spark,Storm,Spark Streaming等主流的大数据开源系统架构及应用经验。
    培训对象:软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
    学员基础:了解Java语言;了解Linux系统;
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容:2天

    大数据架构概述 大数据层级架构及各层软件设计要求:
  • 大数据存储
  • 大数据计算框架
  • 大数据应用等
  • Hadoop生态系统概述以及版本演化
  • Hadoop生态系统及其版本演化历史
  • hadoop版本选择建议
  • Spark生态系统概述
  • Spark生态系统及其特点
  • Spark与Hadoop对比
  • 数据收集系统Flume与Sqoop 使用flume和sqoop两个系统将如下数据的数据导入Hadoop中
  • 外部流式数据(比如网站日志,用户行为数据等)
  • 关系型数据库(比如MySQL、Oracle等)中
  • 大数据存储系统HDFS与HBase HDFS 2.0 原理、特性与基本架构
  • HDFS 2.0原理与架构,与HDFS 1.0进行对比
  • HDFS 2.0新特性,包括快:照、缓存、异构存储架构等
  • HBase应用场景、原理和架构 几个HBase典型应用案例:
  • 互联网应用案例
  • 银行应用案例
  • 集群资源管理与调度系统
  • YARN应用场景
  • YARN基本架构
  • YARN资源调度
  • Zookeeper部署及典型应用
  • Zookeeper是什么
  • Zookeeper基本原理
  • Zookeeper应用
  • 大数据计算框架、平台与开源实现 批处理计算框架
  • MapReduce 2.0基本原理与架构,编程实践(涉及多语言编程)
  • 计算框架MapReduce基本原理与架构
  • 手把手介绍如何用java、C++、php等语言编写MapReduce程序
  • 数据分析系统Hive与Pig应用与比较
  • 如何使用hive和pig分析hadoop中的海量数据
  • Spark计算框架
  • Spark背景,使用以及应用案例
  • 交互式计算框架
  • Impala和presto应用场景
  • 基本架构
  • 典型应用案例
  • 流式/实时计算框架
  • storm以及Spark Streaming基本架构与特点
  • 典型应用案例
  • 数据挖掘与机器学习库 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。
     
    7363 次浏览  18 次
    其他人还看了课程
    大数据分析设计与建模  1890 次浏览
    基于模型的数据治理与数据中台建设  2851 次浏览
    大数据平台规划与设计-搜索与异地容灾  2025 次浏览
    Spark实践培训  2685 次浏览
    数据治理、数据架构及数据标准  3762 次浏览
    企业级Hadoop大数据处理最佳实践网络课  1599 次浏览
    定制内训


    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn
    课程计划
    软件开发过程中的项目管理 10-17[北京]
    软件架构设计方法、案例与实践 10-19[北京]
    数据分析、AI算法与ChatGPT4 10-31[北京]
    微服务架构设计与实践 11-9[北京]
    业务建模与领域驱动设计 11-15[北京]
    基于模型的数据治理与数据中台 11-27[北京]