要资料 文章 文库 视频 Code iProcess 课程 认证 服务 工具 讲座吧   专家招募  
会员   
 
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
中国电信 大数据时代与现代企
某知名银 大数据分析专题-R
IGT 数据分析与挖掘
某风电企 R语言数据分析
某车联网 数据分析与挖掘
新电信息 PL/SQL应用性
某车联网 企业级hadoop

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
Hadoop与Spark大数据架构专题     1696 次浏览    140 次 
 
主讲嘉宾:董老师 - 《Hadoop技术内幕》图书作者
时间地点:北京、上海、深圳 根据报名开班
课程费用:5700元/人 (学生3折),详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册
 
当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。
培训目标:
本课程将为大家全面而又深入的介绍大数据平台的构建流程,涉及:
  • 分布式数据收集
  • 大数据存储
  • 资源管理及分布式计算框架等

  • 本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍,涉及Flume, HDFS, Hbase,YARN,MapReduce,Hive, Zookeeper, Spark,Storm,Spark Streaming等主流的大数据开源系统架构及应用经验。
    培训对象:软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
    学员基础:了解Java语言;了解Linux系统;
    授课方式: 小班授课(12人之内)+ 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容: 2天
    大数据架构概述 大数据层级架构及各层软件设计要求:
  • 大数据存储
  • 大数据计算框架
  • 大数据应用等
  • Hadoop生态系统概述以及版本演化
  • Hadoop生态系统及其版本演化历史
  • hadoop版本选择建议
  • Spark生态系统概述
  • Spark生态系统及其特点
  • Spark与Hadoop对比
  • 数据收集系统Flume与Sqoop 使用flume和sqoop两个系统将如下数据的数据导入Hadoop中
  • 外部流式数据(比如网站日志,用户行为数据等)
  • 关系型数据库(比如MySQL、Oracle等)中
  • 大数据存储系统HDFS与HBase HDFS 2.0 原理、特性与基本架构
  • HDFS 2.0原理与架构,与HDFS 1.0进行对比
  • HDFS 2.0新特性,包括快:照、缓存、异构存储架构等
  • HBase应用场景、原理和架构 几个HBase典型应用案例:
  • 互联网应用案例
  • 银行应用案例
  • 集群资源管理与调度系统
  • YARN应用场景
  • YARN基本架构
  • YARN资源调度
  • Zookeeper部署及典型应用
  • Zookeeper是什么
  • Zookeeper基本原理
  • Zookeeper应用
  • 大数据计算框架、平台与开源实现 批处理计算框架
  • MapReduce 2.0基本原理与架构,编程实践(涉及多语言编程)
  • 计算框架MapReduce基本原理与架构
  • 手把手介绍如何用java、C++、php等语言编写MapReduce程序
  • 数据分析系统Hive与Pig应用与比较
  • 如何使用hive和pig分析hadoop中的海量数据
  • Spark计算框架
  • Spark背景,使用以及应用案例
  • 交互式计算框架
  • Impala和presto应用场景
  • 基本架构
  • 典型应用案例
  • 流式/实时计算框架
  • storm以及Spark Streaming基本架构与特点
  • 典型应用案例
  • 数据挖掘与机器学习库 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。
    1696 次浏览   140 次
    其他人还看了课程
    企业级Hadoop大数据处理最佳实践  433 次浏览
    Spark实践培训  684 次浏览
    数据统计分析方法与工具、实践  498 次浏览
    大数据分析-SparkR  695 次浏览
    大数据落地技术系列课程  925 次浏览
    大数据分析专题-R语言培训  1347 次浏览
    定制内训


    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    [北京]微服务架构设计与实践 7-7
    [北京]软件设计模式最佳实践7-18
    [北京]基于互联网的产品创新 7-19
    [北京]软件架构设计方法案例7-19
    [北京]嵌入式软件测试7-24
    [北京]Python全栈工程师实战7-26
    [北京]敏捷测试-简单而可行 7-28
    [北京]大数据架构设计实战演练 7-29
    [上海]DevOps体系实践工具与平台7-29
    [上海]微服务架构设计与实践 8-5
    [深圳]嵌入式软件架构高级实践7-23
    [深圳]UML+嵌入式系统分析设计8-24
     
     
     

     
    每天2个文档/视频
    扫描微信二维码订阅
    订阅技术月刊
    获得每月300个技术资源
     
    希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
    频道编辑:sky
    邮       件:sky@uml.net.cn

    关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号