求知 文章 文库 Lib 视频 Code iProcess 课程 认证 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企
某知名银 大数据分析专题-R
IGT 数据分析与挖掘
某风电企 R语言数据分析

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 

Hadoop架构与大数据开发应用实践
陈老师
曾任IBM 云计算&大数据架构师
报名课程   34 次浏览    3 次 
时间地点:深圳4月28-29日; 北京 上海 根据报名开班
课程费用:5800元/人
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


本课程结合大规模大数据案例,讲解完整的hadoop的工作周期中的相关的工具、原理和应用方法。涉及:采集、存储、访问、挖掘和分析、优化。

培训目标:

  • 大数据的基础介绍
  • 开源Hadoop生态圈的介绍
  • HDFS分布式文件系统详解
  • ZooKeeper分布式协作服务
  • Yarn资源管理系统
  • Sqoop大数据同步工具详介
  • MapReduce分布式计算框架详解
  • Hive 数据仓库及案例
  • Impala准实时分析
  • Hbase列数据库及应用案例
  • 大数据平台部署及案例
培训对象:大数据架构师、开发工程师。
学院基础:数据库应用开发工程师,数据库管理员,数据架构师
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

培训内容:2天

大数据的基础介绍
  • 什么是大数据
  • 大数据时代的背景
  • 学术上怎么定义大数据
  • 大数据的构成
  • 大数据的演进过程
  • 大数据的关键技术
  • 大数据分布式系统的构成
  • 计算模式
  • 大数据产业
  • 大数据与云计算的关系
  • 大数据和物联网的关系
  • 开源Hadoop生态圈的介绍 1、Hadoop生态圈
    2、组件功能概要
    3、介绍Cloudera公司
    4、CDH5.0的技术优势
    5、ClouderaManager的介绍
    6、CM集群监控
    7、HDFS监控
    8、Hbase监控
    9、Hive监控
    10、服务维护页面
    HDFS分布式文件系统详解 什么是分布式文件系统HDFS
    2、HDFS基本架构
    3、基本概念
    4、主要涉及理念
    5、hdfs常用命令
    6、hdfs的上传文件
    7、hdfs的下载文件
    8、hdfs的查看数据
    9、hdfs优点和缺点
    10、案例:实现HDFS文件上传和下载
    ZooKeeper分布式协作服务 1.ZooKeeper概述
    2.ZooKeeper结构与原理
    3.安装和运行ZooKeeper
    4.Zookeeper的API接口
    5.ZK实操(创建节点等)
    6.Zookeeper的4个应用场景详解
    Yarn资源管理系统 1、什么是Yarn
    2、Yarn特点
    3、Yarn原理
    4、Yarn核心架构
    5、优势和不足
    6、ResourceManager(RM)介绍
    7、ApplicationMaster(AM)介绍
    8、NodeManager(NM)介绍
    9、Container介绍
    Sqoop大数据同步工具详解 1、Sqoop基本介绍
    2、基本原理
    3、应用场景
    4、Sqoop和mysql的连接
    5、mysql数据到HDFS
    6、HDFS数据到mysql
    7、关系型数据库到hive
    8、hive到关系型数据库
    9、Sqoop优点和缺点
    10、案例:oracle到hdfs的大数据量转换
    MapReduce分布式计算框架详解
    1、MapReduce基本介绍
    2、为什么要用MR
    3、MR是什么
    4、工作原理
    5、Map的原理
    5、Reduce的原理
    6、MR例子-单词计数
    7、MR的优点和不足
    8、适用场景
    9、案例:统计多个数据文件每个单词出现次数并倒序排列

    Hive 数据仓库及案例 1、Hive 基本介绍
  • Hive 是什么
  • Hive 不是什么
  • Hive 结构图
  • Hive 元数据
  • Hive 和普通关系数据的异同
  • Hive 和 SQL 比较
  • 2、Hive 命令
  • 建表
  • 显示表
  • 修改表
  • load 数据
  • 3、Hive 优化
  • 分区概念
  • 分区适用场景
  • 分区例子
  • 优化例子
  • 优化建议方案
  • 4、Hive 的用户自定义函数
  • UDF 函数
  • UDAF 函数
  • UDTF 函数
  • 5、案例讲解:Hive分区表的优化设计
    Impala准实时分析 1、Impala基本介绍
    2、技术架构
    3、Impala与HIVE的关系
    4、基本原理
    5、优点和缺点
    6、建表
    7、加载数据
    8、批量处理
    9、常用脚本
    10、和hive的性能比较
    11、和oracle的对比2亿数据性能
    12、和oracle的对比12亿数据性能
    13、案例:Impala调用外部文件

    Hbase列数据库及应用案例 1、Hbase感性认识
  • Hbase简介
  • Hbase特点
  • HBase与RDBMS对比
  • HBase体系结构
  • Hbase常见概念
  • 2、Hbase主要组成
  • HBase基本命令介绍
  • Zookeeper、Hmaster
  • HRegionServer、Region
  • HStore存储、Hfile
  • Hbase内部扫描RowKey的原理
  • Hbase内部读写原理
  • HBase设计原理、架构分析
  • Hadoop+HBase伸缩性(自动扩容、热部署)
  • HBase相关表结构设计(列族、列详细分析)
  • HBase主HMaster与备用HMaster间的切换原理
  • 3、Hbase性能测试
  • 测试数据
  • 测试过程
  • 测试结论
  • 和Oracle Rac等进行对比
  • 4、Hbase设计原则和优化
  • Hbase的RowKey设计原则
  • 性能参数的设置
  • 性能参数的调整
  • 模型和性能优化
  • 5、项目案例:HBase在小米业务的应用
    6、项目案例:运营商全国用户上网记录案例介绍
    大数据平台部署及案例 hadoop有哪几个版本
    2、Hadoop版本介绍
    3、CDH和Apache版本主要区别
    4、集群硬件应该如何选配
  • 网络拓扑
  • 内存
  • 硬盘
  • CPU
  • 价格
  • 5、集群硬件应该如何选配
    6、英特尔Hadoop发行版的介绍
    7、英特尔功能增强
    8、项目案例:某省级通信运营商清帐单查询系统
    9、项目案例:新清账单中心的部署方案
    34 次浏览   3 次
    其他人还看了课程
    Hadoop架构与大数据开发应用实践  35 次浏览
    Flume & Kafka原理与实践  255 次浏览
    Spark内存计算框架原理与实践应用  235 次浏览
    Apache Kylin平台应用与实操  190 次浏览
    大数据工具Flume&Kafka集成实践  273 次浏览
    大数据架构设计实战演练  802 次浏览
    定制内训


    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    [北京] 软件测试方法与实践 4-11
    [北京] 软件设计模式最佳实践 4-19
    [北京] 软件开发过程中的项目管理 4-19
    [北京]配置管理方法实践工具与应用 4-22
    [北京] 嵌入式软件架构设计高级实践 4-24
    [北京] 基于UML和EA进行系统分析设计 5-4
    [北京]并发大容量、高性能数据库设计5-17
    [上海] 产品需求分析与管理 4-19
    [上海] 人工智能,机器学习和深度学习 4-20
    [上海] 数据仓库设计、应用与优化 4-26
    [深圳] 企业级Hadoop大数据最佳实践 4-14
     
     
     

     
    每天2个文档/视频
    扫描微信二维码订阅
    订阅技术月刊
    获得每月300个技术资源
     
    希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
    频道编辑:sky
    邮       件:sky@uml.net.cn

    关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号