求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
成功案例
中航信 数据湖架构原理与应
某医疗磁 数据采集与处理
某科技公 大数据(Hadoo
诺基亚 Python基础
天津电子 Elasticse
中国电信 数据仓库与数据挖掘
某航天科 MySQL性能优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
Hadoop架构与大数据开发应用实践
2183 次浏览  40 次
陈老师
曾任IBM 云计算&大数据架构师
 
时间地点:北京 深圳 上海 根据报名开班
课程费用:5800元/人
报公开课  
企业内训:可以根据企业需求,定制内训,详见 内训学习手册



认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    本课程结合大规模大数据案例,讲解完整的hadoop的工作周期中的相关的工具、原理和应用方法。涉及:采集、存储、访问、挖掘和分析、优化。

    培训目标:

    • 大数据的基础介绍
    • 开源Hadoop生态圈的介绍
    • HDFS分布式文件系统详解
    • ZooKeeper分布式协作服务
    • Yarn资源管理系统
    • Sqoop大数据同步工具详介
    • MapReduce分布式计算框架详解
    • Hive 数据仓库及案例
    • Impala准实时分析
    • Hbase列数据库及应用案例
    • 大数据平台部署及案例
    培训对象:大数据架构师、开发工程师。
    学院基础:数据库应用开发工程师,数据库管理员,数据架构师
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天

    大数据的基础介绍
  • 什么是大数据
  • 大数据时代的背景
  • 学术上怎么定义大数据
  • 大数据的构成
  • 大数据的演进过程
  • 大数据的关键技术
  • 大数据分布式系统的构成
  • 计算模式
  • 大数据产业
  • 大数据与云计算的关系
  • 大数据和物联网的关系
  • 开源Hadoop生态圈的介绍 1、Hadoop生态圈
    2、组件功能概要
    3、介绍Cloudera公司
    4、CDH5.0的技术优势
    5、ClouderaManager的介绍
    6、CM集群监控
    7、HDFS监控
    8、Hbase监控
    9、Hive监控
    10、服务维护页面
    HDFS分布式文件系统详解 什么是分布式文件系统HDFS
    2、HDFS基本架构
    3、基本概念
    4、主要涉及理念
    5、hdfs常用命令
    6、hdfs的上传文件
    7、hdfs的下载文件
    8、hdfs的查看数据
    9、hdfs优点和缺点
    10、案例:实现HDFS文件上传和下载
    ZooKeeper分布式协作服务 1.ZooKeeper概述
    2.ZooKeeper结构与原理
    3.安装和运行ZooKeeper
    4.Zookeeper的API接口
    5.ZK实操(创建节点等)
    6.Zookeeper的4个应用场景详解
    Yarn资源管理系统 1、什么是Yarn
    2、Yarn特点
    3、Yarn原理
    4、Yarn核心架构
    5、优势和不足
    6、ResourceManager(RM)介绍
    7、ApplicationMaster(AM)介绍
    8、NodeManager(NM)介绍
    9、Container介绍
    Sqoop大数据同步工具详解 1、Sqoop基本介绍
    2、基本原理
    3、应用场景
    4、Sqoop和mysql的连接
    5、mysql数据到HDFS
    6、HDFS数据到mysql
    7、关系型数据库到hive
    8、hive到关系型数据库
    9、Sqoop优点和缺点
    10、案例:oracle到hdfs的大数据量转换
    MapReduce分布式计算框架详解
    1、MapReduce基本介绍
    2、为什么要用MR
    3、MR是什么
    4、工作原理
    5、Map的原理
    5、Reduce的原理
    6、MR例子-单词计数
    7、MR的优点和不足
    8、适用场景
    9、案例:统计多个数据文件每个单词出现次数并倒序排列

    Hive 数据仓库及案例 1、Hive 基本介绍
  • Hive 是什么
  • Hive 不是什么
  • Hive 结构图
  • Hive 元数据
  • Hive 和普通关系数据的异同
  • Hive 和 SQL 比较
  • 2、Hive 命令
  • 建表
  • 显示表
  • 修改表
  • load 数据
  • 3、Hive 优化
  • 分区概念
  • 分区适用场景
  • 分区例子
  • 优化例子
  • 优化建议方案
  • 4、Hive 的用户自定义函数
  • UDF 函数
  • UDAF 函数
  • UDTF 函数
  • 5、案例讲解:Hive分区表的优化设计
    Impala准实时分析 1、Impala基本介绍
    2、技术架构
    3、Impala与HIVE的关系
    4、基本原理
    5、优点和缺点
    6、建表
    7、加载数据
    8、批量处理
    9、常用脚本
    10、和hive的性能比较
    11、和oracle的对比2亿数据性能
    12、和oracle的对比12亿数据性能
    13、案例:Impala调用外部文件

    Hbase列数据库及应用案例 1、Hbase感性认识
  • Hbase简介
  • Hbase特点
  • HBase与RDBMS对比
  • HBase体系结构
  • Hbase常见概念
  • 2、Hbase主要组成
  • HBase基本命令介绍
  • Zookeeper、Hmaster
  • HRegionServer、Region
  • HStore存储、Hfile
  • Hbase内部扫描RowKey的原理
  • Hbase内部读写原理
  • HBase设计原理、架构分析
  • Hadoop+HBase伸缩性(自动扩容、热部署)
  • HBase相关表结构设计(列族、列详细分析)
  • HBase主HMaster与备用HMaster间的切换原理
  • 3、Hbase性能测试
  • 测试数据
  • 测试过程
  • 测试结论
  • 和Oracle Rac等进行对比
  • 4、Hbase设计原则和优化
  • Hbase的RowKey设计原则
  • 性能参数的设置
  • 性能参数的调整
  • 模型和性能优化
  • 5、项目案例:HBase在小米业务的应用
    6、项目案例:运营商全国用户上网记录案例介绍
    大数据平台部署及案例 hadoop有哪几个版本
    2、Hadoop版本介绍
    3、CDH和Apache版本主要区别
    4、集群硬件应该如何选配
  • 网络拓扑
  • 内存
  • 硬盘
  • CPU
  • 价格
  • 5、集群硬件应该如何选配
    6、英特尔Hadoop发行版的介绍
    7、英特尔功能增强
    8、项目案例:某省级通信运营商清帐单查询系统
    9、项目案例:新清账单中心的部署方案
       
    2183 次浏览  40 次
    其他人还看了课程
    Apache Kylin平台应用与实操  2348 次浏览
    大数据工具Flume&Kafka集成实践  2048 次浏览
    大数据架构设计实战演练  3928 次浏览
    面向数字化转型的大数据顶层设计实践  82 次浏览
    大数据应用:从认知、实践到价值创造  81 次浏览
    Hadoop与Spark大数据架构专题  7727 次浏览
    定制内训


    咨询服务:数据库设计与性能优化
    咨询目标 对客户的数据库进行性能评价,设计优化,管理优化
    咨询范围 数据库性能评价,数据库结构优化,数据访问SQL优化。
    咨询方式 现有数据库调查,问题诊断,性能评价。
    对数据库进行逻辑结构优化,对数据库进行访问SQL优化。
    建立数据库运行监控平台。运行监控与优化方法指导。
    成功案例 建设银行,中国农业银行,中国工商银行,中航信
    详情咨询:010-62670969, zhgx@uml.net.cn
    课程计划
    MBSE(基于模型的系统工程)6-20[北京]
    大模型微调原理与实操 6-20[厦门]
    基于模型的数据治理与中台 6-25[北京]
    DoDAF规范、模型与实例 6-24[北京]
    UAF架构体系与实践 7-4[北京]
    Linux内核编程及设备驱动 7-25[北京]