求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某交通信 Oracle数据库
某通信设 Python数据分
某通信设 Python数据分
某综合性 人工智能与机器学习
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >数据库与大数据  
Hadoop原理、部署、编程与性能调优     
1902 次浏览  152 次
郭洪磊
曾任盛大在线资深工程师,阿里巴巴B2B资深工程师。
时间地点:北京 上海 深圳 根据报名开班
课程费用:5000元/人
企业内训:可以根据企业需求,定制内训,详见 内训学习手册



认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    本次课程以实际的演练(环境部署,程序开发)为主,并分享实际大规模Hadoop性能调优经验,实践与理论相结合,让学员能够对Hadoop生态系统有一个清晰明了的认识,理解Hadoop系统适用的场景,掌握MapReduce,Hive和HBase系统的中高级应用开发技能,搭建稳定可靠的Hadoop集群,满足生产环境的标准。并且掌握MapReduce,Hive和HBase系统性能调优技能,能够实际应用在项目中。
    培训目标:

    • Hadoop大观园,介绍Hadoop生态系统的各个组成模块与适用场景。
    • Hadoop部署与编程,讲解演示在生产环境中选用和配置服务器需要注意的事项,介绍HDFS编程的Java API使用。
    • Hadoop集群架构搭建
    • MapReduce编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
    • Hive编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
    • HBase编程与调优:讲解演示HBase的中高级应用开发与调优技能。
    • Hadoop系统管理:讲解Hadoop系统的高级配置与管理技能。

     

    培训对象:具有Hadoop一般应用、部署经验和编程基础。
    学员基础:Hadoop应用开发工程师
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天

    Hadoop大观园
    • 文件存储-HDFS
    • HDFS-工作原理
    • 数据计算MapReduce
    • MapReduce工作原理
    • SQL分析-Hive
    • 海量实时读写-HBase
    • 工作流调度-Ooize
    • 分布式协调系统—Zookeeper
    Hadoop部署与编程
    • Hadoop版本介绍与选择
    • Hadoop部署实践
      a) Hadoop安装文件构成与配置体系
      b) 机器硬件建议配置
      c) 系统环境配置
      d) 基本参数配置与说明
      e) 进程分布规划与启动
    • Hadoop基本使用操作
      a) HDFS
      b) 权限
      c) MapReduce
    • HDFS编程
      a) 开发环境准备
      b) 读文件
      c) 写文件
    Hadoop集群架构搭建
    • Hadoop集群架构搭建方法
    • Hadoop集群架构性能管理
    • HDFS,NameNode,DataNode的调优和节点扩展最佳实践
    • 主要调优工具和性能监控工具
    • Hadoop集群对于硬件的要求和选型
    • Hadoop集群中对硬件、操作系统的调优方法
    • 实际案例分析
    • 基于Hadoop的集群解决方案
    MapReduce编程与调优
    • MR与YARN介绍
    • 编程实战
      • 基本MapReduce程序编写
      • 基于MapReduce的高级操作(排序,分区,二次排序)
      • 基于MapReduce的Join操作
    • 调整MR框架运行参数,提升运行效率
      • 选择合适的Map与Reduce数量
      • 设置Map端参数
      • 设置Reduce端参数
    • 使用HPROF对MR任务进行Profiling
    • 代码调试
    • 运行日志
    Hive编程与调优
    • Hive系统部署与搭建
    • Hive工作机制
    • 基于Hive的网站日志分析示例
    • Hive的用户自定义函数开发
    • Hive底层数据文件与数据压缩选择
      • gzip
      • bz2
      • lzo
      • rcfile
    • Hive运行参数调优
    • Hive程序编写性能建议
      • MapJoin
      • 数据倾斜
      • Join顺序
      • UDF编写注意事项
      • 快速获取结果TopN
    • 通过Explain观察Hive行为
    HBase编程与调优
    • HBase系统架构
    • 基于HBase的网盘应用示例
    • HBase性能测试
    • HBase编程与调优
    • HBase系统部署与搭建
    • HBase系统架构与原理
    • HBase编程基础
    • HBase高级编程功能与实例
      • Filter
      • Coprocessor
    • HBase数据存储编码选择
      • 压缩
      • Avro
    • HBase性能测试与分析
    Hadoop系统管理
    • Hadoop系统性能监控系统(Ganglia)搭建
    • Hadoop系统容灾策略
    • Hadoop资源调度策略
    • Hadoop高级配置参数
    • Hadoop安全
    • Hadoop系统监控与报警策略
    • 总结、答疑

     
    1902 次浏览  152 次
    其他人还看了课程
    MySQL原理与应用实践  2820 次浏览
    Teradata数据库管理、应用与优化  1648 次浏览
    大型互联网Redis技术实战  356 次浏览
    Redis原理、应用与案例实践  2047 次浏览
    关系数据库的面向对象分析与性能优化设计  3083 次浏览
    MySql数据库性能优化  308 次浏览
    定制内训


    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    MBSE(基于模型的系统工程) 10-20[北京]
    软件详细设计、建模与编档 11-1[北京]
    人工智能、机器学习& TensorFlow 11-5[北京]
    需求分析最佳实践与沙盘演练 11-11[北京]
    产品经理与产品管理 11-18[北京]
    软件架构设计方法、案例与实践 10-22[上海]
    云计算、微服务与分布式架构 10-28[上海]
    大数据平台搭建与高性能计算 10-29[上海]
     讲座 基于模型的质量管理
     讲师:俎涛
     时间:2020年10月25日