求知 文章 文库 Lib 视频 Code iProcess 课程 角色 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 电子&机械 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
知名财险 Oracle数据库
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企
某知名银 大数据分析专题-R

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >数据库与大数据  
Hadoop原理、部署、编程与性能调优     
1580 次浏览  144 次
郭洪磊
曾任盛大在线资深工程师,阿里巴巴B2B资深工程师。
时间地点:北京 上海 深圳 根据报名开班
课程费用:5000元/人
企业内训:可以根据企业需求,定制内训,详见 内训学习手册



认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    本次课程以实际的演练(环境部署,程序开发)为主,并分享实际大规模Hadoop性能调优经验,实践与理论相结合,让学员能够对Hadoop生态系统有一个清晰明了的认识,理解Hadoop系统适用的场景,掌握MapReduce,Hive和HBase系统的中高级应用开发技能,搭建稳定可靠的Hadoop集群,满足生产环境的标准。并且掌握MapReduce,Hive和HBase系统性能调优技能,能够实际应用在项目中。
    培训目标:

    • Hadoop大观园,介绍Hadoop生态系统的各个组成模块与适用场景。
    • Hadoop部署与编程,讲解演示在生产环境中选用和配置服务器需要注意的事项,介绍HDFS编程的Java API使用。
    • Hadoop集群架构搭建
    • MapReduce编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
    • Hive编程与调优:讲解演示MapReduce的中高级应用开发与调优技能。
    • HBase编程与调优:讲解演示HBase的中高级应用开发与调优技能。
    • Hadoop系统管理:讲解Hadoop系统的高级配置与管理技能。

     

    培训对象:具有Hadoop一般应用、部署经验和编程基础。
    学员基础:Hadoop应用开发工程师
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天

    Hadoop大观园
    • 文件存储-HDFS
    • HDFS-工作原理
    • 数据计算MapReduce
    • MapReduce工作原理
    • SQL分析-Hive
    • 海量实时读写-HBase
    • 工作流调度-Ooize
    • 分布式协调系统—Zookeeper
    Hadoop部署与编程
    • Hadoop版本介绍与选择
    • Hadoop部署实践
      a) Hadoop安装文件构成与配置体系
      b) 机器硬件建议配置
      c) 系统环境配置
      d) 基本参数配置与说明
      e) 进程分布规划与启动
    • Hadoop基本使用操作
      a) HDFS
      b) 权限
      c) MapReduce
    • HDFS编程
      a) 开发环境准备
      b) 读文件
      c) 写文件
    Hadoop集群架构搭建
    • Hadoop集群架构搭建方法
    • Hadoop集群架构性能管理
    • HDFS,NameNode,DataNode的调优和节点扩展最佳实践
    • 主要调优工具和性能监控工具
    • Hadoop集群对于硬件的要求和选型
    • Hadoop集群中对硬件、操作系统的调优方法
    • 实际案例分析
    • 基于Hadoop的集群解决方案
    MapReduce编程与调优
    • MR与YARN介绍
    • 编程实战
      • 基本MapReduce程序编写
      • 基于MapReduce的高级操作(排序,分区,二次排序)
      • 基于MapReduce的Join操作
    • 调整MR框架运行参数,提升运行效率
      • 选择合适的Map与Reduce数量
      • 设置Map端参数
      • 设置Reduce端参数
    • 使用HPROF对MR任务进行Profiling
    • 代码调试
    • 运行日志
    Hive编程与调优
    • Hive系统部署与搭建
    • Hive工作机制
    • 基于Hive的网站日志分析示例
    • Hive的用户自定义函数开发
    • Hive底层数据文件与数据压缩选择
      • gzip
      • bz2
      • lzo
      • rcfile
    • Hive运行参数调优
    • Hive程序编写性能建议
      • MapJoin
      • 数据倾斜
      • Join顺序
      • UDF编写注意事项
      • 快速获取结果TopN
    • 通过Explain观察Hive行为
    HBase编程与调优
    • HBase系统架构
    • 基于HBase的网盘应用示例
    • HBase性能测试
    • HBase编程与调优
    • HBase系统部署与搭建
    • HBase系统架构与原理
    • HBase编程基础
    • HBase高级编程功能与实例
      • Filter
      • Coprocessor
    • HBase数据存储编码选择
      • 压缩
      • Avro
    • HBase性能测试与分析
    Hadoop系统管理
    • Hadoop系统性能监控系统(Ganglia)搭建
    • Hadoop系统容灾策略
    • Hadoop资源调度策略
    • Hadoop高级配置参数
    • Hadoop安全
    • Hadoop系统监控与报警策略
    • 总结、答疑

     
    1580 次浏览  144 次
    其他人还看了课程
    Oracle RAC(实时应用集群)  665 次浏览
    Oracle海量数据库设计与开发  935 次浏览
    Oracle数据库运行维护和架构设计  813 次浏览
    OLAP原理与应用  922 次浏览
    PL/SQL应用性能优化及最佳实践经验  4853 次浏览
    数据仓库设计与建模  927 次浏览
    定制内训


    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    [北京]基于模型的设计 3-6
    [北京]机器学习&TensorFlow+Keras框架 3-13
    [北京]UML +嵌入式系统分析设计 3-15
    [北京]软件架构设计方法、案例与实践 3-20
    [北京]基于Kubernetes的DevOps实践 4-11
    [上海]人工智能,机器学习和深度学习 3-22
    [上海]产品需求分析与管理 3-30
    [深圳]软件开发过程中的质量管理实践 3-29
    中国移动  人工智能、机器学习和深度学习
    知名财险公司  Oracle数据库性能调优
    航天科工某子公司  软件测试架构师
    英特尔  代码整洁与嵌入式C高质量编程
    知名消费金融公司  探索性测试与测试分析
     
     
     

     
    每天2个文档/视频
    扫描微信二维码订阅
    订阅技术月刊
    获得每月300个技术资源
     
    希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
    频道编辑:sky
    邮       件:sky@uml.net.cn

    关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号