要资料 文章 文库 视频 Code iProcess 课程 认证 服务 工具 讲座吧   专家招募  
会员   
 
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
某知名银 大数据分析专题-R
IGT 数据分析与挖掘
某风电企 R语言数据分析
某车联网 数据分析与挖掘
新电信息 PL/SQL应用性
某车联网 企业级hadoop
某知名基 Mysql性能优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 

Hadoop原理、应用与优化     1557 次浏览    162 次 
专家讲师:刘老师,某大型互联网企业大数据架构师,技术委员会首席专家。
地点时间:深圳 6月25-26日,北京 上海 根据报名开班
课程费用5000元/人 (学生3折),详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

《数据架构师》   认证方式  
1.知识:权威知识考试;
2.技能:真实案例实践考评;
3.经验:工作经验审核;
4.素养:未来发展潜力的评估。

    本课程结合大规模大数据案例,讲解完整的hadoop的工作周期中的相关的工具、原理和应用方法。涉及:采集、存储、访问、挖掘和分析、优化。

 
培训目标:
  • 大数据存储概览
  • 大数数据平台Hadoop概览
  • Hadoop集群规划
  • Hadoop简介和生态系统介绍
  • Hadoop安装和主要配置文件介绍
  • Hadoop组件介绍
  • Hadoop的HDFS模块
  • MapReducer入门和高级开发实战
  • Hive的使用和实战
  • Hbase使用
  • Hadoop集群配置介绍和维护
  • 数据抽取工具Sqoop使用
培训对象:程序员、架构师、运维工程师、数据库开发人员、后台开发人员。
学员基础:具有大数据系统知识,最好有开发或者运维经验。
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练,详见 公开课学习手册
培训内容:2天
大数据存储概览
  • 大数据的产生、引用、存储与应用
  • 大数据存储的特点
  • 大数据库的基本元素
  • 海量数据库的开发特性
  • 数据库的数据分析与挖掘应用
  • 数据仓库与数据集市
大数数据平台Hadoop概览
  • 传统大规模系统存在的问题
  • Hadoop概述
    • 文件存储-HDFS
    • HDFS-工作原理
    • 数据计算MapReduce
    • MapReduce工作原理
    • SQL分析-Hive
    • 海量实时读写-HBase
    • 分布式协调系统—Zookeeper
    • 数据抽取工具Sqoop使用
  • Hadoop分布式文件系统 
  • MapReduce工作原理 
  • Hadoop集群剖析
  • Hadoop生态系统对一种新的解决方案的需求
  • Hadoop的行业应用案例分析
  • Hadoop在云计算和大数据的位置和关系
Hadoop集群规划
  • Hadoop 集群内存要求
    • Namenode的机器配置
    • Datanode的机器配置
    • SNN的机器配置
  • Hadoop集群磁盘分区
  • 集群和网络拓扑要求
  • 集群软件的端口配置
Hadoop简介和生态系统介绍
  • 传统大规模数据分析存在的问题
  • Hadoop概述
  • Hadoop与分布式文件系统
  • Hadoop生态系统
  • Hadoop的行业应用案例分析
  • Hadoop在云计算和大数据的位置和关系
  • Hadoop版本介绍
  • Hadoop与Google FS的关系
  • Hadoop在国内的使用情况和未来
Hadoop安装和主要配置文件介绍
  • Hadoop安装所需软件介绍
  • Hadoop单机安装
  • Hadoop伪分布式安装
  • Hadoop完全分布式安装
  • Hadoop三个节点安装的配置介绍
  • Hahoop多节点ssh配置
  • Hadoop格式化详解
  • Hadoop核心配置文件介绍
  • 核心配置文件core-site.xml
  • HDFS配置文件hdfs-site.xml
  • Mapreduce配置文件mapred-site.xml
  • master文件配置详解
  • slave文件配置详解
  • Hadoop启动和停止方法一
    • —start-all.sh详解
    • —stop-all.sh详解
  • Hadoop的启动和停止方法二
    • —hadoop-deamon.sh详解
  • Hadoop安装的常见错误介绍和解决方案
  • 使用自带的wordcount和pi测试集群安装是否成功
  • 使用Streaming来测试集群安装是否成功
Hadoop组件介绍
  • Hadoop NameNode 介绍
  • Hadoop SecondaryNameNode 介绍
  • Hadoop DataNode 介绍
  • Hadoop JobTracker 介绍
  • Hadoop TaskTracker 介绍
Hadoop的HDFS模块
  • HDFS架构介绍
  • HDFS原理介绍
  • NameNode功能详解
  • DataNode功能详解
  • SecondaryNameNode功能详解
  • HSFD的fsimage和editslog详解
  • HDFS的block详解
  • HDFS的block的备份策略
  • Hadoop的机架感知配置
  • HDFS的shell命令介绍
  • HDFS的thrift server服务介绍
  • HDFS的API接口介绍
  • HDFS的权限详解
  • Hadoop的客服端接入案例
MapReducer入门和高级开发实战
  • Mapreduce原理
  • MapReduce流程
  • 剖析一个MapReduce程序
  • Mapper和Reducer抽象类详解
  • Mapreduce的最小驱动类
  • MapReduce自带的类型
  • 自定义Writables和WritableComparables
  • Mapreduce的输入InputFormats
  • MapReduce的输出OutputFormats
  • 自定义InputFormat
  • 自定义InputSPlits
  • 自定义RecorderReader
  • Combiner详解
  • Partitioner详解
  • DistributeFileSystem详解
  • Hadoop Tools工具介绍
  • Counter计数器详解
  • 自定义Counter计数器
  • 基于Hadoop二次开发实战
  • MapReduce的优化
  • Map和Reduce的个数设置
  • Hadoop小文件优化
  • 任务调度
  • 默认的任务调度
  • 公平任务调度
  • 能力任务调度
  • 使用 Hadoop MapReduce Streaming 编程
  • MapReduce的单元测试
Hive的使用和实战
  • Hive和Pig基础
  • Hive、Impala和presto的比较
  • Hive的作用和原理说明
  • Hadoop仓库和传统数据仓库的协作关系
  • Hadoop/Hive仓库数据数据流
  • Hive 部署和安装
  • Hive Cli 的基本用法
  • Hive的server启动
  • HQL基本语法
  • Hive的加载数据本地加载和HDFS加载
  • Hive的partition详解
  • Hive的存储方式详解
  • RCFILE、TEXTFILE和SEQUEUEFILE
  • Hive的UDF和UDAF
  • Hive的transform详解
  • Hive的JDBC连接
Hbase使用
  • Hbase原理
  • Hmaster详解
  • RegionServer详解
  • Zookeeper介绍
  • Hbase安装
  • Hbase逻辑视图介绍
  • Hbase物理视图介绍
  • Hbase的二级索引介绍
  • Hbase 的DDL和DML
  • Hbase表的设计案例
  • Hbase的import功能介绍
  • MapReduce操作Hbase
  • Hbase的 thrift Server介绍
  • Hbase 的API介绍
  • Hbase案例分析
Hadoop集群配置介绍和维护
  • Hadoop集群的部署要点
  • NameNode和SecondaryNameNode和JobTracker机器的配置要求
  • dataNode与tasktracker机器的配置要求
  • Hadoop集群管理的工具介绍
  • Ganglia和nigos监控Hadoop集群介绍
  • Ambri介绍
  • 添加和删除节点演示
  • Namenode的单点解决方案
  • NameNode的NFS备份介绍
  • 集群所有dataNode挂掉的故障介绍
  • 集群NameNode的fsimage丢掉恢复方法
  • Hadoop集群维护的注意点
数据抽取工具Sqoop使用
  • Sqoop是什么
  • Sqoop安装
  • Sqoop把mysql数据导入HDFS
  • Sqoop把HDFS数据导入Mysql
  • Sqoop吧Mysql数据导入Hive
  • Sqoop吧Mysql数据导入Hive分区
  • 执行脚本的解析
  • 数据导入过程中的典型问题和解决办法

1557 次浏览   162 次
其他人还看了课程
Docker原理与实践  397 次浏览
Teradata数据库管理、应用与优化  631 次浏览
Oracle备份与恢复培训大纲(标准三天)  693 次浏览
SQLServer性能优化  252 次浏览
Redis原理、应用与案例实践  1112 次浏览
Oracle数据库开发与管理  1222 次浏览
定制内训



咨询服务:大数据技术平台构建与应用
咨询目标 帮助客户设计、规划大数据架构
帮助客户建立大数据技术平台,
帮助客户建立大数据分析模型
咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
大数据技术平台:分布式存储与计算平台,采集工具,分析工具
大数据分析应用案例:分析模型,结果报告
咨询方式 调查分析客户当前的数据资源和使用情况。
为客户设计大数据架构
搭建大数据技术平台
建立大数据分析应用示例。
详情咨询:010-62670969, zhgx@uml.net.cn

最新活动计划
[北京]用户体验与界面设计 6-15
[北京]Devops体系、工具平台 6-16
[北京]持续集成测试最佳实践 6-24
[北京]人工智能机器和深度学习 5-19
[北京]需求分析与管理 5-15
[北京]嵌入式软件测试 5-25
[北京]微服务架构设计与实践 5-27
[北京]UML和EA进行系统分析设计 6-1
[上海]软件架构设计案例与实践 5-11
[上海]产品设计与用户体验 5-15
[上海]自动化测试方法、案例实践 5-26
[深圳] 软件设计模式最佳实践 5-26
[深圳]Oracle数据库SQL优化 6-9
 
 
 

 
每天2个文档/视频
扫描微信二维码订阅
订阅技术月刊
获得每月300个技术资源
 
希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
频道编辑:sky
邮       件:sky@uml.net.cn

关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号