要资料 文章 文库 Lib 视频 Code iProcess 课程 认证 服务 工具 讲座吧   专家招募  
会员   
 
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企
某知名银 大数据分析专题-R
IGT 数据分析与挖掘
某风电企 R语言数据分析
某车联网 数据分析与挖掘
新电信息 PL/SQL应用性

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 

大数据架构设计实战演练   
徐老师
58同城,高级架构师
报名课程   571 次浏览    16 次 
时间地点: 北京、 上海 深圳根据报名开班   
课程费用:5000元/人 详见 公开课学习手册
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


随着互联网、移动互联网和物联网的发展,特别是互联网+时代的到来,我们已经切实地迎来了一个大数据的时代。大数据处理对于未来的IT开发人员而言,已经成为一项必备的技能,但是要用好大数据,除了工具本身之外,还包括运维、优化、分布式等方面的知识,形成了全新的挑战,其中对大数据的分析与挖掘已经成为一个非常重要且紧迫的需求。
本课程关注大数据技术平台:Hadoop和Spark,围绕实际案例讲解“Hadoop大数据分析、数据挖掘、性能调优、开发实战”。
本次课程的主要目的,使客户了解大数据架构的架构搭建,一 数据源导入、数据分析流程、数据使用方案等问题,提升大数据架构设计知识理解。 二 介绍核心内容HDFS、MR、hive、Spark等核心架构与实际使用中的优化事项,提升技术能力与技术理解,三 实际项目的架构分享,介绍现互联网行业大数据平台架构,与使用中的注意事项, 四 基于互联网行业应用案例,分享基于推荐系统的数据挖掘,(包括用户与用户的关系挖掘,用户与产品关系的挖掘,并介绍核心算法库)。
培训目标:

  • 主要希望帮助培训方解决的问题,
  • 理解大数据平台的架构与各组件的使用场景,
  • 核心的组件的架构设计与原理,
  • 使用中的经验分享,
  • 互联网行业的使用案例,使其帮助客户有大数据行业入门的思维,能够自行搭建大数据平台,完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。
  • 课程优势:

    本课程的最大优势就是:
    1、整个培训过程老师带着学员进行全程上机操作,因此要求每个学员带笔记本电脑。
    2、整个过程老师带着学员进行全程上机操作外,学员会进行全程实战演练,并且在演练过程中会以银行实际项目案例为主。在演练过程中老师会进行不断的指导,使培训课程真正落地。
    培训对象:关注大数据的技术工程师、技术主管
    学员基础:数据linux操作系统,java开发技术
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天

    一、云计算 云计算架构概览
    云计算能带来什么好处
    云计算之虚拟机
    云计算之大数据
    经典的使用案例
    二、大数据之分布式存储 分布式存储-HDFS
    大数据的好处
    大数据的核心架构
    企业使用大数据的案例
    什么是分布式文件系统和HDFS
    HDFS设计目标
    HDFS的基本组件
    HDFS架构图和工作原理
    HDFS服务进程详解
    HDFS的未来发展
    NameNode详解
    DataNode详解
    HDFS副本备份策略
    三、分布式存储实战 HDFS实战-命令行等使用
  • HDFS安装须知
  • HDFS命令行工具
  • 启动、停止HDFS服务
  • 如何查看HDFS日志
  • 如何查看HDFS Web控制台
  • HDFS参数配置
  • 上机练习
  • HDFS实战-Java API使用
  • Eclipse 开发环境介绍
  • HDFS 开发基本步骤
  • HDFS Java API详解
  • oConfiguration
    oPath
    oFileSystem
    oStream、IOUtils
  • HDFS Java API使用场景示例
  • FuseHDFS
  • WebHDFS RESTful API

  • 上机练习
    四、大数据之分布式计算 什么是MapReduce
    MapReduce服务
    MapReduce服务
    MapReduce作业执行流程
    MapReduce错误处理机制
    MapReduce高级特性
    MapReduce任务调度
    MapReduce任务调度
    五、分布式计算实战 MapReduce命令行使用
  • 启动、停止MapReduce服务
  • 查看MapReduce日志
  • 查看MapReduce控制台
  • MapReduce参数配置

  • MapReduce 编程实战
  • MapReduce框架类库介绍
  • 开发MapReduce程序步骤
  • WordCount流程分解
  • WordCount代码分析
  • 上机练习
  • Hadoop IO 框架
  • 为什么要学习Hadoop I/O框架
  • 序列化
  • SequenceFile
  • MapFile
  • 数据完整性
  • 数据压缩
  • 上机练习
    六、大数据之数据仓库-Hive 什么是Hive?
    Hive的架构原理
    如何利用Hive来建造数据仓库?
    Hive的使用
    HQL的调优:
    操作练习
    七、大数据之NOSQL-Hbase
    什么是Hbase?
  • Hbase的架构原理
  • Hbase核心知识点
  • HBase列族与列
  • HBase时间戳
  • HBase物理模型
  • 数据存储结构:LSM
  • HBase Log
  • HBase Filter
  • HBase安装
    配置与优化
    表设计与相关参数
    操作练习
    八、大数据之内存计算-Spark Spark架构介绍
    Scala介绍
    Mesos介绍
    Spark介绍
    Spark原理及架构剖析
    Spark RDD计算模型解析
    Spark的任务执行机制解析
    Spark的调试与任务分配
    Spark的容错机制剖析
    Spark集群部署
  • Standalone
  • 集群分布式
  • 与HDFS结合
  • Spark Shell命令行分析
    构建与运行Spark应用
    Spark RDD操作方法解析
    Spark作业测试解析
    Spark的性能调优
    Spark生态体系剖析
  • SPARK SQL
  • SPARK ML
  • SPARK Streaming

  • Spark应用实践
    九、大数据之资源管理-Yarn Yarn 与MapReduce的不同
    Yarn 原理与架构
    Apache YARN基本框架
    Apache YARN工作流程
    Apache YARN设计细节
    Yarn 核心技术模块原理解析
  • Yarn ResouceManager原理解析
  • Yarn NodeManager 原理解析
  • Yarn ApplicationMaster
  • MapReduce与YARN结合
    如何与Yarn来结合
    Yarn 配置及搭建
    十、大数据之分析脚本工具-Pig Pig基础
    使用Pig进行简单数据分析
    使用Pig处理复杂数据
    使用Pig分析处理多数据集
    扩展Pig
    Pig排错和优化
    十一、数据安全 安全体系图
    应用安全、数据安全
    多级认证体系
    产品安全思路
    学员实际演练与老师现场指导
    十二、云计算运维体系 云计算运维体系架构图
    服务可靠性
    提高服务质量
    降低服务成本
    现场演示:实际项目中云计算运维体系架构图。
    十三、大练习:以实际项目案例为基础 进行云计算分布式架构的设计思路和流程实际演练。
    (此内容是本课程的重点内容,课程压轴大作,从而 使云计算架构设计最终落地)
    571 次浏览   16 次
    其他人还看了课程
    Flume & Kafka原理与实践  121 次浏览
    Spark内存计算框架原理与实践应用  127 次浏览
    Apache Kylin平台应用与实操  29 次浏览
    大数据工具Flume&Kafka集成实践  63 次浏览
    大数据架构设计实战演练  572 次浏览
    定制内训


    咨询服务:大数据技术平台构建与应用
    咨询目标 帮助客户设计、规划大数据架构
    帮助客户建立大数据技术平台,
    帮助客户建立大数据分析模型
    咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
    大数据技术平台:分布式存储与计算平台,采集工具,分析工具
    大数据分析应用案例:分析模型,结果报告
    咨询方式 调查分析客户当前的数据资源和使用情况。
    为客户设计大数据架构
    搭建大数据技术平台
    建立大数据分析应用示例。
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    [北京]软件设计模式最佳实践8-17
    [北京]软件测试方法与实践 8-27
    [北京]UML和EA进行系统分析设计8-24
    [北京]敏捷开发过程与项目管理8-24
    [北京]高质高效嵌入式软件开发8-24
    [北京]嵌入式软件测试 8-28
    [北京] 产品经理与产品管理 8-29
    [北京]大数据分析专题-R语言培训 8-30
    [北京]软件项目管理 8-31
    [上海]微服务架构设计与实践8-5
    [上海]白盒测试技术与工具实践 8-14
    [上海]DevOps体系实践工具与平台 8-25
    [深圳]HTML5客户端Web端和服务后台8-15
    [深圳]UML+嵌入式系统分析设计8-21
     
     
     

     
    每天2个文档/视频
    扫描微信二维码订阅
    订阅技术月刊
    获得每月300个技术资源
     
    希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
    频道编辑:sky
    邮       件:sky@uml.net.cn

    关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号