求知 文章 文库 Lib 视频 iProcess 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 电子&机械 | 军工学院 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某综合性 人工智能与机器学习
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
Spark实践培训  
1498 次浏览  134 次
时间地点: 北京 上海 深圳根据报名开班
课程费用:5000元/人 (学生3折),详见 公开课学习手册
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    Spark是继hadoop以来的有一个大数据分析神器,它具备了hadoop的所有功能,同时具有hadoop实现不了的功能。同样的数据在Spark上面执行需要的时间是hadoop的十分之一到一百分之一。备受行业的亲睐,也是今后大数据实时分析的主流工具。本课程将结合实例深入讲解Spark的原理及应用。

    培训目标:

    通过本课程学习与实践,您将了解与掌握:
    1)知道Spark能做什么,不能做什么。
    2)hadoop和Spark的适用场景。
    3)能过熟知Spark的原理、安装Spark集群。
    4)能够独立使用Spark工具来分析海量数据。
    5)会使用shark来分析数据。
    6)会使用Spark Streaming来处理数据。
    7)一个需求过来知道在Spark上面怎么实现。
    培训对象:1)大数据工程师
    2)对海量数据实时分析赶兴趣的人群。
    3)对hadoop感兴趣的人群
    4)想从事Spark工作的人员
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容:2天

    第一天上午
    • Scala语言介绍
    • Scala语言安装
    • Scala快速入门介绍
    • 什么Spark
    • Spark的简介
    • Spark的编译
    • Spark的安装
    • Spark安装成功测试
    第一天下午
    • Spark原理
    • Spark的RDD
    • 什么是RDD
    • RDD的种类
      • Tranformation
      • Action
    • Spark的存储级别
    • Cache介绍
    • Spark的容错原理
    • Lineage容错
    • Checkpoint容错
    • RDD的创建
    • 案例
      • 统计单词的个数
    第二天上午
    • Spark调度组件
    • RDD graph
    • 作业与任务调度
    • DAG Scheduler
    • Task Scheduler
    • Task细节
    • Job的调度流程
    • Broadcast variables介绍
    • Spark的优化
    • Spark的生态系统
      • Shark
      • Streaming
    • Spark与hadoop的比较
    • Spark的使用场景介绍
    第二天下午
    • Spark实战一:求最大值
    • Spark实战二:自定义RDD(define a new RDD)
    • Spark实战三:RDD创建的种类(Scala、HDFS、localdisk and inputformat)
    • Spark实战四:基于Spark的日志分析
     
    1498 次浏览  134 次
    其他人还看了课程
    Apache Kylin平台应用与实操  876 次浏览
    大数据工具Flume&Kafka集成实践  805 次浏览
    大数据架构设计实战演练  1671 次浏览
    大数据搜索框架(ElasticSearch)与应用  1249 次浏览
    Hadoop与Spark大数据架构专题  4829 次浏览
    深入浅出学Zookeeper   180 次浏览
    定制内训


    咨询服务:数据库设计与性能优化
    咨询目标 对客户的数据库进行性能评价,设计优化,管理优化
    咨询范围 数据库性能评价,数据库结构优化,数据访问SQL优化。
    咨询方式 现有数据库调查,问题诊断,性能评价。
    对数据库进行逻辑结构优化,对数据库进行访问SQL优化。
    建立数据库运行监控平台。运行监控与优化方法指导。
    成功案例 建设银行,中国农业银行,中国工商银行,中航信
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    需求分析管理 11-5[北京]
    ANSYS 有限元分析实战 11-23[北京]
    企业架构师(TOGAF官方认证)11-28[北京]
    Apache ActiveMQ技术实战 12-9[北京]
    人工智能,机器和深度学习11-26 [上海]
    分布式系统设计与实践 12-12[上海]
    云平台与微服务架构设计 11-15 [深圳]
    北京  需求分析师能力认证
    某电信运营供应商  应用UML进行面向对象分析设计
    某综合性科研机构  人工智能与机器学习应用
    中国平安  测试质量控制与管理
    某新能源电力企业  软件架构设计方法、案例与实践