求知 文章 文库 Lib 视频 Code iProcess 课程 角色 咨询 工具 火云堂 讲座吧   成长之路  
会员   
 
 
 
全部课程 | 技术学院 | 管理学院 | 嵌入式学院 | 在线学院  
成功案例   品质保证  电话 English
追随技术信仰

随时听讲座
每天看新闻
 
   
成功案例
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企
某知名银 大数据分析专题-R
IGT 数据分析与挖掘

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
Spark实践培训  
1185 次浏览  131 次
时间地点: 北京 上海 深圳根据报名开班
课程费用:5000元/人 (学生3折),详见 公开课学习手册
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    Spark是继hadoop以来的有一个大数据分析神器,它具备了hadoop的所有功能,同时具有hadoop实现不了的功能。同样的数据在Spark上面执行需要的时间是hadoop的十分之一到一百分之一。备受行业的亲睐,也是今后大数据实时分析的主流工具。本课程将结合实例深入讲解Spark的原理及应用。

    培训目标:

    通过本课程学习与实践,您将了解与掌握:
    1)知道Spark能做什么,不能做什么。
    2)hadoop和Spark的适用场景。
    3)能过熟知Spark的原理、安装Spark集群。
    4)能够独立使用Spark工具来分析海量数据。
    5)会使用shark来分析数据。
    6)会使用Spark Streaming来处理数据。
    7)一个需求过来知道在Spark上面怎么实现。
    培训对象:1)大数据工程师
    2)对海量数据实时分析赶兴趣的人群。
    3)对hadoop感兴趣的人群
    4)想从事Spark工作的人员
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
    培训内容:2天

    第一天上午
    • Scala语言介绍
    • Scala语言安装
    • Scala快速入门介绍
    • 什么Spark
    • Spark的简介
    • Spark的编译
    • Spark的安装
    • Spark安装成功测试
    第一天下午
    • Spark原理
    • Spark的RDD
    • 什么是RDD
    • RDD的种类
      • Tranformation
      • Action
    • Spark的存储级别
    • Cache介绍
    • Spark的容错原理
    • Lineage容错
    • Checkpoint容错
    • RDD的创建
    • 案例
      • 统计单词的个数
    第二天上午
    • Spark调度组件
    • RDD graph
    • 作业与任务调度
    • DAG Scheduler
    • Task Scheduler
    • Task细节
    • Job的调度流程
    • Broadcast variables介绍
    • Spark的优化
    • Spark的生态系统
      • Shark
      • Streaming
    • Spark与hadoop的比较
    • Spark的使用场景介绍
    第二天下午
    • Spark实战一:求最大值
    • Spark实战二:自定义RDD(define a new RDD)
    • Spark实战三:RDD创建的种类(Scala、HDFS、localdisk and inputformat)
    • Spark实战四:基于Spark的日志分析
     
    1185 次浏览  131 次
    其他人还看了课程
    Spark实践培训  1185 次浏览
    《企业级Hadoop大数据处理最佳实践》  668 次浏览
    数据统计分析方法与工具、实践  870 次浏览
    大数据分析-SparkR  1213 次浏览
    大数据落地技术系列课程  1357 次浏览
    Apache Kylin平台应用与实操  508 次浏览
    定制内训


    咨询服务:数据库设计与性能优化
    咨询目标 对客户的数据库进行性能评价,设计优化,管理优化
    咨询范围 数据库性能评价,数据库结构优化,数据访问SQL优化。
    咨询方式 现有数据库调查,问题诊断,性能评价。
    对数据库进行逻辑结构优化,对数据库进行访问SQL优化。
    建立数据库运行监控平台。运行监控与优化方法指导。
    成功案例 建设银行,中国农业银行,中国工商银行,中航信
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    [北京]软件测试方法与实践 12-17
    [北京]UML和EA进行系统分析设计 1-10
    [北京]软件设计模式最佳实践 12-20
    [北京]大数据分析与管理 1-17
    [上海]嵌入式软件可靠性设计 12-19
    [上海]Kubernetes构建企业容器云 12-21
    [深圳]数据仓库多维建模方法应用 12-29
     
     
     

     
    每天2个文档/视频
    扫描微信二维码订阅
    订阅技术月刊
    获得每月300个技术资源
     
    希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
    频道编辑:sky
    邮       件:sky@uml.net.cn

    关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号