大数据架构设计实战演练培训|火龙果数据库培训

求知

文章

文库

Lib

咨询

会员

成功案例

相关课程

全部课程 >大数据

大数据架构设计实战演练

4259 次浏览

54 次


徐老师
58同城，高级架构师

时间地点： 北京、上海深圳根据报名开班

课程费用：5000元/人详见公开课学习手册

报公开课

要内训

企业内训：可以根据企业需求,定制内训,详见内训学习手册

认证方式：
培训前了解能力模型。
培训后进行能力评测：

在线考试

能力分析，给出学习建议

合格者颁发证书，作为职业技能资格证明

随着互联网、移动互联网和物联网的发展，特别是互联网+时代的到来，我们已经切实地迎来了一个大数据的时代。大数据处理对于未来的IT开发人员而言，已经成为一项必备的技能，但是要用好大数据，除了工具本身之外，还包括运维、优化、分布式等方面的知识，形成了全新的挑战，其中对大数据的分析与挖掘已经成为一个非常重要且紧迫的需求。
本课程关注大数据技术平台：Hadoop和Spark，围绕实际案例讲解“Hadoop大数据分析、数据挖掘、性能调优、开发实战”。
本次课程的主要目的,使客户了解大数据架构的架构搭建，一数据源导入、数据分析流程、数据使用方案等问题，提升大数据架构设计知识理解。二介绍核心内容HDFS、MR、hive、Spark等核心架构与实际使用中的优化事项，提升技术能力与技术理解，三实际项目的架构分享，介绍现互联网行业大数据平台架构，与使用中的注意事项, 四基于互联网行业应用案例，分享基于推荐系统的数据挖掘，（包括用户与用户的关系挖掘，用户与产品关系的挖掘，并介绍核心算法库）。

培训目标：

主要希望帮助培训方解决的问题，

理解大数据平台的架构与各组件的使用场景，

核心的组件的架构设计与原理，

使用中的经验分享，

互联网行业的使用案例，使其帮助客户有大数据行业入门的思维，能够自行搭建大数据平台，完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。

课程优势：

本课程的最大优势就是：
1、整个培训过程老师带着学员进行全程上机操作，因此要求每个学员带笔记本电脑。
2、整个过程老师带着学员进行全程上机操作外，学员会进行全程实战演练，并且在演练过程中会以银行实际项目案例为主。在演练过程中老师会进行不断的指导，使培训课程真正落地。

培训对象：关注大数据的技术工程师、技术主管

学员基础：数据linux操作系统，java开发技术

授课方式： 定制课程 + 案例讲解 + 小组讨论，60%案例讲解，40%实践演练

培训内容：2天

一、云计算	云计算架构概览云计算能带来什么好处云计算之虚拟机云计算之大数据经典的使用案例
二、大数据之分布式存储	分布式存储-HDFS 大数据的好处大数据的核心架构企业使用大数据的案例什么是分布式文件系统和HDFS HDFS设计目标 HDFS的基本组件 HDFS架构图和工作原理 HDFS服务进程详解 HDFS的未来发展 NameNode详解 DataNode详解 HDFS副本备份策略
三、分布式存储实战	HDFS实战-命令行等使用 HDFS安装须知 HDFS命令行工具启动、停止HDFS服务如何查看HDFS日志如何查看HDFS Web控制台 HDFS参数配置上机练习 HDFS实战-Java API使用 Eclipse 开发环境介绍 HDFS 开发基本步骤 HDFS Java API详解 oConfiguration oPath oFileSystem oStream、IOUtils HDFS Java API使用场景示例 FuseHDFS WebHDFS RESTful API 上机练习
四、大数据之分布式计算	什么是MapReduce MapReduce服务 MapReduce服务 MapReduce作业执行流程 MapReduce错误处理机制 MapReduce高级特性 MapReduce任务调度 MapReduce任务调度
五、分布式计算实战	MapReduce命令行使用启动、停止MapReduce服务查看MapReduce日志查看MapReduce控制台 MapReduce参数配置 MapReduce 编程实战 MapReduce框架类库介绍开发MapReduce程序步骤 WordCount流程分解 WordCount代码分析上机练习 Hadoop IO 框架为什么要学习Hadoop I/O框架序列化 SequenceFile MapFile 数据完整性数据压缩上机练习
六、大数据之数据仓库-Ｈive	什么是Hive？ Hive的架构原理如何利用Hive来建造数据仓库？ Hive的使用 HQL的调优：操作练习
七、大数据之NOSQL-Ｈbase	什么是Hbase？ Hbase的架构原理 Hbase核心知识点 HBase列族与列 HBase时间戳 HBase物理模型数据存储结构:LSM HBase Log HBase Filter HBase安装配置与优化表设计与相关参数操作练习
八、大数据之内存计算-Spark	Spark架构介绍 Scala介绍 Mesos介绍 Spark介绍 Spark原理及架构剖析 Spark RDD计算模型解析 Spark的任务执行机制解析 Spark的调试与任务分配 Spark的容错机制剖析 Spark集群部署 Standalone 集群分布式与HDFS结合 Spark Shell命令行分析构建与运行Spark应用 Spark RDD操作方法解析 Spark作业测试解析 Spark的性能调优 Spark生态体系剖析 SPARK SQL SPARK ML SPARK Streaming Spark应用实践
九、大数据之资源管理-Yarn	Yarn 与MapReduce的不同 Yarn 原理与架构 Apache YARN基本框架 Apache YARN工作流程 Apache YARN设计细节 Yarn 核心技术模块原理解析 Yarn ResouceManager原理解析 Yarn NodeManager 原理解析 Yarn ApplicationMaster MapReduce与YARN结合如何与Yarn来结合 Yarn 配置及搭建
十、大数据之分析脚本工具-Pig	Pig基础使用Pig进行简单数据分析使用Pig处理复杂数据使用Pig分析处理多数据集扩展Pig Pig排错和优化
十一、数据安全	安全体系图应用安全、数据安全多级认证体系产品安全思路学员实际演练与老师现场指导
十二、云计算运维体系	云计算运维体系架构图服务可靠性提高服务质量降低服务成本现场演示：实际项目中云计算运维体系架构图。
十三、大练习：以实际项目案例为基础	进行云计算分布式架构的设计思路和流程实际演练。（此内容是本课程的重点内容，课程压轴大作，从而使云计算架构设计最终落地）

报公开课

要内训

4259 次浏览

54 次

其他人还看了课程

大数据分析设计与建模 2689 次浏览

基于模型的数据治理与数据中台建设 4832 次浏览

大数据平台规划与设计-搜索与异地容灾 2706 次浏览

数据治理、数据架构及数据标准 5518 次浏览

企业级Hadoop大数据处理最佳实践网络课 2096 次浏览

数据统计分析方法与工具、实践 3729 次浏览

	咨询服务：数据库设计与性能优化

咨询目标	对客户的数据库进行性能评价，设计优化，管理优化
咨询范围	数据库性能评价，数据库结构优化，数据访问SQL优化。
咨询方式	现有数据库调查，问题诊断，性能评价。对数据库进行逻辑结构优化，对数据库进行访问SQL优化。建立数据库运行监控平台。运行监控与优化方法指导。
成功案例	建设银行，中国农业银行，中国工商银行，中航信

详情咨询：010-62670969， zhgx@uml.net.cn

课程计划

QT应用开发 11-21[线上]

C++高级编程 11-27[北京]

LLM大模型应用与项目构建 12-26[特惠]

UML和EA进行系统分析设计 12-20[线上]

数据建模方法与工具 12-3[北京]

SysML建模专家 1-16[北京]