大数据架构设计实战演练培训|火龙果数据库培训

求知

文章

文库

Lib

成功案例

相关课程

全部课程 >大数据

大数据架构设计实战演练

3616 次浏览

30 次


徐老师
58同城，高级架构师

时间地点： 北京、上海深圳根据报名开班

课程费用：5000元/人详见公开课学习手册

报线下课

报直播课

企业内训：可以根据企业需求,定制内训,详见内训学习手册

认证方式：
培训前了解能力模型。
培训后进行能力评测：

在线考试

能力分析，给出学习建议

合格者颁发证书，作为职业技能资格证明

随着互联网、移动互联网和物联网的发展，特别是互联网+时代的到来，我们已经切实地迎来了一个大数据的时代。大数据处理对于未来的IT开发人员而言，已经成为一项必备的技能，但是要用好大数据，除了工具本身之外，还包括运维、优化、分布式等方面的知识，形成了全新的挑战，其中对大数据的分析与挖掘已经成为一个非常重要且紧迫的需求。
本课程关注大数据技术平台：Hadoop和Spark，围绕实际案例讲解“Hadoop大数据分析、数据挖掘、性能调优、开发实战”。
本次课程的主要目的,使客户了解大数据架构的架构搭建，一数据源导入、数据分析流程、数据使用方案等问题，提升大数据架构设计知识理解。二介绍核心内容HDFS、MR、hive、Spark等核心架构与实际使用中的优化事项，提升技术能力与技术理解，三实际项目的架构分享，介绍现互联网行业大数据平台架构，与使用中的注意事项, 四基于互联网行业应用案例，分享基于推荐系统的数据挖掘，（包括用户与用户的关系挖掘，用户与产品关系的挖掘，并介绍核心算法库）。

培训目标：

主要希望帮助培训方解决的问题，

理解大数据平台的架构与各组件的使用场景，

核心的组件的架构设计与原理，

使用中的经验分享，

互联网行业的使用案例，使其帮助客户有大数据行业入门的思维，能够自行搭建大数据平台，完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。

课程优势：

本课程的最大优势就是：
1、整个培训过程老师带着学员进行全程上机操作，因此要求每个学员带笔记本电脑。
2、整个过程老师带着学员进行全程上机操作外，学员会进行全程实战演练，并且在演练过程中会以银行实际项目案例为主。在演练过程中老师会进行不断的指导，使培训课程真正落地。

培训对象：关注大数据的技术工程师、技术主管

学员基础：数据linux操作系统，java开发技术

授课方式： 定制课程 + 案例讲解 + 小组讨论，60%案例讲解，40%实践演练

培训内容：2天

一、云计算	云计算架构概览云计算能带来什么好处云计算之虚拟机云计算之大数据经典的使用案例
二、大数据之分布式存储	分布式存储-HDFS 大数据的好处大数据的核心架构企业使用大数据的案例什么是分布式文件系统和HDFS HDFS设计目标 HDFS的基本组件 HDFS架构图和工作原理 HDFS服务进程详解 HDFS的未来发展 NameNode详解 DataNode详解 HDFS副本备份策略
三、分布式存储实战	HDFS实战-命令行等使用 HDFS安装须知 HDFS命令行工具启动、停止HDFS服务如何查看HDFS日志如何查看HDFS Web控制台 HDFS参数配置上机练习 HDFS实战-Java API使用 Eclipse 开发环境介绍 HDFS 开发基本步骤 HDFS Java API详解 oConfiguration oPath oFileSystem oStream、IOUtils HDFS Java API使用场景示例 FuseHDFS WebHDFS RESTful API 上机练习
四、大数据之分布式计算	什么是MapReduce MapReduce服务 MapReduce服务 MapReduce作业执行流程 MapReduce错误处理机制 MapReduce高级特性 MapReduce任务调度 MapReduce任务调度
五、分布式计算实战	MapReduce命令行使用启动、停止MapReduce服务查看MapReduce日志查看MapReduce控制台 MapReduce参数配置 MapReduce 编程实战 MapReduce框架类库介绍开发MapReduce程序步骤 WordCount流程分解 WordCount代码分析上机练习 Hadoop IO 框架为什么要学习Hadoop I/O框架序列化 SequenceFile MapFile 数据完整性数据压缩上机练习
六、大数据之数据仓库-Ｈive	什么是Hive？ Hive的架构原理如何利用Hive来建造数据仓库？ Hive的使用 HQL的调优：操作练习
七、大数据之NOSQL-Ｈbase	什么是Hbase？ Hbase的架构原理 Hbase核心知识点 HBase列族与列 HBase时间戳 HBase物理模型数据存储结构:LSM HBase Log HBase Filter HBase安装配置与优化表设计与相关参数操作练习
八、大数据之内存计算-Spark	Spark架构介绍 Scala介绍 Mesos介绍 Spark介绍 Spark原理及架构剖析 Spark RDD计算模型解析 Spark的任务执行机制解析 Spark的调试与任务分配 Spark的容错机制剖析 Spark集群部署 Standalone 集群分布式与HDFS结合 Spark Shell命令行分析构建与运行Spark应用 Spark RDD操作方法解析 Spark作业测试解析 Spark的性能调优 Spark生态体系剖析 SPARK SQL SPARK ML SPARK Streaming Spark应用实践
九、大数据之资源管理-Yarn	Yarn 与MapReduce的不同 Yarn 原理与架构 Apache YARN基本框架 Apache YARN工作流程 Apache YARN设计细节 Yarn 核心技术模块原理解析 Yarn ResouceManager原理解析 Yarn NodeManager 原理解析 Yarn ApplicationMaster MapReduce与YARN结合如何与Yarn来结合 Yarn 配置及搭建
十、大数据之分析脚本工具-Pig	Pig基础使用Pig进行简单数据分析使用Pig处理复杂数据使用Pig分析处理多数据集扩展Pig Pig排错和优化
十一、数据安全	安全体系图应用安全、数据安全多级认证体系产品安全思路学员实际演练与老师现场指导
十二、云计算运维体系	云计算运维体系架构图服务可靠性提高服务质量降低服务成本现场演示：实际项目中云计算运维体系架构图。
十三、大练习：以实际项目案例为基础	进行云计算分布式架构的设计思路和流程实际演练。（此内容是本课程的重点内容，课程压轴大作，从而使云计算架构设计最终落地）

报线下课

报直播课

定制内训

3616 次浏览

30 次

其他人还看了课程

Flume & Kafka原理与实践 1683 次浏览

Spark内存计算框架原理与实践应用 2303 次浏览

基于Flink搭建流计算平台 2993 次浏览

Kafka 原理剖析及实战演练 1536 次浏览

Hadoop与Spark大数据架构专题 7455 次浏览

Storm与大数据分析 1931 次浏览

	咨询服务：大数据技术平台构建与应用

咨询目标	帮助客户设计、规划大数据架构帮助客户建立大数据技术平台，帮助客户建立大数据分析模型
咨询范围	大数据架构：数据结构模型，存储空间，数据分析模型大数据技术平台：分布式存储与计算平台，采集工具，分析工具大数据分析应用案例：分析模型，结果报告
咨询方式	调查分析客户当前的数据资源和使用情况。为客户设计大数据架构搭建大数据技术平台建立大数据分析应用示例。

详情咨询：010-62670969， zhgx@uml.net.cn

课程计划

自动化测试体系建设与最佳实践 12-21[北京]

基于UML和EA进行分析设计 1-11[在线]

需求分析师能力培养 1-18[在线]

大语言模型(LLM)Fine Tune 1-20[在线特惠]

业务驱动的数字化应用 1-30日[在线]

图数据库与知识图谱 2-25[北京]