求知 文章 文库 Lib 视频 iProcess 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 电子&机械 | 军工学院 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某工程研 数据库设计与优化
知名财险 Oracle数据库
某金融公 Mysql集群与性
知名某信 NoSQL缓存数据
财政部唯 大数据分析专题-R
神龙汽车 大数据技术平台-H
中国电信 大数据时代与现代企

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >大数据  
大数据系统运维
1065 次浏览  6 次
Kent老师
大数据架构师,具有丰富的大数据实践项目经验
 
时间地点: 北京 10月21-22日; 深圳 上海 根据报名开班
课程费用:5000元/人
报线下课
企业内训:可以根据企业需求,定制内训,详见 内训学习手册

本课程关注大数据架构下如何进行系统监控、业务监控,涉及到:海量日志的保存、收集、分析和监控。课程讲解如何搭建部署大数据系统,如何构建监控平台,如何基于平台进行大数据业务和系统的监控。

培训目标:

  • 了解大数据运维都有什么内容
  • 大数据系统核心组件介绍
  • 性能调优策略实战
  • 离线服务平台介绍
  • 业务实时监控介绍
  • Hadoop 集群硬件监控
  • 通过应用案例了解工作 方法与流程

培训对象:大数据运维工程师,架构师
学员基础:了解大数据系统的构成,对运维工作有一定了解
授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容:2天

大数据运维概览 大数据的运维案例回顾:
  • 运维内容
  • 运维工作流程
  • 运维支撑平台
大数据运维涉及哪些内容
大数据运维关注的问题
大数据运维平台的典型架构
大数据系统核心组件介绍 1、集群管理工具—ambari
2、数据仓库—hive
3、分布式计算— MapReduce
4、noSQL数据库—Hbase
5、工作流工具—Oozie
6、数据的并行采集—Flume
7、MapReduce脚本工具—Pig
8、与关系型数据库之间的数据迁移—Sqoop
9、资源管理平台—Yarn
10、数据挖掘算法—Mahout
11、分布式统一服务—Zookeeper
12、流式计算—Strom
13、内存计算—Spark

性能调优策略实战 1、 Linux版本选择
2、 安装HDFS系统调优
3、 网络优化策略
4、 Hdfs优化策略
5、 安装HDFS服务
6、 HDFS配置参数介绍
7、 HDFS运维工具介绍
8、 Hbase服务优化
9、 Hbase表设计
10、 spark服务介绍
离线服务平台介绍 1、 大数据平台架构设计
2、 底层存储服务平台架构设计与应用场景
3、 离线计算框架实现对比
4、 元数据服务治理与数据生命周期管理
5、 统一调度平台设计
6、海量日志处理架构介绍
业务实时监控介绍 1、 流计算框架服务介绍
2、 Storm流计算服务介绍与应用场景
3、 Spark Streaming服务框架介绍与应用场景
4、 Flink服务框架介绍与应用场景
5、 流计算案例分享(天猫双十服务)
6、 58业务数据监控方案设计

Hadoop 集群硬件监控 1、查看集群状态
  • HDFS数据管理
  • Mapreduce 任务管理
  • HDFS安全模式
  • 添加删除节点
  • 数据平衡
  • 文件数据跨集群拷贝
2、 使用Ganglia 监控Hadoop集群
3、 使用Cacti 监控操作系统
4、 使用Zabbix监控
5、 ganglia nagios联合使用分析
6、 集群监控
7、 服务监控运行的进程监控
8、 主机状态监控
9、 主机磁盘存储情况监控
10、网络状况监控
11、ganglia 监控
12、zabbix监控
13、提供的服务监控监控
14、堡垒机监控
15、任务监控
16、任务运行时常、资源数、读取数量、shuffle数量等
17、按人任务按部门的任务汇总
18、队列监控
19、队列下的任务运行历史监控
20、总量超过一个小时的任务列表监控报表
21、数据量监控
22、各个一级部门目录的数据增长量监控

应用案例 1、互联网行业大数据平台的搭建
2、移动手机上网日志分析系统
3、电信业使用hadoop场景分析
4、电商个性化推荐系统

 
1065 次浏览  6 次
其他人还看了课程
金融行业数据分析  336 次浏览
大数据体系实践  245 次浏览
Spark实践培训  1475 次浏览
《企业级Hadoop大数据处理最佳实践》  970 次浏览
数据统计分析方法与工具、实践  1271 次浏览
大数据分析-SparkR  1651 次浏览
定制内训


咨询服务:大数据技术平台构建与应用
咨询目标 帮助客户设计、规划大数据架构
帮助客户建立大数据技术平台,
帮助客户建立大数据分析模型
咨询范围 大数据架构:数据结构模型,存储空间,数据分析模型
大数据技术平台:分布式存储与计算平台,采集工具,分析工具
大数据分析应用案例:分析模型,结果报告
咨询方式 调查分析客户当前的数据资源和使用情况。
为客户设计大数据架构
搭建大数据技术平台
建立大数据分析应用示例。
详情咨询:010-62670969, zhgx@uml.net.cn

最新活动计划
基于Kubernetes的DevOps实践 10-22[北京]
需求分析管理 11-5[北京]
软件开发过程中的质量管理实践 11-16[北京]
人工智能,机器学习和深度学习 11-26 [北京]
业务架构到IT架构(TOGAF9.2认证)11-28[北京]
企业级全栈自动化测试技术 10-16 [上海]
大数据平台架构与应用实战 11-8[上海]
Python及数据分析 11-25 [深圳]
 讲座 数据治理
 讲师:王辉
 时间:2019-10-19
 
某军工研究单位  嵌入式软件架构
某银行  人工智能+Python+大数据
中国机械集团某研究院   基于模型的系统工程(MBSE)
航天科工某子公司  C++中级开发实战(SOUI)
中航工业某研究所  嵌入式软件开发指南
 
 
 

 
每天2个文档/视频
扫描微信二维码订阅
订阅技术月刊
获得每月300个技术资源
 
希望我们的资料可以帮助你学习,也欢迎投稿&提建议给我
频道编辑:sky
邮       件:sky@uml.net.cn

关于我们 | 联系我们 | 京ICP备10020922号 京公海网安备110108001071号