求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某集成电 多核体系的软件仿真
某电力能 设计模式原理及应用
南方航空 软件设计方法与实践
某跨国公 软件设计原理与实
爱立信( 软件设计
Moto 设计模式
北京 软件设计原理与实践

 

全部课程 >大数据  
ELK应用架构与实践方法
266 次浏览  16 次
徐老师
58同城,高级架构师
 
地点时间: 北京 上海 深圳根据报名开班
课程费用:5000元/人,详见 公开课学习手册
报公开课  
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


    课程讲解大数据搜索与分布式消息解决方案( ELK+Kafka),结合大型互联网应用案例讲解。 ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。Logstash是ELK的中央数据流引擎,用于从不同目标(文件/数据存储/MQ)收集的不同格式数据,经过过滤后支持输出到不同目的地(文件/MQ/redis/elasticsearch/kafka等)。Kibana可以将elasticsearch的数据通过友好的页面展示出来,提供实时分析的功能。 本课程讲解ELK的应用架构构建方法、工作原理,以便能够使用ELK进行日志分析以及其它任何数据分析和收集的场景。
培训目标:
  • 了解ELK应用架构原理
  • 了解Elasticsearch的功能和应用方法
  • 了解logstash的功能和应用方法
  • 了解Kibana的功能和应用方法
  • 使用ELK进行日志分析等案例实践。
  • 学习Kafka数据传输
培训对象:网站架构师,运维架构师
学员基础:熟悉java编程,了解应用日志的监控
授课方式:定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容:2天

一、elasticsearch-es
  • es 架构和原理
  • es 的安装
  • 数据的获取
  • 创建、添加和删除索引
  • 文档搜索、简单检索、DSL语句查询、短语检索
  • 二、分布式CRUD
  • 新建、索引和删除
  • 检索
  • 局部更新
  • 批量请求
  • 批量格式
  • 三、搜索
  • 空搜索
  • 多索引和类型
  • 分页
  • 查询字符串
  • 四、映射和分析
  • 数据类型差异
  • 倒序索引
  • 分析
  • 映射
  • 复合类型
  • 五、索引管理
  • 创建和删除
  • 设置
  • 配置分析器
  • 自定义分析器
  • 映射
  • 根对象
  • 元数据source、All和ID字段
  • 动态映射
  • 自定义动态映射
  • 六、elasticsearch的高级实战
  • es的索引优化
  • es集群健康监控
  • 故障转移
  • 优化
  • es第三方常用插件介绍
  • 七、logstash架构与应用
  • logstash架构和原理
  • logstash 安装
  • input plugin介绍
  • — Http插件
  • — log4j插件
  • fliter plugin介绍
  • output plugin介绍
  • 八、Kibana架构与应用
  • Kibana架构和原理
  • Kibana安装
  • Kibana+logstash+es实战
  • 九、Kafka数据传输
  • kafka概述
  • kafka是什么
  • kafka概念详解:Topics/logs、Distributitions、Producers、Consumers、Guarantees。
  • kafka的应用场景
  • kafka的体系架构与设计原理
  • 消息持久化
  • 生产者与消费者
  • 消息传输机制
  • 复制备份
  •    
    266 次浏览  16 次
    其他人还看了课程
    大数据落地技术系列课程  1907 次浏览
    企业数字化转型(数据治理、分析&应用)  111 次浏览
    数据驱动:数字化转型策略与落地实践  150 次浏览
    《企业级Hadoop大数据处理最佳实践》  1283 次浏览
    Apache Kylin大数据分析和机器学习应用实战  287 次浏览
    数据治理与数据中台管理  366 次浏览
    定制内训


    咨询服务:架构评估与优化
    咨询目标
    对现有的架构进行评估,发现问题,并优化
    咨询范围 业务架构,应用架构,数据架构,技术架构
    咨询方式 对现有架构进行建模,然后诊断问题,对问题进行集成分析,设计优化方案,指导团队实施优化,最终效果评估。
    成功案例 中国移动广西分公司,中国电信
    详情咨询:010-62670969, zhgx@uml.net.cn
    最新活动计划
    基于Kubernetes的DevOps实践 4-22[北京]
    需求分析与管理 4-23[北京]
    大数据平台搭建与高性能计算 4-27[北京]
    基于UML和EA进行系统分析设计 4-28[北京]
    人工智能、机器学习&TensorFlow 4-16[上海]
    大数据分析、AI算法与可视化技术实战 4-22[上海]