求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某集成电 多核体系的软件仿真
某电力能 设计模式原理及应用
南方航空 软件设计方法与实践
某跨国公 软件设计原理与实
爱立信( 软件设计
Moto 设计模式
北京 软件设计原理与实践

 

全部课程 >大数据  
ELK应用架构与实践方法
419 次浏览  18 次
徐老师
58同城,高级架构师
 
地点时间: 北京 上海 深圳根据报名开班
课程费用:5000元/人,详见 公开课学习手册
报公开课  
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


    课程讲解大数据搜索与分布式消息解决方案( ELK+Kafka),结合大型互联网应用案例讲解。 ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。Logstash是ELK的中央数据流引擎,用于从不同目标(文件/数据存储/MQ)收集的不同格式数据,经过过滤后支持输出到不同目的地(文件/MQ/redis/elasticsearch/kafka等)。Kibana可以将elasticsearch的数据通过友好的页面展示出来,提供实时分析的功能。 本课程讲解ELK的应用架构构建方法、工作原理,以便能够使用ELK进行日志分析以及其它任何数据分析和收集的场景。
培训目标:
  • 了解ELK应用架构原理
  • 了解Elasticsearch的功能和应用方法
  • 了解logstash的功能和应用方法
  • 了解Kibana的功能和应用方法
  • 使用ELK进行日志分析等案例实践。
  • 学习Kafka数据传输
培训对象:网站架构师,运维架构师
学员基础:熟悉java编程,了解应用日志的监控
授课方式:定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练
培训内容:2天

一、elasticsearch-es
  • es 架构和原理
  • es 的安装
  • 数据的获取
  • 创建、添加和删除索引
  • 文档搜索、简单检索、DSL语句查询、短语检索
  • 二、分布式CRUD
  • 新建、索引和删除
  • 检索
  • 局部更新
  • 批量请求
  • 批量格式
  • 三、搜索
  • 空搜索
  • 多索引和类型
  • 分页
  • 查询字符串
  • 四、映射和分析
  • 数据类型差异
  • 倒序索引
  • 分析
  • 映射
  • 复合类型
  • 五、索引管理
  • 创建和删除
  • 设置
  • 配置分析器
  • 自定义分析器
  • 映射
  • 根对象
  • 元数据source、All和ID字段
  • 动态映射
  • 自定义动态映射
  • 六、elasticsearch的高级实战
  • es的索引优化
  • es集群健康监控
  • 故障转移
  • 优化
  • es第三方常用插件介绍
  • 七、logstash架构与应用
  • logstash架构和原理
  • logstash 安装
  • input plugin介绍
  • — Http插件
  • — log4j插件
  • fliter plugin介绍
  • output plugin介绍
  • 八、Kibana架构与应用
  • Kibana架构和原理
  • Kibana安装
  • Kibana+logstash+es实战
  • 九、Kafka数据传输
  • kafka概述
  • kafka是什么
  • kafka概念详解:Topics/logs、Distributitions、Producers、Consumers、Guarantees。
  • kafka的应用场景
  • kafka的体系架构与设计原理
  • 消息持久化
  • 生产者与消费者
  • 消息传输机制
  • 复制备份
  •    
    419 次浏览  18 次
    其他人还看了课程
    Apache Kylin平台应用与实操  1350 次浏览
    大数据工具Flume&Kafka集成实践  1228 次浏览
    大数据架构设计实战演练  2376 次浏览
    大数据搜索框架(ElasticSearch)与应用  2009 次浏览
    Hadoop与Spark大数据架构专题  5855 次浏览
    深入浅出学Zookeeper   941 次浏览
    定制内训


    咨询服务:架构评估与优化
    咨询目标
    对现有的架构进行评估,发现问题,并优化
    咨询范围 业务架构,应用架构,数据架构,技术架构
    咨询方式 对现有架构进行建模,然后诊断问题,对问题进行集成分析,设计优化方案,指导团队实施优化,最终效果评估。
    成功案例 中国移动广西分公司,中国电信
    详情咨询:010-62670969, zhgx@uml.net.cn
    最新活动计划
    配置管理方法、实践与应用 10-11[北京]
    持续集成测试与最佳实践 10-23[北京]
    嵌入式软件架构设计与实例 10-25[北京]
    嵌入式linux内核、开发、优化 10-28[北京]
    高可用架构设计与实践 10-29[北京]
    C#高级开发技术 11-8[北京]