|
|
|
|
全部课程 >大数据 |
|
Apache Kylin平台应用与实操 |
2700 次浏览 54 次
|
|
|
|
Aeron |
某大型知名企业首席大数据架构,精通大数据分析技术平台的构建与应用。 |
|
|
|
时间地点:北京 上海 深圳根据报名开班 |
课程费用:5000元/人
|
|
|
|
企业内训:可以根据企业需求,定制内训,详见
内训学习手册 |
|
|
认证方式:
培训前了解能力模型。
培训后进行能力评测:
在线考试
能力分析,给出学习建议
合格者颁发证书,作为职业技能资格证明
|
|
|
|
大数据时代,众多的企业已经开始使用Hadoop管理数据,但是利用Hadoop做数据分析依然存在诸多不便,如大多数分析师更习惯使用SQL进行数据分析,而非编写Hadoop
MapReduce程序,即使编写MapReduce程序也难以实现快速交互式查询分析等。Apache
Kylin正是为了解决这些问题而设计的。Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力,并支持超大规模数据,能够处理TB乃至PB级别的分析任务,能够在亚秒级查询巨大的Hive表,并支持高并发。Kylin现已支持与Tableau、Excel、Power
BI等业务分析工具集成与交互,弥补业务分析工具的不足,如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持等。
本课程将结合实际案例讲解Kylin架构原理,部署、使用、运维管理方法,以便让学员能够完成基于Kylin的业务分析、业务设计、商业决策的完整案例
|
培训目标: |
1、深入剖析大数据OLAP工具Kylin的发展现状以及将来发展趋势;
2、使学员彻底理解Kylin的架构原理、核心实现技术;
3、使学员掌握Kylin的部署与使用方法;
4、使学员具备Kylin的运维管理,包括安全与备份;
5、使学员具备使用Kylin解决企业数据分析问题的能力;
6、使学员具备使用Kylin进行辅助企业精细化管理、战略决策的能力;
7、使学员课上完成Kylin的业务分析、业务设计、商业决策的完整案例;
|
培训对象:想深入学习大数据分析与在线查询的人员;大型集团公司、大型网站、电商网站等数据分析人员; |
学员基础:了解数据分析基本概念,最好有一定经验 |
授课方式: 定制课程 + 案例讲解
+ 小组讨论,60%案例讲解,40%实践演练 |
培训内容:2天
|
Kylin概述 |
1、什么是Kylin
2、Kylin特征剖析
3、Kylin架构剖析
4、Kylin的设计思路
5、Kylin工作原理
6、Kylin开发模型:引擎、数据源、数据存储
7、Kylin课程的前提假设
8、Kylin适合的业务场景剖析
9、Kylin的发展趋势分析
10、Kylin的业务选型
11、SQL接口
12、大数据OLAP引擎
13、大数据低延迟访问
14、可扩展的吞吐量 |
OLAP模型设计、关元素、多维分析的操作方法 |
1、事实表
2、维表
3、数据立方体的层
4、ROLAP与多维数据库
5、OLAP与OLTP的区别
6、多维数据库与数据仓库的关系
7、OLAP模型搭建(多维模型)
8、确定维度、量度与事实表的关系
9、OLAP的应用场景 |
Kylin
Cube建立和Job监控 |
1、物化视图
2、OLAP Cube时空交换
3、Kylin插件架构
4、Cube的设计
5、Cube的构建
6、Kylin快速Cube
7、Kylin内存Cube
8、Kylin并行扫描
9、Cube的查询
10、近实时增量构建
11、Kylin流式Cube
12、Cube自动合并
13、任务管理
14、Job监控
15、案例:电子产品销售数据立方体设计、构建实例分享 |
Kylin的关键参数及调优 |
1、Kylin
Cube的常用优化方法和策略
2、Kylin Cube的层级优化
3、Kylin Cube的衍生列优化
4、用户自定义聚合函数
5、深入剖析:如何建立一个稳定有效的Kylin + HBase + Hadoop的集群,集群的优化,管理和调优
6、基于实践的Kylin集群,Kylin Cube本身的性能优化 |
Kylin的安全特性 |
1、启用LDAP安全
2、使LDAP认证
3、配置LDAP服务器信息
4、配置管理员组和默认角色 |
Kylin
Cube权限管理 |
1、Cube查询权限
2 、Cube操作权限
3 、Cube管理权限
4 、Cube管理员
5 、给用户授权
6 、给角色授权
|
Kylin的高级特性 |
1、自由可扩展性
2、灵活性
3、使用RESTful API构建立方体
4、JavaScript使用RESTful API
5、使用RESTful API |
Kylin学习环境启动与运行 |
1、启动Kylin虚拟机环境
2、运行Kylin内置案例 |
Kylin网页版使用 |
1、登录Kylin
2、查看Kylin可用的Hive表
3、Kylin OLAP Cube
4、编写与执行SQL
5、Kylin分析与可视化
6、数据导出为CSV
7、条形图
8、饼图
9、拆线图 |
Tableau与Kylin集成实现数据分析 |
1、通过ODBC、JDBC与BI工具集成
2、Tableau安装
3、安装Kylin JDBC Driver
4、安装Kylin ODBC Driver
5、Tableau连接Kylin Server
6、影射数据模型
7、自定义SQL查询
8、Tableau数据可视化
9、发布数据至Tableau服务器
10、使用单个表或者多个表 |
课堂实操案例:电子产品销售数据立方体设计、构建 |
在课堂上老师带领学员完成Kylin的完整使用流程,包括Kylin的选型剖析、数据准备、数据模型的设计、数据立方体构建、业务的需求的查询等
1、业务背景介绍
2、企业遇到的问题分析
3、企业需求分析
4、Kylin技术选型
5、样本数据介绍
6、数据准备
7、Kylin数据模型设计
8、Kylin数据立方体构建
9、业务需求查询
10、按年、季度、月、日统计手机产品的销量情况
11、将统计结果数据可视化
12、将统计结果做拟合,预测下一阶段的销售量,并做采购决策
13、商务智能
14、将分析结果与市场数据对比分析
15、市场数据的监控与反馈 |
Excel及Power
BI与Kylin集成 |
1.安装Kylin
ODBC Driver
2.Kylin与Excel集成
3.执行SQL查询
4.Kylin与Power BI集成
5.数据可视化
6.Kylin与Zeppelin集成 |
Kylin
Client Tool使用 |
1、安装Kylin
Client Tool
2、配置Kylin Client Tool
3、命令行介绍
4、创建Cube
5、 构建Cube
6、Job管理 |
Kylin的日常维护和灾备 |
1、Backup
Metadata
2、使用二进制包备份元数据
3、使用二进制包恢复元数据
4、升级至新版本
5、清理存储(HDFS & HBase Tables) |
|
|
|
|
|
|
|
|
2700 次浏览 54 次
|
其他人还看了课程 |
|
|
|
|
|
咨询目标
|
对客户的数据库进行性能评价,设计优化,管理优化 |
咨询范围 |
数据库性能评价,数据库结构优化,数据访问SQL优化。 |
咨询方式 |
现有数据库调查,问题诊断,性能评价。
对数据库进行逻辑结构优化,对数据库进行访问SQL优化。
建立数据库运行监控平台。运行监控与优化方法指导。 |
成功案例 |
建设银行,中国农业银行,中国工商银行,中航信 |
详情咨询:010-62670969, zhgx@uml.net.cn
|
|
|
|
|
|