求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
 
   
成功案例
某集成电 多核体系的软件仿真
某电力能 设计模式原理及应用
南方航空 软件设计方法与实践
某跨国公 软件设计原理与实
爱立信( 软件设计
Moto 设计模式
北京 软件设计原理与实践

 
全部课程 >大数据  
数据中台架构与建设培训     
1307 次浏览  4 次
John
高级系统架构师,技术专家委员会架构设计专家
 
地点时间:上海 11月12-13日;北京、深圳根据报名开班
课程费用:5700元/人
试听:数据中台建设
试听:数据中台建设
企业内训:可以根据企业需求,定制内训,详见 内训学习手册



认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    2018年,阿里提出的“数据中台”概念后,各大厂商纷纷效仿,中国的IT产业开始向DT时代转型。然而,什么是数据中台?它与以往的BI商业智能系统、大数据平台与数据仓库有什么不同?又有哪些千丝万缕的联系呢?准确理解数据中台显得尤为重要。只有准确理解数据中台,才能少走弯路,正确构建属于我们自己的数据中台。数据中台要求我们首先转变自己的思维模式和组织方式,以全新的业务模式与技术架构去迎接挑战。为了帮助大家准确理解数据中台概念,制订切实可行的数据中台发展战略,我们特此开设本课程。 本课程首先从数据中台的概念入手,讲解了:

  • 准确理解什么是数据中台?准确理解数据驱动,以及数据价值变现?
  • 如何在数据中台中实践“尽可能采集数据、更好地整理数据、有效地挖掘数据价值”?
  • ?如何将“自顶向下”与“自下而上”向结合,制订切实可行的开展数据中台建设?
  • 然后,从实践地角度讲解了数据中台的技术架构该怎样最终落地到分布式大数据技术上。如何构建大数据技术平台,简化技术开发成本,开展大数据业务。以及,在次基础上,开展更多的数据挖掘、人工智能业务的思路与模式。

    培训特色:本课程注重实战,采用案例贯穿方式完成实践,收集了大量的真实案例,针对项目过程中技术人员常犯的错误进行了汇总,研讨,并最终形成培训教程。通过大量的真实案例,详细地介绍了大数据分析处理技术需要注意的要点以及难点,这些知识都是讲师十几年经验的总结。
    培训对象:
  • 系统架构师、系统分析师、高级程序员、资深开发人员。
  • 牵涉到海量数据处理的机构数据中心运行、规划、设计负责人。
  • 云服务运营服务提供商规划负责人。
  • 高校、科研院所牵涉到数据中台与大数据的项目负责人。
  • 培训目标:
  • 什么是数据中台,数据中台的由来
  • 数据中台怎么支持业务
  • 数据中台需要什么功能
  • 数据中台涉及哪些技术
  • 数据中台如何建设 //结合企业已有资源和技术
  • 数据中台的运营 和管理
  • 学员基础:对大数据技术和相关应用有一定了解
    授课方式: 定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练

    培训内容:2天

    主题 内容
    数据中台的引入 什么是数据中台
    为什么引入数据中台
  • 当前IT建设遇到的瓶颈: 数据分散、数据质量低、数据量大、数据利用率低
  • DAPP的现状
  • 信息化发展趋势:IT---大数据---数据中台

  • 数据中台的应用场景:
  • 持续地将业务数据转变为数据资产,并服务于业务
  • 尽可能多地汇聚业务数据,将数据拉通,形成数据资产
  • 尽可能地挖掘数据价值,用数据驱动业务发展

  • 准确理解数据中台:
    1.数据中台 vs. 业务中台
    2.数据中台 vs. 数据平台
    数据中台的架构 数据中台支持的业务模式
    数据中台的功能结构
    数据中台的服务框架
  • 大数据平台
  • 数据治理
  • 数据仓库
  • 数据采集
  • 数据分析
  • 数据API服务
  • 数据API服务的管理
  • 数据展现
  • 各种数据应用框架和模板
  • 典型数据中台参考架构实例
    数据中台的建设 数据应用的成熟度:
       查询统计、决策支持、数据驱动、运营优化
    数据中台的基本特征:
       覆盖全域数据、结构层次清晰、数据准确一致、降本提效
    数据中台的建设思路:
       自顶而下 vs. 自下而上
    数据中台建设的内容:
    1.数据采集:
  • 数据定义与数据来源
  • 结构化数据采集
  • 非结构化数据采集

  • 2.数据治理:
  • 数据标准化
  • 数据质量管理
  • 案例讲解ETL过程及其实践
  • 案例讲解数据仓库及其实践
  • 案例讲解主题数据模型
  • 大数据存储及其技术架构

  • 3.数据应用:
  • 数据可视化
  • 标签库及其设计实践
  • 数据分析与风控系统
    案例:某发票虚开风险控制系统
  • 4)数据挖掘及其应用
  • 案例:某大数据征信系统建设
  • 5)人工智能
  • 案例:某智慧诊疗系统建设
    数据中台的价值变现:
  • 数字化运营
    案例:某互联网公司的数字化运营
  • 精准营销
  • 案例:某银行信用卡部的精准营销
  • 风险控制
    案例:某发票虚开风险控制系统
  • 信息化服务
    案例:某数据共享平台的建设思路
    数据中台的建设步骤:
  • 现状分析
  • 架构规划
  • 资产治理
  • 数据应用
  • 运营维护
  • 数据中台之大数据生态 传统关系型数据库的设计局限:
  • 数据量
  • 计算能力
  • 数据复杂性

  • 分布式大数据的设计理念
  • 分布式并行计算
  • 移动计算而不是移动数据
  • 分布式计算发展历程与未来趋势
  • 如何进行大数据分析与应用
  • 大数据分析系统的架构设计

  • 大数据的生态圈
  • Hadoop核心组件:MapReduce,HDFS
  • 并行计算框架:Spark vs. MapReduce
  • 在线查询:HBase与Impala
  • 流式计算:Flink vs. Spark Stream
  • 文本索引:Solr vs. ElasticSearch
  • Zookeeper与高可靠架构
  • Kafka分布式队列与日志收集
  • 数据挖掘工具:Mahout、SparkR与Spark ML
  • 数据中台—大数据核心组件 Hadoop的工作原理
  • HDFS的工作原理
  • MapReduce的工作原理
    Spark的工作原理

  • Spark在Hadoop生态圈中的位置
  • Spark vs. MapReduce
  • Spark系统架构与RDD
    • RDD的运行原理
    • 转换/行动 命令
    • 名-值对RDD
    案例:WordCount在Spark中的实现
  • SparkSQL
  • 案例:运用SparkSQL进行大数据开发实践
    数据中台之数据采集 结构化数据采集
  • sqoop工作原理
  • 数据导入功能
    • 1)导入成HDFS、Hive、HBase
    • 增量导入
    实战:数据导入的实战应用
  • 3.数据导出功能
    • 1)导出成HDFS、Hive、HBase
    • 2)增量导出
    实战:数据导出的实战应用
    非结构化数据采集
  • 批处理 vs. 实时分析
  • 实时分析系统应用实战
  • 这些核心技术可以采用框架和组件
    • SparkStreaming及其原理
    • Kafka及其原理
    • Kafka+SparkStreaming的应用实战
    案例:用户行为分析应用举例
    数据中台之数据治理 大数据查询
  • 离线分析、在线查询与近线分析
  • NoSQL数据库
    • 分布式架构CAP理论
    • BASE原则与弱一致性
    • NoSQL数据库的特点与优势
    HBase的工作原理
  • HBase的概念模型
  • HBase的物理模型
  • HBase的列式存储
  • HBase的系统架构
  • HBase存储数据的特点

  • HBase的开发实战
    数据索引
  • ElasticSearch的性能分析与特点
  • ElasticSearch的应用实战
    • 建立ElasticSearch的Hive映射表
    • 往ElasticSearch中写入数据
    • 用REST接口进行海量数据秒级查询
  • ElasticSearch应用开发应注意的问题

  • 大数据分析
  • 多维数据建模
  • Kylin的工作原理
  • Kylin的开发实战
    • Kylin的数据导入
    • 建立数据模型
    • 建立Cube
    • 使用jdbc进行数据查询
  • Kylin的性能优化
    • Kylin的数据膨胀率
    • 强制索引、层级索引与组合索引
    • Kylin的增量导入脚本
    数据中台的运营与应用 数据可视化
  • 数据可视化的概念与作用
  • 数据可视化的建设过程

  • 案例:网络运营商固网大数据监控系统建设过程
    数据风控
  • 1.风控系统的建设思路
  • 2.风控系统的架构设计

  • 案例:税务系统虚开发票风险监控系统建设过程
    数字化运营
  • 1.数字化运营建设思想与概念
  • 2.数字化运营建设思路与步骤

  • 案例:用户行为分析与数字化运营的建设过程
    数据挖掘与人工智能
  • 数据挖掘算法及其原理
  • 数据挖掘过程及其人员配置
  • SparkML简介

  • 案例:远程智慧医疗平台的人工智能建设过程
     
    1307 次浏览  4 次
    其他人还看了课程
    数据可视化方法与实践  488 次浏览
    金融行业数据分析  529 次浏览
    大数据体系实践  398 次浏览
    Spark实践培训  1621 次浏览
    《企业级Hadoop大数据处理最佳实践》  1193 次浏览
    Apache Kylin大数据分析和机器学习应用实战  124 次浏览
    定制内训


    咨询服务:架构评估与优化
    咨询目标
    对现有的架构进行评估,发现问题,并优化
    咨询范围 业务架构,应用架构,数据架构,技术架构
    咨询方式 对现有架构进行建模,然后诊断问题,对问题进行集成分析,设计优化方案,指导团队实施优化,最终效果评估。
    成功案例 中国移动广西分公司,中国电信
    详情咨询:010-62670969, zhgx@uml.net.cn

    最新活动计划
    MBSE(基于模型的系统工程) 10-20[北京]
    软件详细设计、建模与编档 11-1[北京]
    人工智能、机器学习& TensorFlow 11-5[北京]
    需求分析最佳实践与沙盘演练 11-11[北京]
    产品经理与产品管理 11-18[北京]
    软件架构设计方法、案例与实践 10-22[上海]
    云计算、微服务与分布式架构 10-28[上海]
    大数据平台搭建与高性能计算 10-29[上海]
     讲座 基于模型的质量管理
     讲师:俎涛
     时间:2020年10月25日