结盟众多企业“教练”, 共同设计、开发及提供人才培养解决方案,通过新颖多样的学习方式,针对性的定制化内容,助力企业全面提升竞争优势。
刘刚
2天
4800
课程模块 | 课程主题 | 主要内容 |
---|---|---|
模块一 | 数据治理范围 |
大数据平台数据建设中存在的问题 数据治理面临的挑战 数据的多元化 数据的复杂性 数据的完整性 数据生命周期管理 统一元数据管理 数据集成方法 数据安全 数据湖架构 基于大数据平台的数据建模 RMDBS数据的增量实时同步采集 |
模块二 | 数据质量管理 |
数据质量管理的范围 数据质量评估的维度 数据质量的维护管理 数据质量的改进管理 数据质量管理模型 数据质量管理的监控 案例演示 |
模块三 | 元数据管理 |
元数据概念 Hadoop平台元数据处理面临的问题 元数据注册机制 元数据的统一管理 元数据一致性管理 数据字典的概念 元数据的添加和需改管理 基于Hadoop平台元数据处理方案 |
模块四 | 数据生命周期管理 |
数据质量 数据标准 数据生命周期管理的重要性 数据生命周期的概念 开源Falcon解决那些问题 Falcon架构和原理 Falcon实战 Falcon+HDFS、Hive实战 Falcon+Oozie实战 |
模块五 | 数据湖 |
数据湖定义 数据湖里面数据存储格式 数据湖实现的步骤 HDFS、Hive等实现数据湖 数据湖分区(LCRD) LCRD详解 某大型银行基于Hadoop的数据湖实战解析 |
模块六 | 测试数据环境的搭建 |
测试数据的准备 测试数据的脱敏机制 数据脱敏的方法 数据关联的脱敏机制 测试环境搭建的要求 测试环境性能的评估原则 |
模块七 | 数据仓库的敏捷开发 |
敏捷开发的含义 敏捷数据仓库的定义 为什么需要敏捷数据仓库 敏捷数据仓库和传统数据仓库的区别 敏捷数据仓库实现的模型 在Hadoop上面实现敏捷数据仓库的思路 |
模块八 | 案例分析 |
Hadoop之上数据仓库案例解析 数据湖案例解析和演示 |