致力于提升研发企业的持续创新能力
结盟众多企业“教练”， 共同设计、开发及提供人才培养解决方案，通过新颖多样的学习方式，针对性的定制化内容，助力企业全面提升竞争优势。
结盟众多企业“教练”， 共同设计、开发及提供人才培养解决方案，通过新颖多样的学习方式，针对性的定制化内容，助力企业全面提升竞争优势。
刘刚
3天
5200元
当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架，已经广为人知，且得到了广泛的应用，但MapReduce自身存在很多问题，包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下，不能很好地利用内存资源，编程复杂度较高等。为了克服MapReduce的众多问题，新型计算框架出现了。
本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程，涉及Spark、Hadoo系统基础知识，概念及架构， Spark、Hadoo实战技巧，Spark、Hadoo经典案例等。
通过本课程实践，帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识；理解Spark、Hadoo系统适用的场景；掌握Spark、Hadoo等初中级应用开发技能；搭建稳定可靠的Spar、Hadoo k集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。
了解Linux系统及相关语言环境
| 主题 | 内容 | |
|---|---|---|
| Spark生态介绍 |
Mapreduce、storm和spark模型的比较和使用场景介绍 Spark产生背景 Spark（内存计算框架） SparkSteaming（流式计算框架） Spark SQL（ad-hoc） Mllib（MachineLearning） GraphX（bagel将被代） DlinkDB介绍 SparkR介绍 |
|
| Spark安装部署 |
Spark安装简介 Spark的源码编译 Spark Standalone安装 Spark Standalone HA安装 Spark应用程序部署工具spark-submit Spark的高可用性部署 |
|
| Spark运行架构和解析 |
Spark的运行架构 • 基本术语 • 运行架构 • Spark on Standalone运行过程 • Spark on YARN 运行过程 Spark运行实例解析 • Spark on Standalone实例解析 • Spark on YARN实例解析 |
|
| Sparkscala编程 |
• Scala基本语法 • Scala开发环境搭建 • Scala开发Spark应用程序 • 使用java编程 • 使用scala编程 • 使用python编程 |
|
| Spark编程模型和解析 |
Spark的编程模型 • Spark编程模型解析 • RDD的特点、操作、依赖关系 • Spark应用程序的配置 |
|
| Spark Streaming原理和实践 |
Spark Streaming与Strom的区别 Kafka的部署 Kafka与Spark Streaming的整合 Spark Streaming原理 • Spark流式处理架构 • DStream的特点 • Dstream的操作和RDD的区别 • Spark Streaming的优化 Spark Streaming实例 • 文本实例 • 网络数据处理 • Kafka+Spark Streaming实现日志的实时分析案例 |
|
| Spark SQL原理和实践 |
" Spark SQL原理 • Spark SQL的Catalyst优化器 • Spark SQL内核 • Spark SQL和Hive Spark SQL的实例和编程 • Spark SQL的实例操作demo • Spark SQL的编程 • DataFrame架构和原理 • DataFrame支持的统计和数学函数介绍 • 从RDD创建DataFrame • 从Hive表创建DataFrame • 从数据源创建DataFrame" |
|
| Spark的数据源 |
Spark与HDFS的整合 HDFS RDD原理和实现 Spark与Hbase的整合 Spark与Cassendera整合 Hbase RDD的分区读取 Hbase RDD的原理和实现 Spark parallelism RDD的工作机制 |
|
| Spark 数据挖掘 |
Mllib的介绍 graphX核心原理 table operator和graph operator区别 vertices、edges和triplets介绍 构建一个graph SparkR原理 SparkR实战 |
|
| 典型项目案例实战 |
基于spark日志分析 个性化推荐系统：带你揭开其神秘面纱 在线投放引擎 揭开淘宝点击推荐系统的神秘面纱 淘宝数据服务架构—实时计算平台 |
|
| Spark的优化 |
序列化优化——Kryo Spark参数优化实战 Spark 任务的均匀分布策略 Partition key倾斜的解决方案 Spark任务的监控 GC的优化 Spark Streaming吞吐量优化 Spark RDD使用内存的优化策略 Spark在使用中的感想分享 |
|
