致力于提升研发企业的持续创新能力

结盟众多企业“教练”, 共同设计、开发及提供人才培养解决方案,通过新颖多样的学习方式,针对性的定制化内容,助力企业全面提升竞争优势。

课程分类列表

Spark实战课程
课程类别:大数据

课程讲师:

刘刚

课程周期:

3天

课程费用:

6000元

课程特色:

当下是大数据时代,为构建大数据平台,技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架,已经广为人知,且得到了广泛的应用,但MapReduce自身存在很多问题,包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下,不能很好地利用内存资源,编程复杂度较高等。为了克服MapReduce的众多问题,新型计算框架出现了。

目标收益:

本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程,涉及Spark、Hadoo系统基础知识,概念及架构, Spark、Hadoo实战技巧,Spark、Hadoo经典案例等。

通过本课程实践,帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识;理解Spark、Hadoo系统适用的场景;掌握Spark、Hadoo等初中级应用开发技能;搭建稳定可靠的Spar、Hadoo k集群,满足生产环境的标准;了解和清楚大数据应用的几个行业中的经典案例,包括阿里巴巴,华为等。

培训对象:
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。

学员基础:

了解Linux系统及相关语言环境。
主题 内容
Spark 生态介绍  Mapreduce、storm和spark模型的比较和使用场景介绍
 Spark产生背景
 Spark(内存计算框架)
 SparkSteaming(流式计算框架)
 Spark SQL(ad-hoc)
 Mllib(MachineLearning)
 GraphX(bagel将被代)
 DlinkDB介绍
 SparkR介绍
Spark安装部署  Spark安装简介
 Spark的源码编译
 Spark Standalone安装
 Spark Standalone HA安装
 Spark应用程序部署工具spark-submit
 Spark的高可用性部署
Spark运行架构和解析  Spark的运行架构
• 基本术语
• 运行架构
• Spark on Standalone运行过程
• Spark on YARN 运行过程
 Spark运行实例解析
• Spark on Standalone实例解析
• Spark on YARN实例解析
Sparkscala编程 • Scala基本语法
• Scala开发环境搭建
• Scala开发Spark应用程序
• 使用java编程
• 使用scala编程
• 使用python编程
Spark
编程模型和解析
 Spark的编程模型
• Spark编程模型解析
• RDD的特点、操作、依赖关系
• Spark应用程序的配置
SparkStreaming原理和实践  Spark Streaming与Strom的区别
 Kafka的部署
 Kafka与Spark Streaming的整合
 Spark Streaming原理
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别
• Spark Streaming的优化
 Spark Streaming实例
• 文本实例
• 网络数据处理
• Kafka+Spark Streaming实现日志的实时分析案例
Spark SQL原理和实践  Spark SQL原理
• Spark SQL的Catalyst优化器
• Spark SQL内核
• Spark SQL和Hive
 Spark SQL的实例和编程
• Spark SQL的实例操作demo
• Spark SQL的编程
• DataFrame架构和原理
• DataFrame支持的统计和数学函数介绍
• 从RDD创建DataFrame
• 从Hive表创建DataFrame
• 从数据源创建DataFrame
Spark的数据源  Spark与HDFS的整合
 HDFS RDD原理和实现
 Spark与Hbase的整合
 Spark与Cassendera整合
 Hbase RDD的分区读取
 Hbase RDD的原理和实现
 Spark parallelism RDD的工作机制
Spark 数据挖掘  Mllib的介绍
 graphX核心原理
 table operator和graph operator区别
 vertices、edges和triplets介绍
 构建一个graph
 SparkR原理
 SparkR实战
典型项目
案例实战
 基于spark日志分析
 个性化推荐系统:带你揭开其神秘面纱
 在线投放引擎
 揭开淘宝点击推荐系统的神秘面纱
 淘宝数据服务架构—实时计算平台
Spark的优化  序列化优化——Kryo
 Spark参数优化实战
 Spark 任务的均匀分布策略
 Partition key倾斜的解决方案
 Spark任务的监控
 GC的优化
 Spark Streaming吞吐量优化
 Spark RDD使用内存的优化策略
 Spark在使用中的感想分享
找到所需课程了吗?即刻 填写申请表格 与我们联络吧