致力于提升研发企业的持续创新能力

结盟众多企业“教练”, 共同设计、开发及提供人才培养解决方案,通过新颖多样的学习方式,针对性的定制化内容,助力企业全面提升竞争优势。

课程分类列表

分布式核心技术原理和实践
课程类别:大数据

分布式

课程讲师:

Peter彭

课程周期:

2天

课程费用:

5200元/人

分布式技术是互联网企业最核心的技术,在大数据、云计算理念的推动下,各种分布式技术产品层出不穷。Hadoop还没学完,Storm就来了;Storm刚学会安装配置,Spark、Hama、Yarn等又一起出现了;同时国内外各大云平台厂商,如Google、亚马逊、阿里云等,还在推各自应用开发平台……要学习的东西太多了,刚学会了某个产品的安装配置与开发步骤,没多久它又过时了。这么多千姿百态的分布式技术产品背后有没有某些共性的东西呢?能否掌握背后的精髓呢,有没有可能学一反三,学一招应万招,牢牢掌握好技术的船舵而不会过时。一般互联网企业的分布式存储计算系统都是个大平台,系统复杂、代码庞大,而且只适合公司的业务,工程师很难下载安装到自己的电脑里学习和吃透。本课程从作者多年实战经验出发,对分布式核心技术进行了大量归纳和总结,涉及了分布式主要功能的方方面面,并从中抽取出一套简化的框架思想和编程API来帮助落地,你会感慨原来分布式技术可以如此简单的实现,如此轻松的上手...

面向群体:初中高级工程师,企业架构人员,数据库/存储技术人员,技术决策/解决方案人员等。



一、分布式技术体系概述

1.分布式计算、并行计算、云计算概述

2.分布式产品hadoop、zookeeper、hbase概述

 

二、分布式并行计算原理和设计

1、最初想到的master-slave结构

2、“包工头-职介所-手工仓库-工人”简化模式

3、基于消息中枢的计算模式

4、基于网状直接交互的计算模式

5、并行结合串行模式

6、批量多阶段处理模式

7、计算集群模式和兼容遗留计算系统

8、工人计算的服务化模式

9、storm流处理计算架构解析

10、简化的实时流处理计算模式

11、跟hadoop map/reduce的区别

12、初级应用:动手跑一个基本例子(动手)

13、中级应用:计算节点互相交互的完整例子(动手)

15、相关架构探讨(需求、运维、故障、优化等)

 

三、分布式协调原理和设计

1、协调架构原理简介

2、权限机制

3、相对于zookeeper的区别

4、与paxos算法的区别

7、实践应用:领导者选举和应用(动手)

8、相关架构探讨(需求、运维、故障、优化等)

 

四、分布式缓存架构和实现

1、小型网站或企业应用的缓存实现架构

2、大型分布式缓存系统实现过程

3、相关架构探讨(需求、运维、故障、优化等)

 

五、分布式文件系统架构和实现

1、简化的分布式文件系统架构

2、如何设计和利用集群分布式文件解决计算数据存储问题

3、访问集群文件根目录

4、访问和操作远程文件

5、集群内文件复制和并行复制

6、读写远程文件

7、解析远程文件

8、并行读写远程文件

9、批量并行读写远程文件和事务补偿处理

10、相关架构探讨(需求、运维、故障、优化等)

 

六、分布式k/v数据库存储技术的变革

数据库作为企业信息系统的最基础软件,面临着分布式存储、nosql、k/v、并行数据库等创新技术的冲击

1、从关系数据库架构到k/v数据库架构

2、缓存和持久存储在越来越接近

3、kv nosql数据库和文档nosql数据库

4、百万吞吐量的新型并行数据库CoolHash架构

5、动手体验(易用性、功能、性能)

6、相关架构探讨(需求、运维、故障、优化等)

找到所需课程了吗?即刻 填写申请表格 与我们联络吧