结盟众多企业“教练”, 共同设计、开发及提供人才培养解决方案,通过新颖多样的学习方式,针对性的定制化内容,助力企业全面提升竞争优势。
Peter彭
2天
5200元/人
分布式技术是互联网企业最核心的技术,在大数据、云计算理念的推动下,各种分布式技术产品层出不穷。Hadoop还没学完,Storm就来了;Storm刚学会安装配置,Spark、Hama、Yarn等又一起出现了;同时国内外各大云平台厂商,如Google、亚马逊、阿里云等,还在推各自应用开发平台……要学习的东西太多了,刚学会了某个产品的安装配置与开发步骤,没多久它又过时了。这么多千姿百态的分布式技术产品背后有没有某些共性的东西呢?能否掌握背后的精髓呢,有没有可能学一反三,学一招应万招,牢牢掌握好技术的船舵而不会过时。一般互联网企业的分布式存储计算系统都是个大平台,系统复杂、代码庞大,而且只适合公司的业务,工程师很难下载安装到自己的电脑里学习和吃透。本课程从作者多年实战经验出发,对分布式核心技术进行了大量归纳和总结,涉及了分布式主要功能的方方面面,并从中抽取出一套简化的框架思想和编程API来帮助落地,你会感慨原来分布式技术可以如此简单的实现,如此轻松的上手...
面向群体:初中高级工程师,企业架构人员,数据库/存储技术人员,技术决策/解决方案人员等。
一、分布式技术体系概述
1.分布式计算、并行计算、云计算概述
2.分布式产品hadoop、zookeeper、hbase概述
二、分布式并行计算原理和设计
1、最初想到的master-slave结构
2、“包工头-职介所-手工仓库-工人”简化模式
3、基于消息中枢的计算模式
4、基于网状直接交互的计算模式
5、并行结合串行模式
6、批量多阶段处理模式
7、计算集群模式和兼容遗留计算系统
8、工人计算的服务化模式
9、storm流处理计算架构解析
10、简化的实时流处理计算模式
11、跟hadoop map/reduce的区别
12、初级应用:动手跑一个基本例子(动手)
13、中级应用:计算节点互相交互的完整例子(动手)
15、相关架构探讨(需求、运维、故障、优化等)
三、分布式协调原理和设计
1、协调架构原理简介
2、权限机制
3、相对于zookeeper的区别
4、与paxos算法的区别
7、实践应用:领导者选举和应用(动手)
8、相关架构探讨(需求、运维、故障、优化等)
四、分布式缓存架构和实现
1、小型网站或企业应用的缓存实现架构
2、大型分布式缓存系统实现过程
3、相关架构探讨(需求、运维、故障、优化等)
五、分布式文件系统架构和实现
1、简化的分布式文件系统架构
2、如何设计和利用集群分布式文件解决计算数据存储问题
3、访问集群文件根目录
4、访问和操作远程文件
5、集群内文件复制和并行复制
6、读写远程文件
7、解析远程文件
8、并行读写远程文件
9、批量并行读写远程文件和事务补偿处理
10、相关架构探讨(需求、运维、故障、优化等)
六、分布式k/v数据库存储技术的变革
数据库作为企业信息系统的最基础软件,面临着分布式存储、nosql、k/v、并行数据库等创新技术的冲击
1、从关系数据库架构到k/v数据库架构
2、缓存和持久存储在越来越接近
3、kv nosql数据库和文档nosql数据库
4、百万吞吐量的新型并行数据库CoolHash架构
5、动手体验(易用性、功能、性能)
6、相关架构探讨(需求、运维、故障、优化等)