结盟众多企业“教练”, 共同设计、开发及提供人才培养解决方案,通过新颖多样的学习方式,针对性的定制化内容,助力企业全面提升竞争优势。
Peter彭
1.5天
4000元/人
课程内容
主要讲解大数据计算的技术架构原理和实践:分布式计算是大数据分析应用最广泛最基础的核心技术,本课程聚焦分布式并行计算(map/reduce)、实时流计算、内存计算、BSP计算等架构和落地实现,动手掌握分布式计算设计思想,并穿插金融行业应用案例。
主题 | 内容 | |
---|---|---|
分布式技术体系概述 |
1 分布式计算、并行计算、云计算、大数据概述 2.分布式产品hadoop、zookeeper、hbase概述 |
|
分布式并行计算原理和设计 |
1、最初想到的master-slave结构 2、“包工头-职介所-手工仓库-工人”简化模式 3、基于消息中枢的计算模式 4、基于网状直接交互的计算模式 5、并行结合串行模式 6、批量多阶段处理模式 7、计算集群模式和兼容遗留计算系统 8、工人计算的服务化模式 9、storm流处理计算架构解析 10、简化的实时流处理计算模式 11、跟hadoop map/reduce的区别 12、初级应用:动手跑一个基本例子(动手) 13、中级应用:计算节点互相交互的完整例子(动手) 14、高级应用:使用并行计算大幅提升算法效率例子(动手) 15、相关架构探讨(需求、运维、故障、优化等) |
|
分布式协调原理和设计 |
1、协调架构原理简介 2、权限机制 3、相对于zookeeper的区别 4、与paxos算法的区别 5、实践应用:领导者选举和应用(动手) 6、统一配置管理(动手) 7、集群管理(动手) 8、分布式锁(动手) 9、相关架构探讨(需求、运维、故障、优化等) |
|
分布式消息队列的实现 |
1、jms的两种经典模式 2、如何实现发送接收的队列模式 3、如何实现主题订阅模式 |