1、Map:分解原问题为同质的子问题;
2、求解子问题;
3、Reduce:合并值问题的解;
多个调度器、共享全局资源状态,每个子集群调度器都可以看到并利用集群的全局资源信息
中央调度器从整体上进行资源的管理并分配到第二层调度器,第二层调度器根据任务资源需求匹配到节点
单体调度特点:
1、易于实现全局最优调度策略,适合批处理任务,适合数据量大、执行时间长的任务。
2、易于实现状态同步管理。
3、策略扩展性(任务类型)不强。
4、无调度并发性,存在性能瓶颈、单点故障可能。
解决单点瓶颈、单点故障、并发量问题的集群框架:Akka、Redis、Cassandra
市面上流行的集中结构框架:Google Borg、Kubernetes、Mesos
基于关系型数据库;基于Redis缓存;基于ZooKeeper
对分布数据库进行事务提交或回滚:二阶段提交算法、三阶段提交算法
区块链技术:PoW(Proof-of-Work,工作量证明)、PoS(Proof-of-Stake,权益证明)、DPos(Delegated- Proof-of-Stake,委托权益证明)