笔记

分布式技术原理与算法解析 - 20 - 分布式通信之发布订阅:送货上门

发布订阅三要素:生产者(生产数据放到消息中心)、消费者(向消息中心订阅消息)、消息中心(根据订阅情况将数据推送订阅者)。

2020-09-28 通过网页

分布式技术原理与算法解析 - 19 - 分布式通信之远程调用:我是你的千里眼

1、Server向Register注册自己提供的服务; 2、Client向Register预定Server的地址列表; 3、Client根据地址列表执行RPC; 4、Client和Server都定时向Register发送调用信息;

2020-09-28 通过网页

分布式技术原理与算法解析 - 18 - 分布式计算模式之流水线:你方唱罢我登场

提取:通过多种途径提取多种类型的数据; 转换:对数据进行解析、预处理、特定转换; 加载:将数据加载到学习模型加速器;

2020-09-28 通过网页

分布式技术原理与算法解析 - 17 - 分布式计算模式之Actor:一门甩锅的艺术

状态(State):Actor组件的属性; 行为(Behavior):成员函数,仅接收到消息时才会触发自身的计算; 消息(Mail):Actor之间的消息传递,按先后顺序(FIFO)进行读取和处理;

2020-09-28 通过网页

分布式技术原理与算法解析 - 16 - 分布式计算模式之Stream:一门背锅的艺术

流数据特征: 1、数据持续、快速地到达; 2、海量数据规模; 3、实时性要求高,数据价值会随时间降低; 4、数据无序;

2020-09-28 通过网页

分布式技术原理与算法解析 - 15 - 分布式计算模式之MR:一门同流合污的艺术

1、Map:分解原问题为同质的子问题; 2、求解子问题; 3、Reduce:合并值问题的解;

2020-09-20 通过网页

分布式技术原理与算法解析 - 13 - 分布式调度架构之共享状态调度:物质文明、精神文明多手协商抓

多个调度器、共享全局资源状态,每个子集群调度器都可以看到并利用集群的全局资源信息

2020-09-20 通过网页

分布式技术原理与算法解析 - 12 - 分布式调度架构之两层调度:物质文明、精神文明两手抓

中央调度器从整体上进行资源的管理并分配到第二层调度器,第二层调度器根据任务资源需求匹配到节点

2020-09-16 通过网页

分布式技术原理与算法解析 - 11 - 分布式调度架构之单体调度:物质文明、精神文明一手抓

单体调度特点: 1、易于实现全局最优调度策略,适合批处理任务,适合数据量大、执行时间长的任务。 2、易于实现状态同步管理。 3、策略扩展性(任务类型)不强。 4、无调度并发性,存在性能瓶颈、单点故障可能。

2020-09-10 通过网页

分布式技术原理与算法解析 - 10 - 分布式体系结构之非集中式结构:众生平等

解决单点瓶颈、单点故障、并发量问题的集群框架:Akka、Redis、Cassandra

2020-09-10 通过网页