发布订阅三要素:生产者(生产数据放到消息中心)、消费者(向消息中心订阅消息)、消息中心(根据订阅情况将数据推送订阅者)。
1、Server向Register注册自己提供的服务;
2、Client向Register预定Server的地址列表;
3、Client根据地址列表执行RPC;
4、Client和Server都定时向Register发送调用信息;
提取:通过多种途径提取多种类型的数据;
转换:对数据进行解析、预处理、特定转换;
加载:将数据加载到学习模型加速器;
状态(State):Actor组件的属性;
行为(Behavior):成员函数,仅接收到消息时才会触发自身的计算;
消息(Mail):Actor之间的消息传递,按先后顺序(FIFO)进行读取和处理;
流数据特征:
1、数据持续、快速地到达;
2、海量数据规模;
3、实时性要求高,数据价值会随时间降低;
4、数据无序;
1、Map:分解原问题为同质的子问题;
2、求解子问题;
3、Reduce:合并值问题的解;
多个调度器、共享全局资源状态,每个子集群调度器都可以看到并利用集群的全局资源信息
中央调度器从整体上进行资源的管理并分配到第二层调度器,第二层调度器根据任务资源需求匹配到节点
单体调度特点:
1、易于实现全局最优调度策略,适合批处理任务,适合数据量大、执行时间长的任务。
2、易于实现状态同步管理。
3、策略扩展性(任务类型)不强。
4、无调度并发性,存在性能瓶颈、单点故障可能。
解决单点瓶颈、单点故障、并发量问题的集群框架:Akka、Redis、Cassandra