简单比较两种分布式计算环境的拓扑管理方式（ Chubby & P2P Overlay ）

----   Adam

 

在分布式计算环境中，网络拓扑的动态管理是一项基本的功能；系统的稳定运行，需要一个高效稳定的拓扑管理层，为上层提供节点（或应用层实例）的状态信息，事件广播等功能。以 Google 和 Amazon （ Dynamo ）为代表的云计算系统，分别采用了两种不同的拓扑管理方式：集中式管理方式和 P2P 重叠网方式。其中：

 

集中式管理方式： 以 Chubby 的形式为代表，它为分布式环境提供一个 Chubby 集群（通常是 5 台或 7 台服务器节点组成）， Chubby 节点之间采用 Paxos 算法，同步所有的状态和事件，当主节点失效后， Paxos 会选举出新的主节点，提供服务。因此基于 Chubby 的集中式管理方式的可靠性是由 Chubby 集群和 Paxos 算法保证的。由于 Chubby 在分布式环境中，以“公告板”模式存在，对外提供读写接口，所有的应用层实例可以通过这个“公告板”，发布事件，同时“公告板”也可以向所有注册了该事件的节点发布信息。例如，节点离开和加入； Chubby 都会把相应的事件广播到所有“关心”该事件的节点。分布式环境中的所有节点，通过 Chubby 可以得到全部的拓扑信息和拓扑动态变化的实时信息。

 

P2P 重叠网模式： Amazon Dynamo 的拓扑管理依靠 Dynamo 的重叠网管理层实现，分布式环境中所有节点实现 Gossip 协议等，通过 P2P 的方式交换拓扑信息，形成重叠网络；网络中的拓扑更新事件，也可以通过该重叠网广播出去。 P2P 重叠网的拓扑管理方式在很多 P2P 应用中使用。

 

在分布式计算环境中，这两种方式都能比较好的解决网络拓扑管理，在实际系统中，具体采用哪种模式比较好，需要根据不同的场景决定。作者从以下几个方面对两种方式做个对比：

 

1，  可靠性

Chubby 由于是一个功能单点，所以系统依赖这个 Chubby “单点”；虽然 Chubby 是以集群的形式存在（往往是 5 台，或 7 台节点）；

P2P Overlay 是一个自愈网络，没有单点故障，网络自愈能力比较强；

Chubby 由于一般采用集群模式存在，在 IDC 的部署方式中，其可靠性在一定程度应该是能满足要求的，在 Google 的云计算中心也得到了验证；

P2P Overlay 的方式，需要考虑孤岛问题；在网络偏大的情况下，如果 P2P Overlay 分裂为多个孤岛，需要在应用层应付这种问题。

 

2，  效率

Chubby 的集中管理模式，节点动态监测和广播的速度一般较快；但随着节点数目增加，节点动态性增强，会对 Chubby 形成一定的压力；

P2P Overlay 的模式，节点动态消息，如果需要广播道全网的话，需要有一个传播过程，时间相对较长。但是通常在 IDC 部署环境中，节点数目有限，每个重叠网节点，可以保存全网的节点信息，以提高信息传播速度；而且在很多应用场景，节点的动态性事件不需要全网广播。

 

3，  功能

Chubby 除了实现拓扑管理的功能，由于它是整个环境中默认最可靠的子系统，还可以作为小规模可靠存储子系统，提供可靠存储功能； Chubby 的低粒度锁，在 IDC 级别的动态环境中也可以得到比较理想的应用；

   P2P Overlay 主要承担拓扑管理工作，不承担其它功能

 

4 ，规模

   Chubby 本身是一个集群，因此比较适用规模大一些的分布式环境；而且由于它是独立的子系统，可以同时为许多云计算子系统提供拓扑管理，低粒度锁，小文件存储服务；

   P2P Overlay 比较适合规模较小的云计算环境，另外由于 P2P overlay 都是集成在一个系统的拓扑管理层，一般不作为一个独立的子系统存在，没有额外的部署任务，因此适合功能比较单纯的应用。