Openstack neutron:云数据中心底层网络架构数据中心

2018-08-03    来源:网络整理    编辑:采集侠
云数据中心的流量可以简单分为以下几个大类: 管理网络(API网络):用于云数据中心内部的管理流量,包括对内部虚拟化组件之间的、SDN控制组件之间、消息队列、以及各种HA的

云数据中心的流量可以简单分为以下几个大类:

管理网络(API网络):用于云数据中心内部的管理流量,包括对内部虚拟化组件之间的、SDN控制组件之间、消息队列、以及各种HA的检测信号等。管理流量一般不对外,并且需要连接云数据中心中的每一个服务器节点,并只在数据中心内部传输。

租户网络:用于数据中心的各个租户之间流量,提供云计算服务,保证用户内部vm之间能够通信同时隔离不同用户之间的流量是最基本的要求。租户之间隔离的方式包括了vlan、vxlan、gre、stt、nvgre等等,后续我们再详细介绍。

外联网络(外部网络):外部网络的名称是站在租户角度进行描述的,即租户网络只能用户业务虚拟机之间的通信,与其余设备的通讯则都要通过外部网络的转发。除了路由以外,外部网路往往还兼具VPN、NAT、LB、FW等职能。此处往往需要将租户网络中为了隔离而修改过的数据包转封包成常见的二层帧,以及与外界网络的路由

存储网络:用于连接计算节点和存储节点,主要是为计算节点中的主机和虚拟机提供存储服务。存储网络也不对外,尽在数据中心内部传输。

NSX整体网络结构

我们先看一下NSX定义的整体网络结构:

11

在nsx的架构中,左侧区域对应的是计算节点集群,其上以运行租户的业务为主。包括用户部署的各类的虚拟机、虚拟网络、分布式网关、安全策略等等。是数据中心服务的核心。该区域的流量类型包括:租户网络、存储网络、管理网络。(也意味着服务器至少需要三块网卡)

中间区域对应是的基础架构集群,包括云计算数据中心的管理节点和IP SAN 共享存储。管理节点包括: vCenter Server、NSX Manager、NSX Controller、CMP 。IP SAN共享存储节点则主要是向计算节点集群中的主机或用户的虚拟机提供基于IP网络的iSCSI或者是NAS存储。流量类型包括:存储流量、管理流量。

右侧的边缘节点则用来为租户网络提供互联网访问服务。因此需要连接租户网络和外部网络,并为租户提供路由、NAT、防火墙、公网IP等服务。其中以NSX的EDGE虚拟网关为主。也可以有硬件路由器、防火墙等设备。流量类型以:外部网络、租户网络、管理网络为主。

管理网络(API网络)

管理网络需要连接云环境中的每一个节点,上面传输的数据包括虚拟化中心vcenter对host的管理流量、HA心跳、SDN控制器(nsx controller、nsmanager)、云管理平台API、云监控运营平台等多种云计算数据中心管理运营组件的管理流量,属于数据中心的神经网络。

在vmware的设计中,管理控制的节点部署在一个物理主机集群,集群开启HA、DRS等服务,保障数据中心整个控制平面的可靠和稳定。此外IP共享存储也被放置在该区域中。

11

vmware特意将vmotion的流量也单独列出来成为一类流量。除此之外共享存储也需要单独进行传输。管理节点上存储、vmotion、租户网络、管理网络、外部网络,一般通过物理交换机上的VLAN进行隔离的,并连接物理服务器上的不同物理网卡。管理网络对于带宽的要求并不高,千兆、万兆都可以。但是管理网络的IP共享存储对带宽的要求较高,至少需要部署万兆的网络。

总结:

管理网络连接数据中心所有的节点,主要用于对底层资源的控制,和API调用,对网络的要求不高。一般通过服务器的管理网卡 1 x 1 GbE 或者1 x 10 GbE 交换机网络互联,一般采用单独的接入交换机。

对于vmware的环境来说,vmotion的流量可以走单独的网卡和也可以和万兆管理网络互联

租户网络

租户网络对应的是云数据中心的租户之间的虚拟机用来通信的网络。一般连接所有提供计算服务的计算节点。租户网络的数据都被封装到指定的VLAN中,在外部看来就是VLAN内主机之间的通信,内部流量不可见。

11

租户网络涉及到NSX、openstack neutron 这类解决方案中一个核心的理念,那就是二层的overlay。

严格来说二层的overlay技术并不算sdn技术中的一部分。在数据中心的环境中,为了保障数据的安全,需要在网络层面上隔离各个租住的虚拟主机,根据业务的特点,一个租户可能使用到多个vlan,例如一个典型的三层架构的应用中,界面、中间件、数据库分属于不同vlan,并通过安全策略控制之间的访问。这种情况下一个租户就占用了3个vlan,而vlan的总数才4096个,还要扣除各个设备厂家的保留vlan和用作管理的vlan等。这样一个数据中心能够承载的用户数就被极大的限制住了。

云数据中心用户的虚拟网络通过不同的VNI号(Vxlan Network identifier)来区分,24bit的VNI包含2^24 = 16 777 216个网段,按照一个用户创建10个私有的网段来计算,一个机房可以满足上百万用户的使用需求。实际上即使是国内的阿里云的总的用户数加起来也才几十万。这还是由分布在全国和海外的多个机房共同承当。所以通过二层的overlay技术,租户网络仅需设计少量vlan即可满足海量用户的使用要求。甚至可以将所有租户的流量全部封装在一个vlan内,但是过多的广播包会影响网络的性能,vmware有针对广播、多播流量的解决方案。详细情况放到下一节。

因为单个主机上承载的虚拟机数量较多,为了保障虚拟设备之间有足够的带宽,租户网络至少应该采用万兆的网络,且因为二层数据层有额外的封装开销,所有需要将租户网络MTU设置成1600.

总结:

租户网络连接计算节点和云数据中心的出口区域,其上是通过overlay技术标记的租户的虚机之间的数据。租户网络一般会规划多个vlan来减轻广播流量的影响。物理机主机上虚拟机数量比较多,要保证比较良好的网络质量,则服务器的租户一般网卡通过1 x 10 GbE 或者1 x 40 GbE交换机网络互联。

外联网络

外联网络是相对用户来说,用户虚拟机之间的流量完全可以通过用户网络完成传输,但与外界(通常是是互联网,也包括数据中心内部网络)通信,则需要解除原本overlay的封装,并映射公网IP。除此之外还包括一起其他网络服务,如:NAT、VPN、防火墙、LB等。

11

所以外联网络内的流量包括:用户网络流量、管理流量、外网流量。

1
3