杭州华三
分布式双活数据中心解决方案
前言
分布式双活数据中心大二层网络设计
在分布式数据中心解决方案中，为了实现跨中心计算资源的动态调配，一般采用虚拟机迁移技术（H3C DRS，VMWare VMotion），同时采用服务器高可靠性集群计算实现跨数据中心的应用级容灾，这两种应用场景统称为“分布式数据中心（Distributed Data Center）部署方式”，其特点是一个应用系统在IP 地址不变的情况下可以在不同数据中心对外提供服务，但同一时段此应用只出现在一个数据中心，数据中心的访问用户不感知这种变化。虚拟化从根本上改变了数据中心网络架构的需求，最重要的一点就是，虚拟化引入了虚拟机动态迁移技术，从而要求网络支持大范围的二层域，大二层网络技术应运而生，以帮助解决二层网络的扩展。
成本高，同时MPLS 网络配置复杂，同时也需要设计STP 域隔离及VRRP 报文隔离，维护困难，随着二层域的扩大，广播域扩展到多个中心。
○ 基于IP 网络的VLL Over GRE或VPLS Over GRE方案与
基于MPLS 网络的VLL 或VPLS 技术的区别仅仅是承载网变为IP 网络，其他设计完全一样，所以也面临同样的设计及运维问题。
H3C 新一代大二层网络设计
针对传统数据中心二层网络扩展技术面临的问题，H3C 推出了一种新型的大二层扩展技术EVI （Ethernet Virtual Interconnection ），他是一种MAC Over IP的二层互联技术，承载在现有的IP 网络之上，适应性强，价格低廉，同时针对数据中心大二层扩展面临的问题，做了针对性的设计，能够天然解决传统大二层网络扩展带来的各种问题，并对ARP 泛洪等应用进行了优化，且配置部署非常简单，EVI 典型组网方案如下：
图2 双活数据中心大二层网络
传统大二层网络设计所面临的问题
传统大二层扩展技术包括裸光纤二层互联技术、基于MPLS 网络的VLL 或VPLS 技术，基于IP 网络的VLL Over GRE或VPLS Over GRE方案（具体设计见IP 领航数据中心特刊《数据中心间二层互联》），通过特殊的配置和手段，这三种技术都能够实现数据中心二层互联并且能够解决端到端的环路问题，但是部署起来也面临非常大的问题：
○ 基于裸光纤的二层互联技术前提要求必须有裸光纤资
图3 EVI典型组网
EVI 部署时，为了不影响现有数据中心网络，同时由于跨中二层信息交互比较频繁，所以一般情况是在数据中心汇集设备上旁挂两台（不考虑冗余也可以是一台）EVI 设备进行EVI 互联，当数据中心站点EVI 设备上线时，原有的EVI 节点不需要做任何改变就能够自动完成所有EVI 虚链路的建立，进而实现大二层网络的扩展。
源，同时距离不得超过100KM ，使用成本高昂，STP 域隔离设计复杂，随着二层域的扩大，广播域扩展到多个中心。
○ 基于MPLS 网络的VLL 或VPLS 技术，要求承载网为
MPLS 网络，其中MPLS
网络可以自建也可以是运营商提供，
基于DNS 发布业务的前端网络双活设计
当业务系统基于DNS 域名方式对外发布时，可通过动态DNS 可以实现访问流量的智能分发调配无需增加广域网开销。该方案有两个关键技术，一是“网关分离”，在本文前一章节有详细说明，此处不再赘述。另一关键技术是“动态DNS 解析技术”，同一个虚机在不同数据中心通过NAT （由SLB 设备实现）呈现不同的服务IP 地址。GSLB 作为DNS 服务器，虚机的迁移事件可触发vCenter 上的可执行脚本，远程修改GSLB 上虚机对应的DNS 记录，由此实现新上线用户的三层路径优化。
如图6所示，数据中心1、数据中心2的服务器采用了VMware 虚拟化技术，vCenter 部署在数据中心1，网络汇聚层实现二层互联，两个数据中心同时部署同一个网段的网关，网关IP 地址相同，虚机就近选择本数据中心的网关进行三层流量转发；汇聚层设备上旁挂主备方式部署的SLB 设备，汇聚于核心路由器间部署主备方式的防火墙；广域网中部署了基于DNS 技术的GSLB 设备，客户机端通过域名方式访问数据中心的业务系统。当管理员通过数据中心1中的vCenter 将业务系统app.h3c.com 对应的虚拟机从数据中心1迁移至数据中心2时，当前已在线用户的访问流量不中断（可以存在三层方案次优路径），而新上线访问app.h3c.com 的用户选择三层最优路径访问位于数据中心2的虚机。
○ 步骤3：SLB1设备对用户A 的流量做NAT （地址转
换），报文的源IP 被改为SLB1的接口地址IP-1地址，目的地址被改为虚机的真实地址VM-IP 。
○ 步骤4：虚机到用户A 的回程报文的源IP 是VM-IP ，目
的IP 是SLB 的接口地址IP-1。由于虚拟机的网关指向汇聚交换机，从虚拟机到用户A 的回程流量经汇聚交换机转发到主SLB1上。
○ 步骤5：SLB1查会话表，将该IP 报文的源地址改为VIP-
1，将目的地址改为用户A 的实际IP ，最后该IP 报文经核心广域网转发到用户A 。
如图7所示，某时刻，数据中心1的管理员在将app.h3c. com 对应的虚拟机通过vCenter 迁移至数据中心2，此时有两个制约因素要求用户A 访问虚拟机的流量仍然将数据中心1作为访问流量的入口：
图7 虚拟机迁移后已上线用户流量
由于用户A 的终端设备（PC ）具有本地DNS 缓存，在DNS 缓存超时之前，用户A 的终端仍然将app.h3c.com 解析成VIP-1。
由于从用户A 的终端设备到提供app.h3c.com 业务的虚机
的访问路径上存在防火墙，且防火墙通常采用基于TCP/UDP状态的会话检查机制，所以对于已经上线的用户A （防火墙上已建立用户A 到虚机的会话表项），必须保证虚机迁移后，从用户A 到虚机的访问路径仍然保持原有路径（经过原
来的防火墙）。
上述限制条件意味着从用户A 访问app.h3c.com 的数据流在步骤2和步骤3会发生如下变化：
○ 步骤2：SLB1上经过NAT 处理后的报文被转发至数据
图6 基于DNS 发布业务双活方案
如图6所示，当app.h3c.com 对应的虚拟机运行在数据中心1时的流量如下：
○ 步骤1：某用户A 希望访问app.h3c.com ，其客户机向本
中心1的汇聚交换机（有VM-1对应的直连网段路由），该汇聚交换机查ARP 表后，将报文发往与数据中心2的汇聚交换机相连的端口。数据中心2的汇聚交换机查MAC 表，完成最终转发。
○ 步骤3：由于数据中心1的汇聚设备与数据中心2的汇
地部署的DNS 服务器发起查询请求，通过迭代查询，最终由作为权威DNS 服务器的GSLB 返回查询结果：app.h3c.com 对应的IP 地址是数据中心1中的SLB1上配置的VIP_1。
○ 步骤2：用户A 发起的流量经过核心广域网的转发来到
数据中心1的SLB 主设备上。
聚设备采用了网关分离部署方式，所以虚机到用户A 的回程
报文首先发向数据中心2的本地网关（数据中心2的汇聚交换机）。数据中心2汇聚交换机与数据中心1汇聚交换机互联的三层接口上已经学到SLB1接口地址IP-1对应的路由，所以回程报文经数据中心1汇聚交换机转发后回到SLB1。
这种次优路径流量不会一直存在，当用户A 结束对app. h3c.com 的所有访问流量后一段时间，本地DNS 缓存超时清空，用户A 如果再次发起的TCP/UDP会话，则数据流将按照后文所述用户B 的方式转发。图8是数据中心1的服务器管理员通过vCenter
将app.h3c.com 对应的虚拟机迁往数据中心2后，新上线用户B 的流量路径说明。
○ 步骤1：VMware vCenter 支持“基于事件触发的脚
图8 虚机迁移后新上线用户的流量示意
了变化。
○ 步骤2：新上线的用户B 希望访问app.h3c.com ，其客户
本技术”，用户可以给vCenter 上发生的多种类型的事件（Event ）定义执行脚本（TCL/TK）。在本方案中，数据中心1的服务器管理员已经为app.h3c.com 对应虚拟机从数据中心1到数据中心2的动态迁移事件定义了一个执行脚本——“Telnet 到GSLB
上，将app.h3c.com 的DNS 解析改为VIP-2”。而修改之前，GSLB 上是将app.h3c.com 域名解析为VIP-1。因此，当app.h3c.com 对应虚机成功迁移到数据中心2时，GSLB 上对app.h3c.com 域名的解析也发生
端向本地配置的DNS 服务器发起查询请求，通过一系列迭代查询，最终由作为权威DNS 服务器的GSLB 返回查询结果，app.h3c.com 对应的地址是数据中心2中的SLB2上配置的VIP_2
○ 步骤3、步骤4、步骤5、步骤6的过程与上文介绍的用
户A 第一次访问数据中心1时的流程相同。
服务器负载均衡与HA
技术
为了满足高性能和高可靠性的服务需求，将多台服务器通过网络设备相连组成一个服务器集群，每台服务器都提供相同或相似的网络服务。服务器集群前端部署一台SLB[2] 设备，负责根据已配置的均衡策略将用户请求在服务器集群中分发，为用户提供服务，并对服务器可用性进行维护。
服务器负载均衡可以工作在L4或L7模式下，一般采用L4模式。负载均衡的工作方式有以下两种。
○ DR （Direct Routing）方式。（如图9所示）负载均衡
○ NAT 方式。（如图10所示）组网更加灵活，后端服务
器可以位于不同的物理位置或不同的局域网内。客户端将发往VSIP 的请求发送至服务器群前端的负载均衡设备，负载均衡设备上的虚服务接收客户端请求，根据持续性功能、调度算法依次选择真实服务器，再通过网络地址转换，用真实服务器地址重写请求报文的目标地址后，将请求发送给选定的真实服务器；真实服务器的响应报文通过负载均衡设备时，报文的源地址被还原为虚服务的VSIP ，再返回给客户，完成整个负载调度过程。
设备对数据流量优化时，采用旁挂方式部署，在此模式下只有客户端的请求报文通过负载均衡设备，服务器的响应报文不经过负载均衡设备，从而减轻负载，有效的避免了其成为网络瓶颈。客户端请求报文的目的地址为虚服务地址（VSIP ），此地址由负载均衡设备对外呈现。负载均衡设备分发服务请求时，不改变目的IP 地址，而将报文的目的MAC 替换为实服务的MAC 后直接把报文转发给实服务。
图10 NAT 方式的服务器负载均衡
一般情况下，SLB 更加适合在一个数据中心内部部署，而不是跨数据中心部署。因为当SLB 跨数据中心部署时，会导致跨中心的广域/城域链路承载流量多，而且跨中心转发一般延迟高，流量路径复杂低效，不利于实现高性能的负载均衡集群（如图11所示）。而GSLB 更加适合实现跨数据中心的
图9 DR方式的服务器负载均衡负载均衡，所以GSLB 和SLB
配合能够很好的实现从数据中心
前端到数据中心内部全路径的负载均衡，以及更好的实现服务器健康状态检测（如图12所示），主要包括：
○ GSLB 可针对SLB 、服务器做状态监测，可消除单点故
技术特点是：
○ 需要共享存储资源（磁盘卷或是复制卷），HA 集群可
在同城或较近距离内部署；
○ 对客户端来说，集群只有一个IP 地址，由Active 节点响
障，并引导流量避开性能较低的站点和服务器；
○ 通过收集这些设备的性能测量数据，GSLB 可了解网络
应ARP ；
○ 需要一个独立的网络做节点之间的进程通信（心跳）；○ 心跳网络对传输延迟不敏感（如微软MSCS 要求的最
状态，对包速率、每秒千字节、磁盘、内存、CPU 利用率以及连接数量等参数进行测量。
小心跳间隔是1秒），因此两节点间的传输延迟小于500ms 即可；
○ 因为对外只有一个虚IP 地址，所有节点需在一个网段
（二层互联）；
双节点的高可用性集群典型的工作方式有以下两种。主/主( Active/Active) 。集群中两节点同时运行各自的应用并且相互监控对方的情况， 当一台主机宕机后，预先设定好的另一台主机立即接管它的一切工作。这种工作方式允许最大程度的利用硬件资源，一般要求各节点具有相等或相似的处理能力，所有的服务在故障转移后仍保持可用。
主/从( Active /Standby) 。主机工作，从机处于监控准
图11 SLB跨中心部署
备状况。当主机宕机后，从机接管主机的一切工作，继续为客户机提供服务，待主机恢复正常后，用户可以自行设定以自动或手动方式将服务从Standby 上切换到Active 上，也可不切换。
表1 常见的HA CLUSTER 产品
SLB IP
SLB IP
SLB IP
延时对服务器集群部署的影响
与传统IP 网络应用能够容忍较大的网络传输延时不同，存储网络对传输延时非常敏感。由于服务器集群成员
图12 GSLB和SLB 配合实现服务器健康状态检测服务器HA 技术
高可用性集群（High Availability Cluster，HA Cluster）是以减少服务器中断时间为目的实现故障屏蔽的服务器集群技术，主要包括可靠性和容错性两方面。在这种高可用集群环境下，若某台服务器出现故障导致服务中断，预先设定的接管服务器会自动接管相关应用并继续对用户提供服务，具有更高的可用性、可管理性和更优异的可伸缩性。HA Clusters是可用于“热备模式容灾”的集群技术（如表1所示），其
一般是共享存储，所以必须考虑存储延时对服务器集群部署的影响。
以通信线路SDH 155M链路（其中50M 用于存储业务）为例，经过测算：光纤距离为50KM （典型的同城距离）时的单向延时为1.51 ms，正常存储系统能够接受；光纤距离为1000KM （典型的异地距离）时的单向延时为7.26 ms，将导致共享存储部署时服务器应用能力急剧下降到不可接受的程度。可见，距离因素对传输延时的影响巨大。
因此在“两地三中心”数据中心灾备方案中，远距离
的异地范围要部署采用异步复制的暖备灾备方案（如图13所示），即采用广域链路如SDH 、ATM 或IP 相连，通过存储异步复制方式实现灾备功能；同城范围内则可以部署基于共享存储的服务器HA 方案（如图14所示），即两个中心之间用
裸光纤、波分或SDH 项链，通过存储同步复制方式部署HA Cluster ，在这种部署环境下，主备中心之间需要二层互联以满足集群成员之间二层通信需求，同时还需要SAN 互联以实
现数据同步复制。
图13 三站容灾方案的网络图14 适用于同城容灾的HA Cluste 工作方式
400-810-0504
杭州华三通信技术有限公司
杭州基地
杭州市高新技术产业开发区之江科技工业园六和路310号邮编：310053
电话：0571-86760000传真：0571-86760001
北京分部
北京市宣武门外大街10号庄胜广场中央办公楼南翼16层邮编：100052
电话：010-63108666传真：010-63108777
客户服务热线
http://www.h3c.com.cn
Copyright 2013杭州华三通信技术有限公司 保留一切权利
免责声明：虽然H3C试图在本资料中提供准确的信息，但不保证资料的内容不含有技术性误差或印刷性错误，为此H3C对本资料中信息的不准确性不承担任何责任。H3C保留在没有任何通知或提示的情况下对本资料的内容进行修改的权利。