1.1 网络系统建设方案
网络系统作为数据中心的基础设施，应采用市场主流产品和业界成熟技术，并充分考虑系统的扩展能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。
1.1.1 设计原则
网络系统的建设，应遵循标准性，高性能，可靠性，扩展性，易管理性，安全性等基本设计原则。
1.1.2 网络虚拟化技术
1.1.2.1 网络虚拟化技术简介
网络虚拟化的核心思想是将多台物理设备虚拟化成一台“虚拟设备”，实现N ：1的横向虚拟化整合。使用这种虚拟化技术可以实现多台设备的协同工作、统一管理和不间断维护。
1.1.2.2 网络虚拟化的优点
传统的数据中心网络部署方式会带来网络环路和复杂度的增加。通过网络设备虚拟化可以实现高可靠性、简化管理及高网络扩展能力。
1.1.2.3 网络虚拟化组网应用
实际组网中，在通过网络虚拟化技术整合之后，对上、下层设备来说，它们就是一台设备，如下图所示：
图6-1 虚拟化技术演变图
1.1.3 组网详细设计
网络系统从功能上划分为接入区、应用服务区、数据核心区、运维管理区和测试区。结合上述的业务分区，按照结构化、模块化、虚拟化的设计原则，实现网络系统的高性能、高可用、易扩展、易管理的建设目标。
总体拓扑图如下：
图5-5-1总体网络拓扑示意图
1.1.3.1 核心区
1、 功能描述
核心区的主要功能是完成各系统功能区域之间数据流量的高速交换及转发，是广域/局域纵向流量与功能区域间横向流量的交汇点。核心交换机采用虚拟化进行横向整合。
2、 设计要点
采用高端交换机进行冗余配置，并通过虚拟化技术进行横向整合，将两台物理设备虚拟化为一台逻辑设备，并实现跨设备的链路捆绑，缩短链路故障与设备故障的倒换时间(毫秒级) ，保证出现单点故障时不中断业务。
1.1.3.2 数据核心区
1、 功能描述
数据核心区用于服务器虚拟化、中间件集群、数据库集群及存储虚拟化。 为保证网络的一致性，便于后续运维管理及备品备件，这些区域采用满足相同要求和技术的交换机组网。
2、 拓扑设计
图6-4 数据核心区网络拓扑图
接入交换机下行与服务器互连链路为千兆，上行与核心交换机可为万兆捆绑或者千兆捆绑，配合核心交换机进行跨设备捆绑，消除环路，避免STP 协议的部署。
3、 应用负载均衡器设计
采用F5 LTM设备进行对应用平台的负载均衡，拓扑图如下：
F5设备配置方法说明
一、 概述
F5设备的作用主要是负载均衡。工作方式为使用虚拟服务器（Virtual
Server ）的IP 地址统一接收用户访问请求，通过一种负载均衡方式，将请求分发到几台实际的服务器上。
二、 概念解释
1、 Virtual Server ：虚拟服务器，简写为VS 。VS 的IP 地址是实际服务器地址
经F5转换后的、向用户提供服务的IP 地址。公网地址经防火墙转换后的内网地址对应该地址，如果使用此IP 地址访问网站正常，则证明F5正常工作。
2、 Pool ：服务器池。由实际提供应用的几台服务器组成，每一个IP 地址加端
口称为该池的一个member ，member 的格式为“IP 地址:
端口”。服务器池隶
属于虚拟服务器（VS ），VS 将用户请求转发到自己拥有的服务器池中。
3、 iRule ：转发规则。使用类似编程语言编写的一段文本，用于规定复杂情况
下VS 转发请求的规则。iRule 隶属于VS ，但不是VS 必需的，一个简单的VS 可能没有iRule 。
4、 Default Persistence Profile ：默认会话保持方式，是VS 的一个属性，指
明该VS 默认情况下使用什么方式进行会话保持。我们常用的是cookie 方式。
5、 Fallback Persistence Profile ：默认会话保持方式失效时的会话保持方式。
常见的情形是客户端浏览器不支持cookie 或禁用了cookie ，则用该方式保持会话。我们常用的是source_addr（源地址会话保持）。
6、 Load Balancing Method ：负载均衡方法，是pool 的一个属性，指明将请求
转发到哪一个pool 成员的方法。常见的有Round Robin（轮询），Least Connections(member)（最少连接数法）。
三、 配置方法
1、 Virtual Server：
（1） 登录后，点击“Local Traffic”——“Virtual Servers”，点击界
面右上角的“Create ”，弹出新建Virtual Server界面。如下图：
上图中，在“name ”栏中填写VS 名称；“Destination ”栏中填写IP 地址；“Server Port”栏中填写端口；如果需要使用iRule ，则在“HTTP Profile”栏中选择my_http项，否则不用填写；其余项保持默认。
（2） 拖动上图页面的滚动条，翻到最后，如下图所示：
在iRules 栏中，选择用于该VS 的iRule ；在Default Pool中选择用于该VS 的默认池；在“Default Persistence Profile”中选择用于该VS 的默认会话保持方式；在“Fallback Persistence Profile”中选择用于该VS 的默认失效后会话保持方式。完成后，点击“Finished ”完成VS 创建。
2、 Pool ：
（1） 登录后，点击“Local Traffic ”——“Pools ”，点击界面右上角的
“Create ”，弹出新建Pool 界面。如下图：
上图中，“name ”栏填写pool 的名称，其余各项保持默认。
（2） 拖动上图页面的滚动条，翻到最后，如下图所示：
在“Load Balancing Method”中选择负载均衡的方式；在“Address ”中填写地址，“Service Port ”中填写端口，然后点击“Add ”，即会在“New Members ”中添加一个成员；添加完所有成员后，点击“Finished ”完成pool 创建。
四、 应用技巧
1、 配置切换前进行测试：
（1） 由于F5的配置更改风险较大，所以在正式更改前，需要进行新配置的测
试工作。
（2） 方法是仿照实际的VS ，新建一个测试VS ，只有IP 地址不同，其余配置与
原VS 一致。在新的VS 上，应用新的irule 、pool 等，测试正常后，再进行正式切换。
2、 检测有故障的pool 成员：
（1） 如果应用访问有时正常，有时不正常，原因很可能是某一个pool 成员不
能正常提供服务，并且这个问题是F5的pool 状态检测功能检测不到的，直接访问实际地址也检测不到，这就需要手动进行检测。
（2） 方法是首先按照第1条中的方法新建一个测试VS ，其次为排除会话保持
的影响，将测试VS 的“Default Persistence Profile”和“Fallback Persistence Profile ”全部设为None
，然后只保留要测试成员的状态为
enabled ，将pool 中其它成员状态设为disabled 。
1.1.4 网络管理区域设计
网络管理是保证一个大型网络系统正常运行的重要环节，需要有全局的网络配置工具，及时地发现网络问题，监控网络流量，及时调整参数，分析预测未来。因此需要配备一套专业、完善的网络管理系统，来保证网络系统的正常运行。这套系统要有全局性的网络配置工具，具备快速、方便地配置与监控网络设备的能力，能够监控网络流量，尽早发现网络状态的变化，能够及时调整参数，随时提供连接和服务，并能及时排除潜在故障。
1.1.4.1 网络管理区域的总体设计
基于对本系统的了解以及分析用户对管理系统的需求，本系统项目的管理系统应具有：
1. 主机和网络管理系统应以业务为导向，保证系统运行的高稳定性。
2. 管理系统必须易于使用。
3. 管理系统应提供丰富的管理特性。
4. 管理系统应具有很好的开放性，支持业界标准，并能通过开放的接口与第三方网络及主机设备管理软件集成。
本系统项目中的所有主机和网络资源均可通过直观的人机界面进行监控、管理。
1.1.4.2 网络管理区域设计方案
对于网络管理区域设计如图：
核心监控区通过SNMP 、telnet 、ssh 等协议进行对网络设备、安全设备的管理，通过防火墙来限制对应用服务区和核心区的访问权限。同时只有在网络管理区的IP 地址才能允许访问到每个网络设备及安全设备管理IP 。
网络管理是对多个系统进行层次化管理，对若干台UNIX 小型机和Linux 、Windows ，以及服务器、中间件、数据库及有关的应用软件，通过管理软件进行统一、集成的监控管理，更好地控制和管理平台的UNIX 系统及应用资源，变更传统的被动应答故障成为前瞻式监测的管理方式，及时了解出现的问题，在条件允许的情况下，还能够实现自我修复。
网络管理是对整个项目的网络设备进行管理。对网络管理软件的要求是：使用灵活的组件技术，支持多种操作平台，并能够与多种通用网管平台集成，实现从设备级到网络级全方位的网络管理，对网络、主机、操作系统、数据库和应用的状态及其相应的日志文件的监控。
1.2 安全系统建设方案
网络设备自身安全包括设备本身对病毒和蠕虫的防御以及网络协议本身的防范措施。有以下是本项目所涉及的网络设备和协议环境面临的威胁和相应的解决方案：
1.2.1 防蠕虫病毒的攻击
数据中心虽然没有直接连接Internet ，但内部专网中很多计算机并无法保证在整个使用周期内不会接触互联网和各种移动存储介质，仍然会较多的面临大量网络蠕虫病毒的威胁，比如Red Code ，SQL Slammer 等等，由于它们经常变换特征，防火墙也不能完全对其进行过滤，它们一般发作的机理如下：
∙ 利用Microdsoft OS 或应用的缓冲区溢出的漏洞获得此主机的控制权
∙ 获得此主机的控制权后，安装病毒软件，病毒软件随机生成大量的
IP 地址，并向这些IP 地址发送大量的IP 包。
∙ 有此安全漏洞的MS OS会受到感染，也随机生成大量IP 地址，并向
这些IP 地址发送大量的IP 包。
∙ 导致阻塞网络带宽，CPU 利用率升高等
∙ 直接对网络设备发出错包，让网络设备CPU 占用率升高直至引发协议
错误甚至宕机
因此需要在设备一级保证受到攻击时本身的健壮性。
1.2.2 防VLAN 的脆弱性配置
在数据中心的不同安全域进行防火墙访问控制隔离时，存在多个VLAN ，虽然广泛采用端口捆绑、vPC 等技术使正常工作中拓扑简化甚至完全避免环路，但由于网络VLAN 多且关系复杂，无法在工程上完全杜绝诸如网络故障切换、误操作造成的临时环路，因此有必要运行生成树协议作为二层网络中增加稳定性的措施。
但是，当前有许多软件都具有STP 功能，恶意用户在它的PC 上安装STP 软件与一个Switch 相连，引起STP 重新计算，它有可能成为STP Root， 因此所有流量都会流向恶意软件主机，恶意用户可做包分析。局域网交换机应具有
Root guard（根桥监控）功能，可以有效防止其它Switch 成为STP Root。本项目我们在所有允许二层生成树协议的设备上，特别是接入层中都将启动Root Guard 特性，另外Nexus5000/2000还支持BPDU filters, Bridge Assurance等生成树特性以保证生成树的安全和稳定。
还有一些恶意用户编制特定的STP 软件向各个Vlan 加入，会引起大量的STP 的重新计算，引起网络抖动，CPU 占用升高。本期所有接入层交换机的所有端口都将设置BPDU Guard功能，一旦从某端口接收到恶意用户发来的STP BPDU, 则禁止此端口。
防止ARP 表的攻击的有效手段
本项目大量使用了三层交换机，在发送数据前其工作方式同路由器一样先查找ARP ，找到目的端的MAC 地址，再把信息发往目的。很多病毒可以向三层交换机发一个冒充的ARP, 将目的端的IP 地址和恶意用户主机的MAC 对应，因此发往目的端的包就会发往恶意用户，以此实现包窃听。
在Host 上配置静态ARP 是一种防止方式，但是有管理负担加重，维护困难，并当通信双方经常更换时，几乎不能及时更新。
本期所使用的所有三层交换机都支持动态ARP Inspection功能，可动态识别DHCP ，记忆MAC 地址和IP 地址的正确对应关系，有效防止ARP 的欺骗。实际配置中，主要配置对Server 和网络设备实施的ARP 欺骗，也可静态人为设定，由于数量不多，管理也较简单。
1.2.3 防止DHCP 相关攻击
本项目中的楼层网段会采用DHCP Server 服务器提供用户端地址，但是却面临着几种与DHCP 服务相关的攻击方式，它们是：
● DHCP Server 冒用：当某一个恶意用户再同一网段内也放一个DHCP
服务器时，PC 很容易得到这个DHCP server的分配的IP 地址而导致
不能上网。
● 恶意客户端发起大量DHCP 请求的DDos 攻击：恶意客户端发起大量
DHCP 请求的DDos 攻击，则会使DHCP Server性能耗尽、CPU 利用
率升高。
● 恶意客户端伪造大量的MAC 地址恶意耗尽IP 地址池
应采用如下技术应对以上常见攻击：
∙ DHCP Snooping VACL, 只允许指定DHCP Server的服务通过，其
它的DHCP Server的服务不能通过Switch 。
∙ 新采购的
用户端接入交换机应当支持对DHCP 请求作流量限速，防止恶意客户
端发起大量DHCP 请求的DDos 攻击，防止DHCP Server的CPU
利用率升高。
∙ 此次新采购
的用户端接入交换机应当支持DHCP option 82 字段插入，可以截断
客户端DHCP 的请求，插入交换机的标识、接口的标识等发送给
DHCP Server ；另外DHCP 服务软件应支持针对此标识来的请求进
行限量的IP 地址分配，或者其它附加的安全分配策略和条件。
1.3 网络级安全
网络级安全是网络基础设施在提供连通性服务的基础上所增值的安全服务，在网络平台上直接实现这些安全功能比采用独立的物理主机实现具有更为强的灵活性、更好的性能和更方便的管理。在本次数据中心的设计范围内主要是访问控制和隔离（防火墙技术）。
1.3.1 安全域的划分
数据中心安全域的划分需要建立在对数据中心应用业务的分析基础之上，因而与前述的虚拟服务区的划分原则一致。实际上按SODC 的虚拟化设计原则，每一个虚拟服务区应当对应唯一的虚拟防火墙，也即对应唯一的一个安全域。具体原则如下：
● 同一业务一定要在一个安全域内
● 有必要进行安全审计和访问控制的区域必须使用安全域划分
● 需要进行虚拟机迁移的虚拟主机要在一个安全域中
● 划分不宜过细，安全等级一致的业务可以在安全域上进行归并，建议一
期不超过5个安全域
一般可以划分为：OA 区，应用服务区，数据库区，开发测试区等。
1.3.2 防火墙部署设计
各个安全域的流量既需要互访、又必须经过严格的访问控制和隔离，如果按照传统的网络设计，需要在每个网络应用和交换平台之间的边缘部署防火墙设备来进行安全保护，这样需要大量的防火墙，性能也受限于外部连接接口的带宽，还增加了网络管理的复杂度，未来也难以扩展。因此我们应当使用内置于交换机的高性能防火墙模块，可以不考虑复杂的连线而方便的进行安全域划分，容易扩展和管理，也提高了整体性能。
如果每个安全域有自己的防火墙，那么每一个安全域就只用考虑自己的一套出入策略即可，安全域复杂的相互关系变成了每个安全域各自的一出一进的关系，这样整个防火墙的策略就变得模块化、清晰化和简单化了。我们在诊断策略的问题时，只要到相关的安全域去看其专用的防火墙所使用的策略，就容易找到问题所在。我们在本次防火墙设计中将充分使用虚拟防火墙技术。
这里的虚拟防火墙功能是指物理的防火墙可以被虚拟的划分为多个独立的防火墙。每个虚拟防火墙有完全独立的配置界面、策略执行、策略显示等等，所有操作就象在一个单独的防火墙那样。而且虚拟防火墙还应当具有独立的可由管理员分配的资源，比如连接数、内存数、策略数、带宽等等，防止一个虚拟防火墙由于病毒或其它意外而过多占用资源。仅仅用VLAN 一类的技术划分防火墙是无法起到策略独立性和资源独立性的目的的，不属于这里所指的虚拟防火墙。
虚拟防火墙还应当配合虚拟三层交换机来使用。每一个安全域可能内部存在多个IP 子网，它们之间需要有三层交换机进行路由。但不同安全域之间这样的路由不应当被混同在一个路由表中，而应当每个安全域有自己的路由表，可以配置自己的静态和动态路由协议，就好像有自己独立使用的一个路由器一样。不同安全域相互之间仅通过虚拟防火墙互相连接。因此各个安全域的互连逻辑结构如下图所示：
最终应当达到虚拟化数据交换中心的使用效果。即交换机的任何物理端口或VLAN 端口都能够充当防火墙端口，同时每个安全域有自己独立虚拟路由器，自己独立的路由表和独立的动态路由协议。每个安全域对应有一个自己专用的虚拟防火墙，每个虚拟防火墙拥有独立的管理员权限定义安全策略和使用资源。不同安全域的管理员只负责本区域虚拟防火墙的策略控制管理，而不用关心其它虚拟防火墙的配置工作，避免了单一区域安全策略配置错误而对其它区域可能造成的影响，从根本上简化大型数据中心管理维护的难度。
1.3.3 防火墙策略设计
不同安全域之间的访问控制策略由于虚拟化设计而只需考虑各个安全域内出方向策略和入方向策略即可。建议初始策略依据如下原则设定，然后根据业务需求不断调整：
● 出方向上不进行策略限制，全部打开
● 入方向上按“最小授权原则”打开必要的服务
● 允许发自内部地址的双方向的ICMP ，但对ICMP 进行应用检查（Inspect ）
● 允许发自内部地址的Trace Route，便于网络诊断
● 关闭双方向的TCP Seq Randomization，在数据中心内的防火墙可以去
除该功能以提高转发效率
● 减少或者不进行NAT ，保证数据中心内的地址透明性，便于ACE 提供
服务
● 关闭nat-control （此为默认），关闭xlate 记录，以保证并发连接数 ● 对每个虚拟防火墙的资源进行最大限定：总连接数，策略数，吞吐量 ● 基于每个虚拟防火墙设定最大未完成连接数（Embryonic Connection），
将来升级到定义每客户端的最大未完成连接数
1.4 网络的智能主动防御
传统的不停的打补丁和进行特征码升级的被动防御手段已经无法适应安全防御的要求，必须由网络主动的智能的感知网络中的行为和事件，在发生严重后果之前及时通知安全网络管理人员，甚至直接联动相关的安全设备，进行提早措施，才能有效减缓危害。要实现这种智能的主动防御系统，需要网络中进行如下部署：
对桌面用户的接入进行感知和相应措施
对桌面用户的行为进行分析和感知
对全网安全事件、流量和拓扑进行智能的分析、关联和感知
对各种信息进行综合分析然后进行准确的报告
在报告的同时进行网络的联动以提早抑制威胁
以上整个过程需要多个产品进行部署才能实现。以下对这些产品的部署进行简述。
1.4.1 网络准入控制
网络准入控制技术——Network Access Control（NAC ），就是一种由网络智能对终端进行感知，而判断其威胁性，从而减少由终端发起的攻击的一种技术。NAC 类似于前面提到的身份识别安全接入控制技术，只不过它对主机、网络设备等接入的判别标准不仅仅是基于用户身份的，而是基于该设备的“网络健康状
态”。NAC 允许各机构实施主机补救策略，将不符合安全策略要求及可疑的系统放置到隔离环境中（比如一个特定的专用于软件升级的VLAN ），限制或禁止其访问生产网络，等威胁消除后，再回到生产网络。通过将端点安全状态信息与网络准入控制的执行标准结合在一起， NAC 使各机构能够大幅度提高其计算基础设施的安全性。
需要能够实现以下要求：
∙ 一体化的准入控制：不仅仅是有线端的准入控制，而且要实现包括无
线、VPN 接入在内的准入控制，而且应当是统一的一个系统下的准
入控制，这就需要以太网交换机、无线AP 设备、无线控制器、VPN
集中器都可以支持统一的准入控制；
∙ 支持多种准入控制形式：包括能够支持基于Infrastructure 的准入控
制，比如对于有线局域网、无线局域网可基于实现IEEE 802.1x和动
态VLAN 的准入控制，对于路由器、防火墙、VPN 集中器等等可实
施基于过滤机制的准入控制，也可以支持基于网络专用设备的准入控
制，比如对于网络交换机、路由器是由不同厂商品牌设备构成的异构
网络也可以实施基于专用在线设备的准入控制；
∙ 与身份标识相结合：准入控制机制应当与身份标识是一体化的，不同
身份标识的用户可以有相应的准入控制策略，即对身份的识别和对健
康的检查可以进行联系；
∙ 独立对客户机健康状态进行评估：能够结合其它病毒厂商软件进行安
全状态检查，更可以独立对客户端行为进行检查，包括操作系统补丁、
病毒软件版本等，还应当包括检查注册表可疑记录、非法修改等等，
能够通过对客户机状态进行深度判断，而基本上脱离复杂的第三方厂
商病毒软件的部署而独立对健康状态进行准确评估。
∙ 提供自动修复：准入控制系统应包括提供在线的自动修复能力，包括
各种策略的软件分发和链接推送等。
∙ 能够发现和自动识别打印机、IP 电话等非常规NAC 客户端