建设背景与规划
　　随着“西部大学校园计算机网络工程”、“211”工程建设等重大项目的实施，云南大学校园网络经历了近15年的发展，覆盖了所有的教学、科研和管理区域，网络主干形成千兆环状结构，各区域子网均以千兆接入校园网主干，在网络的性能和可靠性上都可以支撑基于校园网的数据集中存储、共享和管理的应用模式。

　　与此同时，基于校园网的应用系统也具有一定规模，越来越多的信息被数据化。学校信息化建设面临新的问题：数据量越来越大，数据的价值也越来越大，原来分散在各职能部门的应用系统的数据都存放于与应用系统相关的单一服务器的内置硬盘中，无法实现数据的重复利用与信息资源的共享，更不能够满足应用系统的灵活部署、快速反应、安全等方面的要求，为此需要有专业的存储系统来统一进行数据的存储整合，实现数据的共享，存储空间的高效率利用，以便于数据的统一管理，以及数据的统一备份和容灾处理。

　　因此，建设以数据为中心的存储系统IDC用于保护各应用系统不可再生的资源——信息将成为高校信息化建设的又一重要基础设施，它是保证IT环境的其它部分(主机，网络，应用等)正常运转的核心和关键。

　　根据学校发展、应用系统的需求以及计算机学科的特点，云南大学IDC的建设采用“统一规划设计、分步实施，遵循技术发展、应用为先”的思想，并且云南大学的各应用系统开发早在1997年甚至更早就已开始，而数据中心是在2005年7月才开始着手建设，因此云南大学IDC的建设规划分为两期。

　　第一期：建成一个整合SAN/NAS/IP存储架构的、可扩展的基础存储系统，裸机存储容量：约5TB。由于信息是动态增长的，要求一期建立的存储系统也具有一定的扩充能力。
　　第二期：按需求增长扩充一期的存储容量，增加必要的存储安全管理方案，建立冗余链路连接，建立数据备份和容灾管理系统，提供快速恢复和容灾机制。

　　数据中心整合
　　目前常见的存储模式有：内嵌式存储(Embedded Storage，ES)、直接附加存储(Direct Attached Storage，DAS)、网络附加存储(Network Attached Storage，NAS)和存储区域网络(Storage Area Network，SAN)四种，外加网络附加存储网关(NAS Gateway)和IP网关(iSCSI Gateway)两种。

　　基于各种技术及各自特点的考虑，云南大学IDC一期建成一个以支持多种主机、多种操作系统、兼容性好的SAN架构存储系统为核心，整合NAS网关和IP网关的多技术存储架构系统，提供核心应用服务器群对IDC的高速访问，裸机存储容量：约5TB。
　　图1为云南大学数据中心架构。

　　在SAN架构的基础之上增加支持文件共享访问和数据块级访问的NAS Gateway和iSCSI Gateway。通过NAS Gateway 网关整合SAN和NAS存储，可以支持Windows和UNIX客户端的CIFS、NFS文件访问，实现在整个校园网上的文件共享。采用iSCSI Gateway网关设备，提供基于IP网络的数据块级访问，使对性能要求不高的数据库应用及块设备应用可以分布在校园网的任何地方。整个系统构成一个整合SAN/NAS/IP的存储架构。

　　应用整合方案
　　这样的系统架构设计，将高造价的SAN存储方式提供给核心的数据库系统，网站站群系统，网络教学系统BlackBoard，邮件系统Email，网络办公系统OA、教务、财务、资产综合管理系统使用，同时也可以兼顾高性能计算、视频点播系统VOD、文件传输服务FTP、图书档案等异类文件共享和分布于校园网上的应用系统提供轻量级的数据块访问，满足各种不同层次的应用，又避免SAN和NAS两个核心存储平台共存带来的浪费和两个信息孤岛，实现真正意义上的信息整合。

　　因受经费投入限制，采用的主要存储设备如下：
　　光纤磁盘阵列：EMC CLARiiON CX500  1台
　　SAN光纤交换机：EMC Connectrix DS-M242   1台
　　NAS网关：EMC Celerra NS502G   1台
　　IP SAN网关：EMC MP1620  1台

　　光纤磁盘阵列
　　采用EMC CX500，拥有系统内部全冗余并可热交换，4个前端2Gb光纤主机信道，4个后端2Gb光纤磁盘信道。现配置45X146GB硬盘，总容量为5TB，最大可支持120块光纤硬盘，2个冗余硬件阵列控制器，每个控制器中配有2个1.6Ghz主频以上处理器，支持主流的服务器操作系统，如IBM AIX，HP UNIX，SUN Solaris，Linux，Windows，4个前端2Gb光纤主机信道直接与SAN交换机连接。

　　SAN光纤交换机
　　采用EMC DS-M242，由EMC CX500与DS-M242共同构建基础的SAN 存储系统，提供24个FC2端口，其中：磁盘阵列CX500使用4个端口，NAS Gateway使用4个端口，iSCSI Gateway使用2个端口，剩余端口由站群系统、网络教学系统等使用。

　　NAS Gateway 网关
　　采用Celera NS502G，内置为NAS系统开发的专业操作系统DART，为多处理器结构，配置4个1.6GHz CPU，支持主流的RAID1，0/1，3，5保护技术，支持主流的网络协议，包括NFS、CIFS等，通过4个FC端口连接到SAN交换机上，8个IP网络端口通过1000MB电缆上连核心交换机Cisco 6509，并将每4个端口做成1个链路聚合，提供4X1000MB链路连接，提供高性能的NAS方式。

　　IP Gateway 网关
　　采用MP 1620，支持TCP/IP协议，主流光纤信道协议及E_Port，IP存储iSCSI、iFCP、iSNS，所有端口提供电缆速率传输，Fast Write技术提高远距离写功能，支持大型帧，支持压缩，每端口支持iSCSI设备大于等于50，端口类型SFP，1000Base-SX，1000Base-LX，1000Base-ZX，RJ45，100Base-T，IP智能端口2个，FC本地端口2个，通过2个FC端口连接到SAN交换机上，2个IP智能端口通过100MB电缆上联核心交换机Cisco 6509，为分布于校园网上的应用系统通过IP网络提供轻量级的数据块级访问。

　　存储空间的划分情况
　　将每个磁盘组的第14块硬盘保留作热备盘，第0到4块硬盘和第5到13块硬盘分别划分为2个RAID 5组，这样共有3块热备盘，6个RAID 5组。将完成以上处理后的空间中，1.5TB划分给NAS网关，其中：900GB划分给高性能计算中心，400GB划分给数据库服务器，600GB划分给网站站群服务器，400GB划分给网络教学系统等等，目前暂时将200GB划分给iSCSI模式访问的Windows客户端，各部分空间将随需求变化再做调整。

　　服务器部署
　　云南大学现有的应用系统除Web、Email、DNS、BBS、FTP等基础服务之外，还有基于Java多层架构的网站站群系统、网络教学系统BlackBoard、教学资源中心、高性能计算中心、趋势防病毒系统、VOD视频点播系统、电视直播系统等网络应用系统，还有教学、教务、财务、资产等业务管理系统。

　　各系统设备存放的物理位置主要分布于：与IDC共同使用的文渊楼7楼核心机房、科学馆3楼核心机房、各职能部门办公大楼；各系统运行的硬件环境有IBM P660、SUN V880、曙光天潮系列TC4000A、SGI Prism超级图形服务器、DELL 2600、HP DL380等；各系统运行的操作系统有AIX、Solaris、Linux、Windows等；各系统运行的数据库有DB2、Oracle、MySQL、SQLServer等。由于应用系统较多，在此仅对几个具有代表性的系统做简单介绍，以此帮助大家了解我们的IDC是如何来为各系统提供集中存储和管理服务。

　　站群系统
　　该系统架构在A、B两台配置完全相同的IBM小型机上，主机配置为4 CPU，4GB内存，2X18.2GB硬盘，操作系统为AIX 5.1L，数据库为DB2 8.2。

　　为保证100个站点的站群系统的高可用性，我们将A、B主机配置成双机环境。A、B主机的2块18.2GB硬盘分别做成RAID 1，用于存放操作系统、中间件系统、应用系统和数据库系统。同时A、B主机都以SAN模式连接存储，共享EMC提供的12个LUN共计600GB的存储空间。在共享的存储空间上建立两个共享的卷组，在共享的卷组上分别创建相应的逻辑卷和文件系统，用于存放应用系统产生的数据和数据库数据。

　　两台共享存储的IBM小型机互为备份，通常情况下由其中一台提供应用服务，另一台提供数据库服务，保证系统的负载均衡和数据库安全，假如其中一台出现故障，则将其承担的服务加载到另一台上来完成，待故障恢复后恢复初始的工作状态。我们所采取的方式是集高性能集群(High performance cluster. HPC)和高可用集群(High Availability cluster. HAC)的混合结构，服务分担、数据共享。

　　网络教学系统BB
　　该系统构架在SUN V880小型机上，配置为4CPU，8GB内存，6×73GB硬盘，操作系统为Solaris9，后台数据库为Oracle9i。

　　因为系统运行在单设备上，所以为保证系统的高可用性，我们将主机的6块73GB硬盘划分成2+4的办法，将hdisk0和hdisk1做成RAID 1，用于存放操作系统、中间件系统、应用系统和数据库系统。将hdisk2至hdisk5做成RAID 5，用于存放课件信息与数据库数据等。考虑到系统在全校推广使用后课件空间扩展的问题，同时以SAN模式连接IDC，利用EMC提供的4个LUN共计400GB的硬盘空间，因考虑到Solaris系统对存储管理的局限性，我们将4个LUN进行聚合后再提供给主机使用，满足了该系统课件数据和数据库数据备份对存储空间的要求。

　　邮件系统Email
　　该系统构架在SUN V880小型机上，配置为2CPU，4GB内存，6×73GB硬盘，操作系统为Solaris9。同时以DAS模式连接一台SUN Storedge 3310磁盘阵列，主要用于存储邮件,将SUN Storedge 3310的14X73GB硬盘做成RAID 5+1实现邮件存储的可靠和冗余。为进一步解决邮件的可靠性，服务器再以SAN模式连接IDC，利用EMC提供的硬盘空间对邮件数据进行定期备份。

　　高性能计算中心
　　高性能计算中心主要拥有大规模并行集群机曙光天潮系列TC4000A和共享内存体系结构的SGI Prism超级图形服务器，主要应用于并行计算、网格计算以及计算化学、计算生物学、计算材料、大气数值模拟等领域。

　　其中，曙光天潮系列TC4000A以NAS模式连接IDC，为其提供近1TB的存储空间，用于科学计算。

　　另外，IDC还为其它的Windows客户端系统提供iSCSI模式的Black I/O 访问，为各Windows客户端用户提供异地的文件存储和备份服务。

　　存储、容灾方案
　　针对学校信息化建设发展的实际需要，我们将在二期建设扩充一定的存储空间，增加1台SAN光纤交换机和1台IP SAN网关，实现原设计结构中冗余链路连接，新购Power Path软件实现真正的链路冗余和实时的链路切换。

　　为保证集中存储数据的可靠性和安全性，避免数据失效，在条件成熟的情况下我们将建立一个集中管理、自动化、高速有效、异构平台支持的数据备份保护系统，并能根据各服务器中数据的总量和变化特性充分利用NetBackup数据备份保护系统的层次化和模块化特性，以LAN+SAN的备份模式，实现统一的数据备份和容灾方案。

　　以上介绍了云南大学数据中心建设实践中的一些情况。系统从设计思想上就充分考虑应用的广泛性，因此已在全校各应用系统中得到广泛应用，并充分感受到集中存储给我们管理带来的诸多便利。随着大量数据的集中存储，我们会在将来考虑统一的备份和容灾系统，让数据中心在数字化校园中发挥重要作用。