学校数据中心是收集、处理和存储全校公共数据和部门间的交换数据,并为全校提供信息共享服务的平台。数据中心建设是数字化校园建设的核心基础项目。通过建设数据中心,对学校的数据信息进行统一规划、统一管理,消除数字化校园建设中的“信息孤岛”现象,实现教学、科研、管理等信息资源的高效利用。虽然各学校的性质、规模、管理模式不同,对数据中心的需求和建设的方式方法不尽一致,但可以肯定的是,数据中心在学校信息化建设中的作用与日俱增。数据中心建设包括系统总体设计、服务器架构、存储和备份系统、数据库选型等内容。
一、数据中心的总体架构
(一)数据中心的总体目标
数据中心是为全校提供信息交换和共享服务的平台,担负着学校的核心计算、信息系统运行、信息资源管理、信息资源服务等任务。建设学校数据中心,就是为了实现学校信息系统集成和各个系统之间的数据共享,在存储数据的同时有效地将数据管理起来,并提供数据访问的手段,为系统集成和系统之间的数据共享提供平台,保证数据的及时性、完整性和一致性,促进校园范围内有效的数据共享及交换,提高学校用户获取、分析和处理数据的能力。
一般来讲,学校数据中心建设的具体目标可以包括以下几个方面:
(1)建立数字化校园统信息编码和数据标准;
(2)提供跨平台、跨操作系统、跨数据库管理系统、面向结构数据和非结构数据、跨应用系统的数据交换和数据共享机制,保证全校数据的完整、统一,实现学校数据的交换共享和应用系统的集成;
(3)提供数据积累机制,建立全校的历史数据库,进行数据挖掘和辅助决策应用,提升信息服务的深度和广度;
(4)建立集群化服务器架构,为信息系统提供资源充足、可动态调配的服务器环境,具有可扩展性和较强的数据中心处理能力;
(5)建立统一的存储环境、完善的数据备份策略和安全措施,对数据中心的各类应用和网络平台本身提供安全保障;
(6)实现数据中心整体优化,满足数据中心集中化后的高可靠性要求,降低管理维护复杂性和成本,建立绿色数据中心。
以上是一个完整的数据中心建设目标,各类学校可“结合本校的特点和数字化校园建设需求,确定各自的数据中心建设目标。比如,对于高校和职业院校可采取完整的数据中心建设方案,对于中小学校可以有选择地采取部分建设方案。
(二)数据中心的总体功能框架
从目前我国各类学校的信息化建设情况来看,大多数学校已经建立了部门专用的业务子系统,但各系统基本上是独立存在的,造成了网络背景下的“信息孤岛”。因此,学校需要一个高度集成的、高性能的共享数据中心,能够有效地把各种业务子系统的数据抽取到一起,通过更新和抽取工具给学校各个部门、各院系、各专业的教师和学生提供相应服务,实现信息资源共享,提高资源利用效率,据此,在学校各部门业务子系统建设的基础上构建跨部门的数据交换和数据共享机制。
在上述数据中心的总体功能框架中,我们采取了“4+1”建设模式,即数据中心平台框架由数据流转四个层次以及一个管理工具端构成。其中,数据流转是数据中心的核心功能,依托数据交换与共享平台实现了数据交换和数据共享机制(详见第七章第二节)。数据中心平台的数据流转和服务层次分为数据源层、数据转换层、核心数据层和信息发布层四个层次。
1.数据源层
数据源层主要是学校各个职能部门建设的业务系统及其数据资源。这是数据中心数据交换与共享平台需要进行采集、整合和共享的数据来源。包括两方面内容:一是现在学校已有的应用系统数据库;二是后续建设的各个应用系统的数据库。
2.数据转换层
数据转换层即数据交换平台,它是信息交换的核心,实现数据在各业务系统间的共享。它通过数据集成工具从数据源的各个部门业务系统和业务数据库中抽取数据,并根据数据类型分类存储。
3.核心数据层
核心数据层由共享数据库、数据仓库等组成,是数据中心的中心数据库。通过该数据库将学校内各类数据进行数据集成、集中存放通过统一的可靠性、安全性等方面的设计,对用户提供稳定、可信的共享数据服务。
4,信息发布层
信息发布层在共享数据库的基础上进一步构建各种信息应用系统,提供跨应用系统的综合信息查询、信息发布、报表生成等服务。基于数据仓库进行数据挖掘和OLAP分析,形成统计分析结果,为决策者进行决策提供参考。
管理工具端是对数据中心进行管理维护的工具,主要包括调研分析、元数据管理、主题管理、监控管理、标准管理、权限管理等工具。通过系统管理工具,对数据中心的运行进行管理维护。
二、服务器架构及选型
(一)服务器槊构需求分析
服务器系统是学校信息数据存储、共享、交换与处理的基础环境,是数据中心的核心设备。服务器的体系架构应满足信息系统运行的多种环境需求。
(1)为信息系统提供资源充足的服务器环境。根据数字化校园的总体规划,服务器架构应能够满足当前和未来一段时间内的信息系统运行的资源需求。
(2)为信息资源整合提供服务器环境。着眼于数字化校园应用的整体,从一个应用系统一套服务器的传统架构向服务器整合、集群化建设转变。在服务器架构设计时,尽量整合服务器资源,使多个应用能够和谐地运行在一套统一的运行环境上。
(3)为信息系统提供资源可动态凋配的服务器环境。学校信息系统的运行具有时段性特点,如排课系统、招生系统、考试系统等都集中在期初或期末运行,而且数字化校园的应用需求不断增长,这就要求学校数据中心的服务器架构要具有可伸缩性和动态的负载均衡,服务器的计算资源可动态调配,以满足学校某些业务在高峰期处理的需求和数字化校园发展的需要。
(二)服务器集群体系架构
针对上述数据中心服务器架构需求,目前的服务器集群技术是一个理想的选择。集群(Cluster)是由一组独立的计算机系统构成的一个松耦合的多处理器系统,它们之间通过网络实现进程间的通信。组成集群的多台服务器对于客户端来说就像是只有一个服务器,能够像一台机器那样进行服务。采用集群系统的目的在于通过多层网络结构进一步提高扩展性、可用性与可靠性,提高数据中心的数据处理能力及服务能力。目前,应用最为广泛的集群计算技术包括高可用集群技术、高性能并行数据库集群技术和高扩展负载均衡集群技术,这三种技术在实际应用中有可能会存在同一个应用中。采用三层及以上结构的应用服务可以在不同层次实现集群。
数据中心服务器集群体系架构具有以下四个特点:
(1)服务器整体采用Web层、应用层、数据库层三层架构,每层均设置多台服务器,层内服务器间采用不同的方式进行负载均衡,每层的服务器数量可以动态扩充。
(2)在Web层和应用层服务器群间采用硬件的负载均衡设备,进行负载均衡和故障切换。负载均衡器能够对各种服务和应用提供负载均衡功能,包括所有的Web服务器以及教学、科研、管理、服务平台等应用都可以在负载均衡器分组控制的情况下实现负载均衡,始终保持服务的畅通。
(3)设置一组服务器运行公共支撑平台,为应用系统和整个学校数字化校园服务提供统一的用户管理、身份认证、授权管理、数据交换等公共服务。
(4)在数据库服务器群,根据不同需求设置相应服务器。运行数据库服务器要尽量利用数据库系统的并行计算技术,提高数据库整体性能,同时兼顾单节点的处理能力。数据仓库列服务器的计算能力要求较高,各学校口丁根据业务发展和决策分析需求情况进行硬件选择。目前,大型专业数据库系统均支持并行数据库负载均衡,例如,可以利用Oracle Database的Real Application Cluster实现数据库级别的负载均衡与高可用。
(三)服务器虚拟化
服务器虚拟化就是在服务器上安装一个虚拟机监控器软件,将服务器物理的CPU、内存、网卡、硬盘和I/O等资源抽象出来,映射成若干个虚拟的CPU、内存、网卡、硬盘和I/O,构成虚拟机,每个虚拟机上可运行一个独立的操作系统和若干应用软件。当采用服务器虚拟化技术后,便可以在一台物理服务器上虚拟出若干个虚拟服务器,可以大大提升学校服务器资源整合和利用的效率,增强了服务器的安全性。当应用需求增加时,可以迅速创建更多虚拟机,从而无须增加物理服务器即可灵活地响应不断变化的需求,同时,通过减少运行的物理服务器数量和耗电量,还可达到节能减排、建设绿色数据中心的目的。
虚拟服务器技术的实现主要有三种方式
(1)纯软件虚拟。虚拟软件可以管理资源,充当主机操作系统与来宾操作系统之间的“转换器”。利用这种方式,不需要为虚拟技术改动主机操作系统(OS)。
(2)基于OS的虚拟。基于OS的虚拟即是在操作系统之上添加一个很薄的虚拟化程序,在这个虚拟化程序之上再模拟操作系统。利用这种方式,主机OS和虚拟软件会被集成到一起,这种紧密的集成有助于提高软件性能。
(3)基于处理器的虚拟。支持虚拟技术的CPU带有特别优化过的指令集来控制虚拟过程,相比软件的虚拟实现方式,这种虚拟方式会在很大程度上提高性能。
采用服务器虚拟化技术.数据中心需要为校内提供虚拟主机及服务器租赁服务,这样可以充分利用服务器资源,有效使用数据中心的物理空间。
三、存储与备份体系
学校数据中心在数据存储方面而临多方面的需求,比如:教学、科研、管理等应用需求不断发展,数据量不断增大,对存储空间的需求迅速增加;对数据的可靠性要求高;数据载体形式复杂多样,存储介质种类繁多,存储管理难度大;应用的需求复杂,存储体系需要支持不同类型的需求;等等。为此,在数据中心必须构建一个统的存储与备份体系,加强对数据存储和备份的统一管理,确保信息系统和数据的安全。
(一)统一的存储环境
数据中心是多服务器集中、海量数据存储的环境,学校在建设数据中心的过程中,需要对存储系统和数据保护手段进行整体规划,架构统一的存储环境,从而避免存储系统伴随着应用系统的建设和服务器个数的增加而无序地扩张。
目前,在数据中心建设中主流应用的存储架构是IP SAN网络体系结构。存储区域网络(SAN)是一种高速网络或子网络,提供计算机与存储系统之间的数据传输。一个SAN网络由负责阿络联结的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成,从而保证数据传输的安全性和力度。IP SAN的关键技术是iSCSI,即通过IP网络,将SCSI块数据转换成网络封包的一种传输协议,该协议被用于服务器、存储设备和协议传输网关设备。
采用IP SAN具有很好的优势。一方面可以共享昂贵的存储资源,提高存储设备的利用率,只要联入局域网的计算机都可以使用存储系统里的存储空间,并不需要改变网络体系,使得整个存储系统具有高扩展性;另一方面,这种集中化的虚拟存储池方式所提供的存储资源分配与管理,节省了传统的直连式存储设备多路并行管理费用,降低了使用成本。
在数字化校园建设中,通过采用标准的IP SAN架构的存储设备来搭建数据中心的统一存储平台,能够实现海量的存储容量,并且预留了扩展空间。利用IP SAN标准化和易于管理的特性,避免兼容性问题,降低整体拥有成本(TCO)。
同时,存储平台上还能够集成数据备份、连续数据保护、灾难恢复等不同级别的数据保护手段,满足所有应用系统的要求。
(二)数据备份策略
数据备份与恢复是整个存储系统设计和建设的重要内容。日前,学校的信息系统往往是由各个业务部门分别建设的,由于各个部门的技术能力、对数据保护的重视程度以及资金投入等方面的差异,在数据备份、数据保护级别上参差不齐,甚至部分应用系统没有任何数据备份的措施,数据安全存在很大隐患。为此,需要切实加强数据备份,根据业务特点和重要程度的不同,对校内的各种应用系统制定相应的数据备份和保护策略。制定数据备份策略通常需要考虑以下技术因素:
(1)备份软件的选择。业界有很多成熟的备份软件,如Veritas,Atempo等能够满足校园服务器备份的需求,要根据学校业务应用特点,选择不同的备份软件。
(2)备份介质。提供备份数据的存储空问,满足数据备份的需求,综合考虑系统成本、易操作性和可靠性,校园内一般采用磁盘、磁带作为备份介质。对备份介质的放置场所要合理安排,通常磁盘都在专业机房内,都能满足需求。而对于磁带存储的备份数据,则应认真考虑磁带的存放地点,避免各种干扰条件加速磁带介质的老化,甚至破坏磁带上的内容。
(3)备份方式。常见的备份方式包括完全备份、增量备份和差异备份,这些备份方式各有优缺点。通常的备份策略是组台这几种方式,以形成适度的备份方案,弥补单独使用某种方式时的缺陷。一般情况下可以每周进行一次完全备份,每天进行一次增量备份,根据需要适时进行差异备份。
(4)其他数据保护手段。在备份软件的基础上,根据业务的重要程度和应用的不同,选择更加有效的数据保护方式,如CDP(连续数据保护)、双机热备份、数据容灾备份等。
(三)双机热备份
双机热备份是数据保护非常有效的手段,也是目前主流的备份方式。双机热备份系统,即在两台服务器上均配置热备份软件,一旦任何系统应用出现故障,该应用系统会迅速切换到其他服务器上运行。双机热备份系统是提供100%数据可用性保证的存储系统,该系统采用双机热备容错技术,是为了消除网络中因服务器失败产生单点故障而设计的,双机热备可以实现运行时的相互监控,在系统发生故障时自动切换,使系统具有在线恢复能力,从而使得网络用户的业务应用正常运行,保证了数据的完整性及业务的高可靠性,使系统永不停机成为现实。
双机热备份方案使整个系统具备完善的自检测功能,多种情况下实现快速、平稳的自动切换,保障系统的正常运行。例如:服务器停电时,服务器的硬盘、CPU、RAM发生故障时,网络连接发生故障时(如网卡、网线故障),操作系统、数据库或应用程序发生故障时,均能实现自动切换,并能安全完成切换多次;互相检测机器的工作状态,保证双机的可靠性;保留完整的系统日志等。
(四)数据容灾备份
数据容灾备份是指在相隔较远的异地,建立两套或多套功能相同的数据系统,为系统数据提供一个能应付各种灾难的环境。两套系统之间可以进行健康状态监视和功能切换,当一处系统在遭受如火灾、水灾、地震、战争等不可抗拒的自然灾难而停止工作时,整个数据系统可以切换到另一处,使得该系统功能可以继续正常工作。容灾技术是系统的高可用性技术的一个组成部分,提供节点级别的系统恢复功能。容灾系统将保证用户数据的安全性(数据容灾),甚至,一个更加完善的容灾系统,还能提供不间断的应用服务(应用容灾)。可以说,容灾系统是数据存储备份的最高层次。
数据容灾备份采用的主要技术是异地数据复制技术,按照其实现的技术方式来说,可以分为同步传输方式和异步传输方式,另外,也有如“半同步”这样的方式。半同步传输方式基本与同步传输方式相同,只是在Read占L/O比重比较大时,相对同步传输方式,可以略微提高I/O的速度。在建立容灾备份系统时会涉及多种相关技术,如,SAN或NAS技术、远程镜像技术、基于IP的SAN的互联技术、快照技术等。
根据容灾备份的距离,数据容灾又可以分成同城容灾和异地容灾两种方式。同城容灾备份,是指将数据中心的数据备份在本地的容灾备份机房中,它的特点是速度相对较快。但它的缺点是一旦发生大灾大难,将无法保证本地容灾备份机房中的数据和系统仍可用。异地容灾备份,通过互联网TCP/IP协议,将数据中心的数据备份到异地。这样即使发生大灾大难,也可以在异地进行数据恢复。
四、数据库的选择
(一)数据库选择的依据
数据库管理系统是对数据进行存储、管理的具体平台。一般来说,选择数据库系统时应从以下五个方面予以考虑:
(1)稳定可靠。数据库保存的是学校最重要的数据,是学校应用的核心,稳定可靠的数据库是实现数据共享、进行应用开发的重要基础和条件。数据库的稳定可靠主要看数据库具备的灾难恢复、系统错误恢复、人为操作错误恢复等功能,同时要尽量降低数据库的计划内维护宕机时间。
(2)可扩展。数据库管理系统的处理能力应能逐步增加以满足学校业务处理不断扩展的需求。要选择具有良好的伸缩性及灵活的配置功能的产品,无论是主机系统的内存或硬盘方面的扩展,还是集群系统的扩展,都能够被数据库利用,从而提高系统的处理能力。
(3)安全性。系统应有充分有效的安全保护措施,使数据库能够防止不合法的使用造成的数据泄露、更改或破坏。
(4)便于开发。具有面向用户的、丰富的开发工具,能够有效支持多种数据库的应用开发,开发平台易学、易懂、易维护,支持多媒体数据类型和汉字处理能力。
(5)服务质量。应具有高质量的技术服务,包括各种方式的技术培训、支持和咨询,数据库产品的升级、维护等。
(二)几种典型的数据库产品
数据库管理系统软件已有许多成熟的商业产品,并且在许多学校信息化项目中得到广泛应用。这里对三种使用比较广泛且具有代表意义的数据库产品作一讨论。
1. Oracle数据库
Oracle数据库系统是Oracle公司提供的以分布式数据库为核心的一组软件产品,是目前最流行的客户服务器(Client/Server)或B/S体系结构的数据库之一。Oracle公司(甲骨文)是美国一家专门开发数据库软件的公司,0racle在数据库系统领域一直处于领先地位。作为一个通用的数据库系统,它具有完整的数据管理功能;作为一个关系数据库,它是一个完备关系的产品;作为分布式数据库,它实现了分布式处理功能,特别是支持Internet数据处理。Oracle的新版本增强了对应用的支持,提供了对大数据量的在线事务处理环境、查询密集型数据仓库以及针对互联网应用的高效、可靠及安全的数据管理能力,因此特别适用于各类数据中心的数据库建设。目前,Oracle产品覆盖了大、中、小型机等几十种机型,成为世界上使用最广泛的关系数据系统之一。
2.SQL Server数据库
SQL Server作为微软公司在Windows系列平台上开发的数据库,一经推出就以其易用性得到了很多用户的青睐。区别于FoxPro,Access等小型数据库,SQL Server是一个功能完备的数据库管理系统。它包括支持开发的引擎、标准的SQL语言、扩展的特性(如复制、OLAP、分析)等功能,并拥有像存储过程、触发器等大型数据库的特性。SQL Server 2005以上版本对性能、可靠性、稳定性以及易用性等进行了扩展和改进,例如对XML的支持、综合分析服务以及便捷的数据库管理等。SQL Server是目前关系数据库市场上发展最快的数据库,是Microsoft Windows平台上最流行的关系数据库,也是最流行的Web数据库。目前,在SQL Server上运行的应用程序超过了2000个,在当前市场上的表现十分突出。
3.MySQL数据库
MySQI是最流行的开放源码的SQL数据库管理系统,由MySQL AB公司开发并支持。由于MySQL是一种关联数据库管理系统,所以其存取速度和灵活性较其他数据库都有所提高。MySQL数据库快速、可靠且易于使用,MySQI服务器工作在客户端/服务器模式下,或嵌入式系统中,有大量可用的共享MySQL软件。与Oracle,SQL Server等大型数据库相比,MySQL功能虽然不是非常强大,但在各种中小型应用中非常普遍,它比针对小型办公应用而设计的Access具有明显优势,不仅免费,而且在性能、安全性上要好得多。MySQI可以在Windows环境下使用,对服务器配置要求较低,对于费用较紧张的中小学校网站应用来说,是一个不错的选择。当然,由于数据库本身的限制,MySQL不太适合访问量大的应用。