数据库与信息管理
基于云计算的校园网综合数据服务平台设计
彭劲杰
中共湖南省委党校,长沙410006)(
摘
要:随着高校教育信息化建设的不断深入,校园网中的各种软硬件资源越来越多,同时用户对基于“云”+“端”
的服务需求日益迫切,有效整合资源,增强业务协同,就成为了校园网服务工作的重中之重。在充分考虑到高校基于“云”+“端”服务的需求基础上,综合运用云计算技术,设计了一个基于云计算的校园网综合数据服务平台。
关键词:校园网;云计算;分布式文件系统;Mapredcue
ComprehensiveDataServicePlatformDesignBasedonCloudComputinginCampusNetwork
PENGJin-jie
(CPCHunanProvincialCommitteePartySchool,Changsha410006,China)
Abstract:withthedeepeningofeducationinformationconstructionincolleges,therearemoreandmoresoftwareandhard-wareresourcesinthecampusnetwork.Inthemeantime,userdemandonthecloudcomputingandterminalbecomesurgent.
Therefore,howtoeffectivelyintegrateresourcesandstrengthenbusinesscollaborationshouldbepriorityforall.Onconsider-ationofuserdemandonthecloudcomputingandterminal,wedesignacomprehensivedataserviceplatformbasedoncloudcomputingincampusnetwork.
Keywords:campusnetwork;cloudcomputing;distributedfilesystem;Mapreduce
1引言
我国高校的教育信息化建设开始于上世纪90年代,并且
公有云与私有云以协调工作的方式提供资源给用户使用。
而开源的Hadoop是最常用的云计算框架之一。其利用一套服务接口来屏蔽底层架构,使得开发者能够专注于分布式程序的开发。并且Hadoop具有高可靠性、高效性、低成本、易扩展性等特点,使得其逐渐成为一个标准的云计算解决方案。因此采用Hadoop来实现校园网中的综合数据服务平台。
我国在十二五规划中首次从国家层面对教育信息化进行了规划,并指出作为高校战略发展的重要保障的教育信息化是高校自身提升竞争力的有效手段[1]。以后,各高校逐步加大教育信息化投入,而校园网建设是教务信息化建设的重要组成部分。但是在校园网建设的过程中,由于规划的不合理性导致了数据难以共享,重复投入等问题的出现。并且随着校园网所承载的应用越来越多,校园网中的数据类型与数据量也出现了集中式增长,这种增长给服务器带来了巨大的负担。而为了应对服务的增长,传统的做法是更换处理能力更强的服务器。这种做法不仅投入大,而且系统的容错率、扩展性与稳定性都比较差。而云计算利用虚拟技术把处于网络中不同位置上的主机整合在一起,形成一个资源池,即用户所需的服务都由资源池来处理,从而实现网络资源的整合,提升了系统的稳定性与扩展性。因此,综合运用云计算技术,设计了一个基于云计算的校园网综合数据服务平台[2]。
3设计原则
基于云计算的校园网综合数据服务平台的设计目标:针
对现阶段高校校园网建设所存在的不足,利用云计算中的
PaaS(PlatformasaService,台即服务)来为校园网提供综合
数据服务,从而实现基于云计算的校园网综合数据服务平台。而该平台是由3个子平台所构成:DSCP(DistributedStorage
andComputingPlatform,分布式存储与计算平台)、UAP(U-nifiedAuthenticationPlatform,统一身份认证平台)和WSAP
(WebServiceAccessPlatform,Web服务接入平台)。
在设计的过程中,所采取的设计思路为:以高校校园网的现状作为基础,按照“整体规划,整体推进,难点公关”的思路来进行综合数据服务平台的设计,从而减少开发流程,加快开发进度,尽早地实现原有平台过渡到新平台。与此同时,基于云计算的校园网综合数据服务平台的设计还必须遵守先进性、实用性、稳定性以及易扩展性的原则来保证所设计平台的效能。
2云计算
根据NIST(NationalInstituteofStandardsandTechnology,
美国国家标准与技术研究院)对云计算的定义[3]:其将网络中的服务器、应用程序、存储器等软硬件资源整合在一起,从而形成一个动态的资源池,该资源池可供整个网络使用。
云计算的架构又分成3类:私有云、公有云以及混合云。私有云是指其资源池仅对内部人员开放。公有云通常由第三方以免费或者付费的方式供注册用户使用。而在混合云中,
作者简介:彭劲杰(1967-),男,教授,研究方向:信息技
术应用。
收稿日期:2014-06-20
2014.18
43
电脑编程技巧与维护
4
总体设计
图1给出了基于云计算的校园网综合数据服务平台的体系架构。从图1中可以看出,该平台由应用层、服务层、设备层所组成。
图1
体系架构图
设备层由服务器、传输设备、存储器、感知设备等不同类型的硬件设备所组成,而这些硬件设备又构成了一个资源池,资源池可以为服务层提供计算、存储、传输等服务。并且在云计算的架构下,资源池将会被虚拟化,从而使得具体的硬件设备对服务层是透明的,即服务层并不需要了解设备层中的硬件的位置、网络拓扑等情况,其只通过调用底层的
IaaS(InfrastructureasaService,基础设施即服务)来得到所
需的服务。此外,当校园网需要进行扩容时,只需要增加相应的硬件设备并进行简单的配置即可实现。
应用层利用服务层所提供的不同的数据服务来满足校园网中的用户的各种具体的应用需求。而一个应用需求的实现有可能需要使用服务层中的多个服务。
服务层处在应用层与设备层之间,其用来为应用层提供各种数据服务,这些服务主要有:用户认证服务、计算服务、接入服务、存储服务、Web查询服务等。而应用层通过调用服务层所提供的不同的API(ApplicaitonProgramInterface,应用程序接口)来得到相应的服务,并且该API是符合Web
Servcie标准的。这样做的好处是各种服务的实现过程对应用
层是透明的,从而使得开发人员能够专注于开发满足高校业务需求的应用。此外,由于所有的API都采用统一的标准,这样不仅便于后续的维护与升级,也便于与外部系统实现互联互通。由此可见,服务层在整个体系架构中起着至关重要的作用。具体来说,服务层所能够提供的服务是由DSCP、
UAP与WASP来实现的。其中,DSCP用于承担分布式存储服
务与分布式计算服务,UAP用于承担登录服务与认证服务,而WSAP用于承担查找服务于WebService注册服务。
5DSCP设计
为了兼顾开发成本与平台先进性这两个方面,选择在云计算框架Hadoop上来进行DSCP的设计与开发。这是因为
Hadoop对硬件设备进行了很好的封装,并且其具备异常处置、
备份、负载均衡、容灾等功能,从而使得用户更多地专注于分布式计算与存储的开发或使用上。此外,由于Hadoop本身就是采用分布式文件系统HDFS(HadoopDistributedFileSys-
tem),因此其能够很好地支持分布式存储,同时Hadoop中的
44
2014.18
数据冗余控制机制又能够保证所存储数据的完整性与可靠性,而Hadoop中的Mapredcue本身就是为分布式计算而开发设计的,因此其完全能够胜任分布式计算。
6UAP设计
当校园网中的用户进入高校网站的登录界面并通过身份认证后,其才被允许提交相应的应用服务请求,而UAP就是用于提供登录服务以及身份认证服务。而由于用户身份信息的异构性,即用户身份信息可能存放在关系数据库、分布式数据库等中,因此所设计的方式必须能够应对这种情况。采用SpringIOC技术以及面向接口编程的方式来设计UAP。这是因为上述设计方式使得开发者只需设计认证处理部分,而用户身份信息所存放的位置由动态配置文件所决定。当用户提交了认证请求后,服务器将生成用户身份票据TGT(Ticket
GrantTicket)与服务票据ST(ServiceTicket)并将这两个票
据都存在Cookie中,供后续使用。
7WSAP设计
在校园网中,WSAP把所有类型的Web服务都转变成标准相统一的接口,用户通过访问相应的接口来得到所需的服务。并且在WSAP中,用户是由使用者与服务者所组成。前者通过WSAP中接口来申请所需要的服务,而后者通过服务注册与更新申请来告诉系统其所能提供的服务。对于两种用户,WSAP都会对所提交的申请进行审查,并在审查通过后,对服务目录数据库中相对应的项进行操作。由此可见,WSAP能够提供服务注册和更新接口、服务查询接口以及服务目录管理接口。
参考文献
[1]孙柏祥.云计算—高校教育信息化建设和发展的新模式
[J].中国电化教育,2010,
(5):123-125.
[2]MaN,YuanM,CaoG.IntegrationofDigitalCampusRe-sourcesBasedonCloudComputing[C]//Proceedingsofthe2012InternationalConferenceonCyberneticsandInformat-ics.SpringerNewYork,2014:1957-1963.
[3]ArmbrustM,FoxA,GriffithR,etal.Aviewofcloudcomput-ing[J].CommunicationsoftheACM,2010,53(4):50-58.[4]WhiteT.Hadoop:thedefinitiveguide:thedefinitiveguide[M].
\"O'ReillyMedia,Inc.\",2009.
因篇幅问题不能全部显示,请点此查看更多更全内容