最新
推荐
2014年高等教育信息化十大“关... 01-04 教育部成立教育信息化专家组 12-24
CERNET第二十一届学术年会 11-24 李志民:互联网促进人类文明迈... 11-15
|
根据以上需求,我们设计并实现了青云实验平台。该平台以VMware和Hadoop的HDFS为底层支撑技术,通过SpringSourceTool Suite建立了基于Java、JSP和MySQL的上层管理系统,并部署在Ubuntu9.04上,如图1 所示。
Vmware作为虚拟机管理程序,实现了对虚拟机的创建、部署、删除操作,可以在一台物理机器上同时运行多个Windows、DOS、Linux 系统;多个操作系统可以像Windows应用程序那样进行自由切换,无论在 Windows 还是 Linux 操作系统上。 Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都得到了应用,如亚马逊、Facebook和Yahoo等。 H a d o o p 框架中最核心的设计就是:MapReduce 和HDFS。HDFS(Hadoop Distributed File System , Hadoop分布式文件系统)是Hadoop的分布式文件管理系统,它具有高容错性,并且可以被部署在低价的硬件设备之上。HDFS 很适合那些有大数据集的应用,并且提供了对数据读写的高吞吐率。H D F S 是一个master/slave的结构,就通常的部署来说,在master上只运行一个Namenode,而在每一个slave上运行一个Datanode。 HDFS 支持传统的层次文件组织结构,同现有的一些文件系统在操作上很类似,例如创建和删除一个文件,把一个文件从一个目录移到另一个目录,重命名等等操作。Namenode管理着整个分布式文件系统,对文件系统的操作(如建立、删除文件和文件夹)都是通过Namenode 来控制。Namenode 将整个文件分为若干个数据块,将这些数据块(block)分布到各个Datanode节点上。 青云实验平台包括基于VMware的虚拟机管理子系统和基于HDFS 的分布式文件子系统。虚拟机管理子系统实现了虚拟机的自动分配、关闭、启动以及撤销,而且实现了虚拟机的分用户管理,有效地将各个用户进行隔离,增强安全性。 同时本系统实现了虚拟机资源的自动调整,在启动虚拟机前先判断虚拟机最近一次操作所消耗的CPU、内存资源,若返回动态信息中存在一半以上的项值超过75%,则增加相应的静态信息,增强灵活性,减少资源的浪费。分布式文件子系统能够按照用户的习惯保存用户的数据,并提供上传、下载、删除、创建文件夹等功能,方便用户对自己数据的管理。为了保障用户数据的安全,本系统还提供了数据备份功能。 用户只需要具有基本的操作系统和浏览器,就能够登录青云实验平台,然后通过平台提供的接口使用存储资源和虚拟机资源。 但青云实验平台还有许多需要完善的地方,例如实现数据的批量上传、下载、平台的安全性,虚拟机的动态调整算法的改进,具有简单上网功能的硬件设备的设计等,这些将是下一步工作目标。 |
版权所有:中国教育和科研计算机网网络中心 CERNIC,CERNET,京ICP备15006448号-16,京网文[2017]10376-1180号
关于假冒中国教育网的声明 | 有任何问题与建议请联络:Webmaster@staff.cernet.com