中国教育和科研计算机网
EDU首页 |  中国教育 |   高校科技 |   教育信息化 |   CERNET
教育信息化

资讯 | 专题 会议 观点 专栏 访谈 企业 产品 CIO 技术 校园信息化 下一代互联网 IPv6视频课堂

中国教育网 > 教育信息化
您现在的位置: EDU首页 > 教育信息化 > 专题文章
杨 捷:为数字校园提供信息基础架构
http://www.edu.cn   2009-12-07 中国教育和科研计算机网 作者:

字体选择:【大】 【中】 【小】

  前面我们提到的都是一些通用的存储的技术,存储的解决方案。适用于文件类的数据,适用于数据库类的数据,但是高校我们看到一位专的需求,理工科都会有较高的云计算的集群,网格计算等等这些。传统我们看到在构件这个云计算的时候,我们做一个64结点,或者128个结点这样一个集群,在这个里面,我们都会把这些结点分成两种角色。一种叫做计算结点,一种叫存储结点。计算结点只是负责运算的,把任务交给他运算。他在运算的时候用到的数据从哪儿来呢?是由存储结点来提供的。所以通常来讲,存储结点都是什么?后面有一个的网络,这些存储结点都连接到网络上。然后由一个第三方的软件来做数据共享,我们有的时候叫做集群文件系统,有的时候叫共享文件系统,有的时候分布式的文件系统。这些文件系统,传统的像IBM、GPMS有一个开元,这些都是我们在高端计算里面常用的这些文件系统,是用来多个存储结点之间共享一个文件系统。这一块我们看到存储结点在给你的计算结点提供数据的时候,实际上还是走文件传输的协议。所以实际上在计算结点和存储结点之间的访问贷款还有效率还是受网络文件系统的这个效率的限制。当你的运算需要大容量的,高速传输的数据的时候,可能还会有瓶颈。所以我们EMC现有的统一存储平台上面,我们给出一个自己的解决方案,叫做高性能,叫多种文件系统的。这个MTFS会把你所有的计算结点和存储结点合二为一,你所有的结点,我64个结点,所有的结点每一个既是计算结点也是存储结点。每一个结算结点都可以直接到(英文)网络拿数据。每一个计算结点所看到的数据都是一样的。看一下原理,实际上还是走两方面协议来传输这个。

  所以这个是可以应用我们的网格计算的集群里面,其实我们现在在国内也有成功的案例。这个系统正在实施的过程当中,其实我们看到这个不仅仅用在高性能的计算,有些用户在类似于VUB的点播,我们知道如果我们有多个VUB多个服务器的话,后面的数据源是一套,传统的是走(英文),如果(英文)的性能不够,你有可能加(英文),这个时候你的成本越来越高。优化这个系统的性能。这是我们比较独特的一块,在存储这个数据访问这一块,有独特的技术。接下来看一下这个数据的保护,其实在校园的网络中心等等这些系统里面,我们看到有越来越多的数据都是学校自荐的数据。一卡通系统我们的校园网还有等等点课的系统,还有所有的博客论文,还有视频网上教育等等。这些数据都是自荐,自荐实际上很宝贵的。基本上我们现在很多的客户都是说我要把经历放在这些数据的保护和这些应用的保护上面。看到做数据保护,做这个应用保护技术他的产品其实很多,选用什么样的技术是针对不同的应用,不同类型的数据,这个数据量到底有大?你的保护方式你数据允许的注册量有多大?你知道要做本地的保护还是做异地的保护,这些都是很有关系的。

  所以我们要选择一个适合你的解决方案,来统一做。现在我们看到的,在学校里面数据保护这个难点在哪儿?一个是说我们的数据量飞速的增长,以前是两个T,现在保护的是几十个T,几十个T的数据怎么样能够做一个备份,怎么样在一个网上备份下来。还有就是我们看到今天你是一个虚拟化的主题,我们很多的学校都已经开始在研究,甚至部署。我们有很多的学校开始部署虚拟化的这种架构,在虚拟的架构里面其实提出新的数据保护的需求。比如说我所有的虚拟机要不要保护?怎么保护?虚拟机的保护实际上你是三五台很好做,我们把这个文件拷出来就可以,如果是50台、100台甚至更多,这些虚机怎么样去进行保护。这也是一个新的问题,所以是让我们看到真的是新的技术,带来新的难题。我们现在有一个趋势,在数字保护数字备份的领域,有一个趋势,采用磁盘备份的技术替代磁带的方式。大家也知道磁盘的备份,盘毕竟还是比带子贵,我们至少在未来若干年是不可能有这样一个反转的态势,但是怎么样能够确保你适当的成本来保护我们的数据在磁盘上面,所以我们现在有一个新的发展趋势,叫做(128:48)这种技术只能在磁盘上做,在磁带上做不了,所以这个技术结合上到磁盘上是能够解决我们目前面临的大量数据的保护的需求。

  我们举一个很简单的例子,如果我有10个TB的数据要做备份,然后我假设我这个备份的数据保留10份,我的备份的东西要循环10次,在每一次备份之间我有分量的数据,每一次分量大概是500个G,如果没有重复的删除,我们备10次之后就会变成100多个G,这100多个G如果放在磁盘上,这个成本是很难接受的。所以我们现在很多只能选用磁盘,但是如果在磁盘上有一个重复的删除。假设我的重复删除的比例是50%,这个其实不算高,所以你看到我们10次备份下来之后,我做了这样一个计算。我们需要占用磁盘的空间只有7.25G,可以极大的减少备份系统对磁盘的占用。如果我想把成本降下来,重复的删除是一个什么原理呢?实际上是采用了先把数据化切片,不管你是数据库的数据还是文件的数据,我们以快的方式切开,切成小的单位,然后通过(130:22)计算法针对不同的数据快,我们算一个相当于每一个数据块算出自己的地址。相当于这个数据块有自己的指纹,这个指纹都是唯一的。如果两个数据块一模一样的话,算出来这个指纹是不一样,如果中间有一个字节的差别,算出来这个地址是不一样的。所以类似于我们举了一个例子,像我们的水分子一样,水分子里面氢氧原子,所以剩下的就是这个水分子里面的氢原子和氧原子,你备份的时候,只要把这两个原子备下来就可以了。

  这就是我们通过屏幕删除之后,为什么极大降低我们存储的这个数据量。删除有两种方案,一种方案是在你没有做备份之前先做程序删除。当你开始要做数据备份的时候我们先做这个程序删除,然后把这个删除之后剩下的这个数据传到这个备份系统就是备份,这种方式我们叫原端的程序删除。还有一种方式是说我们通过备份的软件把这个数据备份到我们备份设备的时候,这些数据已经传到我们的备份设备,由这个备份设备做(除乘)的工作。这个叫做目标短的程序删除。这两种解决方案实际上是针对,其实他们是互相互补的,他是针对不同类型的需求。我们现在已经有备份的文件,只不过用磁带的方式,磁带经过出鼓掌,我们就可以用磁盘的方式去替代。这个时候我们可以用目标端的工具删除,直接在这个设备当中用磁带还是磁盘,就可以以原来的备份方式来做备份。如果我们说,我们现在网络上面有大量的文件以前没有备份,现在想备份。还有我们有很多虚机的文件要做备份。还有就是我起动备份的时候,一启动备份我的网络就堵塞了。

  因为你大量的文件数据在网络上传输,占用了很多的网络贷款,这个时候正常的业务,正常的应用就受到很大的影响。所以在这些情况下,我们建议用远端的程序删除,远端的除乘在网络上传输的数据量很小,这个时候给网络带宽的影响很小。而且这种原端的除乘对于虚拟化环境都特别有效。所以我们其实远端和目标端的这种程序删除,有自己适应的环境。有这种新一代的备份解决方案以后,我们可以在相同的容量上备份更多的数据,能够提高我们备份的效率。我们需要保护的这些数据能力存更长的时间。并且你的备份是非常可靠的,如果你用磁带备份,你经常会发现当你恢复的时候,这个磁带坏了。是恢复不了的,备份没有任何意义。但是如果你把数据备份到磁盘上,磁盘上有各种各样的数据保护的机制等等。我们可以保证这个备份数据的可恢复的。

  更进一步的讲,有的数据可能说我备一千的数据是不够的,比如说(134:05)系统我时时有交易。我今天吃饭收了多少钱?我又去刷卡消费剩了多少钱?这些数据可能我们希望备份的周期越短又好。我哪怕一个小时,或者几分钟我就要备一次?这种情况下我们就要用到一些新的这样一些技术。这个技术叫做连续数据保护。这种技术可以使得我们的数据保护从一天缩短以分钟计以秒计你最关键的数据可以采用这样的技术,去做保护。因为时间的关系我们今天没有时间去展开来讲。我就给大家举一个例子。

  这种保护有点像拍照,或者是录像。如果你是拍照的话,你可以恢复到你拍照的那个时间点。我每两个小时拍一次照,你的数据可以恢复两个小时之前,如果你是录像,你就是录了前面,我现在有网络的视频直拨,我们整个几个小时录下来了,当然恢复了之后我就倒带,倒到四个小时之内任何一个时间点我就可以回放。

  所以这是我们在数据保护上面一些新的技术和趋势。最后一块,虚拟化我今天就不花太多的时间去讲了。其实我们看到在校园网里面尤其是网络中心这一块,有越来越多的需求是要帮助我们来降低我们整个网络中心运行的成本还有就是提高整个网络中心的利用率。

  第三块就是最重要的一块,怎么样能应对现在校网中心里面越来越多的应用,不断的上线的需求。我之前跟我们的一个客户去聊过,我们很多的院系自己都建自己的应用。他三天两头给我一个新的应用,我用传统的方式准备一台服务器,如果没有服务器我就要去买。这个服务器买了以后装系统,装应用装数据库,等到上线之后,可能就是一两个月,两三个月就过去了。还有这些应用服务器越来越多,我的机房根本没有空间,我的电可能也不够,所以怎么样能够去更快速的使得这些应用去上线。有的学校说搞一个活动,我建一个网站,这个活动结束之后这个网站就不需要了。所以有频繁应用的变更,通过我们的虚拟化的解决方法,其实都可以来解决的。所以我们今天后面的主题,包括明天我们还有一个分会场,就是探讨我们整个数据中心的虚拟化,怎么来做。EMC有一些什么样的解决方案?所以今天我们就不再太多的介绍了。总体上来讲,我们大家看到在学校信息化建设中有这样一些新的需求,有一些新的趋势。我也希望在以后的和大家交流过程当中,能够跟大家一起探讨,怎么样能够把我们新一代的数据化大学建设得更好,那我今天的介绍就到这里,谢谢大家。

页面功能 【打印】 【关闭】 【我有话说】

MOOC风暴来袭

版权所有:中国教育和科研计算机网网络中心 CERNIC,CERNET,京ICP备15006448号-16,京网文[2017]10376-1180号

关于假冒中国教育网的声明 | 有任何问题与建议请联络:Webmaster@staff.cernet.com