中国教育和科研计算机网
EDU首页 |  中国教育 |   高校科技 |   教育信息化 |   CERNET
教育信息化

资讯 | 专题 会议 观点 专栏 访谈 企业 产品 CIO 技术 校园信息化 下一代互联网 IPv6视频课堂

中国教育网 > 教育信息化
您现在的位置: EDU首页 > 教育信息化 > 解  读
林晓明:构建高校一体化数据管理平台
http://www.edu.cn   2009-12-07 中国教育和科研计算机网 作者:

字体选择:【大】 【中】 【小】

  那么一个软件它有一个设计理念,Camo这个设计理念是围绕数据生命周期来进行的,第一个它要提供一些工具就是资源管理工具让你分析你的在线数据的构成,现在比如说我们有很多服务器,你们的数据有好几个GB你根本就不知道这里面图象数据有多少,本文数据是多少你根本就不知道,另外一个你也不知道这些数据哪一些文件是经常访问的,哪一些文件是不经常访问的你根本就不知道,但是你是知道不同的容量,而且每年还在以50%以上的速度不断的增加。其实我们分析一下你可能会发现其实我再一个企业里面对它的一个大的文件系统,3个系统做了一个分析,它惊奇的发现60%的数据在两年之内根本没有人访问过,30%的数据经常在访问,那么我们花了那么多钱把不常用的数据一样的放在在了美的上面去做备份这是很浪费的。有了这个分析第一组资料以后我们具体的做优化的策略,哪一些数据要做迁移的,哪一些数据是大量重合的我们可以删除,这样我们可以节省大量的资源,我们可以做优化。

  另外我们根据我们这些数据做保管,保管的级别也是不一样的,一般的数据做一个备份就可以了,那么有一些是跟服务相关的数据,因为那个数据一坏那个服务就停掉了,比如数据库,我们就要在这个数据库做进一步的保管比如说复制,一变化我就复制过去,那一坏掉以后我马上可以恢复,这样不同的数据有不同的保管级别去保管。最后这些数据都是为了访问的,不管你是放在在线的还是放在什么地方,当你需要的时候你要快速把它找回来。比如说有些人说我做了备份数据我肯定没有丢,在这几十盘磁盘里面肯定没有丢,但是我需要的时候我找不到或者我很难找到,我可能花了一个月的时间也找不到,所以怎么能快速的找到,并让它投入生产应用也是一个很重要的事情。Camo的软件按照这样一个周期来设计的,那么就是说我们这个数据管理很大的一个工作就是面向恢复,什么意思呢?我们平时每天都在做备份,用不同的方式做,实际上就是说当数据丢失了以后我们能快速的恢复,那么现在的数据存放是很复杂的,有服务器的硬盘,有在线的存储,有可能有二级存储还有磁盘设备,还有VT2就是虚拟代步,你的数据是分散在不同地方的,你需要恢复的时候你针对这些设备做管理。有可能有一些是放在异地的,就像浙大它有几个校区,每个校区都有授权,而我们怎么样面对这样一个异购复杂的情况下进行一的恢复管理其实是一个很复杂事情。那么就看一看传统的备份大家都知道是把它备在磁带上,那么对于有一些像校园网里面重要的数据库备份的是不够的。为什么呢?通常备份是晚上做的,白天对变化的数据没有办法记录,所以为了使白天变化的数据也得到备份就是现在目前比较主流的方法就是复制,就是当你的数据变化的时候我就把那个变化的数据复制到另外一个地方,复制到另外一台机器把它记下来,当你这边的数据库坏掉了以后我可以把数据恢复过来,这是复制的一个原理。这样你数据的丢失量会更小恢复的时间会更快。

  但是复制有一个很麻烦的事情,复制是防止不了逻辑故障的,什么概念呢?你把这个表不小心删掉了,那复制的数据库的目标也会删掉,你这个生产系统被病毒攻击了,复制把病毒也会传到这个目标上去,它防止不了逻辑故障,所谓逻辑故障就是我们人不小心删掉,对这个数据库也能保证它防止逻辑故障,我们在目标单对数据库做快照,万一你的病人冲过去了两边的数据都被攻击掉了以后我可以从快照里面把以前的数据拿出来,这是数据跟快照相结合这样一种方法,用这样的一种方法也可以有效的保证数据库的一个自信。

  另外就是归纳,归纳的方法就是我制订一个策略一年不访问的我就放在二级存储,现在这个撒他盘很便宜,我们在线的盘比较昂贵,二级存储我可以用撒他盘做,我就把不访问的数据自动的迁移到二级存储去,当然放在二级存储不放心,我把二级存储的数据再在磁盘上备份一份,那么迁走的数据在原来的服务器上面求留下一个存根,用户看还能看的见,当你访问这个程序的时候数据会自动的从二级调到一级来,这样我们一级在线存储不需要经常去科隆了。因为你大量不访问的数据我迁到二级去,放到更廉价的存储上去,你需要的时候我一会儿会把它调过来,这样我们做了一个数据分级存储。对那些不常访问的文件这样管理起来是非常有效的。

  另外一个就是数据删除技术,就是说我们再做备份的时候,大家做应用管理的时候会经常碰到,做两次全备份之间可能有80%、90%的数据根本没有变化,但是做备份的要求你做全备份再做一次全备份通常要3到4个周期甚至更长,他为什么要求这样呢?因为我们有时候发现那个数据丢掉了之后不是当时发现的,可能是一个月以后发现的,因为我们用台式机也知道一个文档坏掉了你不去访问它你是发现不了的,等你去打开的时候地发现它坏掉了。但是破坏的时间跟你发现的时间中间相距有一段时间,所以备份一定要做好,可能今天的备份做了你今天这个文件坏了你不知道,一个月以后你发现的,所以一定要在一个月以前的备份里面把这个老文件找出来。所以备份一定是多份的,所以多份的造成一个问题数据大量是重复的,假设做一个策略,每个星期做一次全备份,所以大量是重复的,那为了现在像2008年IT里面一个最热门的话题就是重复数据的删除,它发现你的数据块相同它就删除,这样用它的技术来做磁盘备份可以节省大量的空间,Camo的就是说这个管理软件里面内涵了重复数据删除的技术,可能在外面有一些设计里面有重复删除的技术,这是Camo这个软件里面内涵的技术,内涵在里面以后它的价格就非常有竞争能力。

  另外一个可能是VR,我看大学里面有很多应用希望把它应用到VR上面去,其实这个问题任何事情有它的优点但是一定有它的不足之处,那么都集中到一个机器上去以后就是相当于把放在不同篮子里面的鸡蛋集中在一个篮子里面了,这个篮子坏的更快,那么上到VR以后数据保护一定要更加重视了,本来是分桑在10台机器上的,现在集中在一台设备上面,所以你对它数据的备份一定要更加的重视了。另外一个数据集中在虚拟机以后数据备份的流量没有改变,因为集中起来以后并不代表你的应用数据减少,只是说把这个不同的物理器融合在一起了,数据还是那么多。人家有一些数据集中在一起还是数据,但是你在一个物理机上把这些数据备份出去你会发现RO对CPO的压力一点都没有减少,还是把他们10个集中在一个上面了,所以在这个上面对VR的数据包括更加的重视,Camo跟VR公司合作就是利用VR的接口,我们直接把VR里面的文件或者单个的文件备份出来,当然这个虚拟机里面的文件坏掉以后我们可以很快的把它毁坏出去。所以这个地方就是对虚拟机的保护要非常的重要,那么在Came一体化的管理平台里面实际上把目前数据管理领域里面的核心技术都集中在一起了,比如说Dtodtot的分层存储,另外一个就是数据加密,数据复制包括数据的内容所以它都在里面了。

  那我们接下来看一下我们对高校一体化数据方案的一个理解,第一个就是我们认为建立一个数据管理的一个模型它有5个层面,第一个层面就是应用层面,大家都在上应用层,应用层最核心的是防止服务中断,下面一层是生产层,就是说应用层产生的数据放再生产层里面了,生产层里面就是我们的服务器里面的硬盘,那么在这一层我们的管理者要对它的数据、文件系统进行在线的分析,看它的变化是什么样的,通常我们对这个数据没有在线分析的,真正的你问每一个管理人员或者每一个负责运维的人你的数据到底是增长多少大家都不知道,比如说哪一些数据经常访问也不知道。比如说你的文档占多少他更不知道,所以在这一层我们管理者的工作就是时时刻刻的知道我的数据的变化量。

  下一层就是快照,当然这个在线数据崩溃了以后我要快速的恢复,下面一层是数据保护层就是我们传统说的备份,数据保护层有一个很简单的一个口号叫异地异制,你对这个数据保护要放在不同的镜子里面,要放在不同的地方,你不能放在原来的地方,你不能说都放在机房,同样放在磁盘里面,另外一个就是归纳,对传统的不访问的数据我们可以进行归纳,所以说做一个数据保护层实际上把这5个层面做好了以后基本上可以完成了。那么在具体选择方案的时候,因为不同方案的价值是不一样的,所以我们没有一个十全十美的方案,不管哪一个厂家你要做的更好钱会花的更多,所以我们会根据不同的应用选择一个合理的方案就可以了。

  那么就是说对一个中小的学校典型的来看我们可以把应用分一下,就是有一些关键的台式机我们可以对这个台式机做一个备份,还有一个不是很关键的应用我们做一个备份就可以了。非常关键的应用我们对物理机的复制还有一些不是最关键的应用,我们可以把这些数据库复制到一个虚拟机里面去,这样可以节省服务器,另外一个就是所有的机器都是要做备份的,备份的数据你不能放再一个地方,你通过网络或者民工搬运放在另外一个地方去。就是说你在线的数据有2份,备份的数据也最好是分成2份,这样一来就可以解决一个问题,另外就是我们现在很多大学它有很多的校区,就是说多校区的集中管理也很重要。以前就是一个校区各自管自己的,没有统一的原则,多校区的方法就是说我们的数据是分散化,但是我们可以进行集中的管理,就是说我们是在把下面的校区的数据做好备份,然后送到一个总部,这样你就可以为分校区提供了容灾备份,然后整个学校做一个统一的管理,可以做多校区的集中管理。

  另外一个就是说我们可以对我们的文件系统还有邮件系统特别是邮件系统数据变化很大,但是我们现在一般说大部分学校都说你3个月停掉了,有的学校想放长一点就没有办法,我们可以用归档性把它的邮件系统归档到磁盘里面或者归档到二级存储,这样它的邮件就可以保存更长时间,它需要的时候我就可以把它调过来,比如说3个月以内是放在邮件服务器里面的,3个月以外的数据我们把它归档到二级里面去,把不常用的归档到二级里面去。

  另外一个Camo还提供一个内容的一个引擎,它不光对在线的数据,特别是他对一线的数据做内容所以,做完内容所以以后我们可以把这些内容加工成知识库,实际上它有一个相当于Google这样一个东西,Google当然是搜网上的东西,Camo提供一个工具把你在线的数据甚至归档的数据都可以做内容所以。其实对离线的数据做内容管理是很重要的,我们很多数据备份出去了在线的都删掉了,大家知道这个数据在里面你可能找不到,你又不知道它的名字,也不知道它的时间段,如果有内容所以以后它就可以把它找到。这一图比如说找它的文章去找一下,找一下他就告诉你这个数据可能在磁盘里面,也可能在光盘里,也可能在哪一个服务器上面,然后你点一下就可以把这个文件调出来,特别是它的磁盘上面你点一下它就会从磁盘上上面它恢复过来,这样不管是在线的数据和离线的数据都可以。那么做运维管理的人员很重要的是什么呢?我们要有一个运维的一个监控,因为现在我们做运维管理完全是依靠管理人员,他做没做备份你根本就不知道,他如果没有做他说他做了,到时候出了问题去承担责任。所以我们有好的运维跟踪管理报告,个报告会定时的发到你馆长或者主任的邮箱里面,你一看昨天的都备份成功了,一看前两天备份没有成功我会盯一下出了什么问题,如果说以前都靠人的汇报就没有管理。

  最后我花2分钟把我们公司介绍一下,Camo是以前美国的一个上市公司,最早在1996年以前它在贝尔实验室负责全球运营的数据安全的,1996年分成两个,他后来从那里面独立出来的,它出来主要是做一体化的数据管理,在这个行业里面做的从技术上来看现在做的很领先,行业里做的很领先,公司的成长也很快,得了很多奖,光备份这一块他跟几个大牌在一起评比他是得了金奖。

  在我们全球有很多的客户,但是Camo在国内也做了不少的教育的客户,像浙大图书馆、上海公安大学、上海交大等等学校都是用Camo的这套方案,这是浙大图书馆就是用的Camo的这一套方案。由于时间关系就介绍这么多,谢谢大家!

页面功能 【打印】 【关闭】 【我有话说】

MOOC风暴来袭

版权所有:中国教育和科研计算机网网络中心 CERNIC,CERNET,京ICP备15006448号-16,京网文[2017]10376-1180号

关于假冒中国教育网的声明 | 有任何问题与建议请联络:Webmaster@staff.cernet.com