最新
推荐
2014年高等教育信息化十大“关... 01-04 教育部成立教育信息化专家组 12-24
我国首次开展全国性教育信息化... 12-22 CERNET第二十一届学术年会 11-24
|
那么相对应的就是其他的厂商,比如说IBM的SIV它究竟是紧偶合还是松驰偶合我现在不清楚,根据我所听到的描述它可能是一种松驰偶合因为它可以无限扩展,不需要你去做更多的操作,但是事实上怎么样我现在还不清楚,因为我没有用过。那么从模式上来说它肯定提供的是一种硬件的模式,也就是说它是要把这个硬件卖给你的,它不像亚马逊这个硬件不是卖给你的,这个硬件是我的,你只需要付我的服务费就行了,这是两种模式,这是我们可以选择的。就是说对于图书馆来说其实最好的事就是专业的人做专业的事情,我们是做信息服务的,我们是做信息搜集和管理的,我们最好不用这个硬件,所以说我们可能会提供一个匀存储,谁来提供这样一个服务,我相信每年付费以后我就用这个东西就行了。我不想再面对我每天要选我究竟要哪一个,我究竟设置哪一个然后有多少人去管它,这个是一简单的一张表格。 那么我们来看这个是Inter的艾卡F这是一个我浙江大学的图书馆做的项目的一个合作伙再加工,再加工是从1996年开始搜集世界说所有的网页,那么到目前为止它已经搜集到1500亿个页面,那么这么大的一个存储它放在什么地方,就是右下角的这一块,我不是厂商我今天不是做广告,但是因为它给我的这张照片它确实用的是的这个产品,他说很简单,我是一个集装箱所有的东西都放在这里面,这个集装箱现在有多大?看这张照片,放在长城上面有这么一张照片,我估计一下应该是一个40次规,那么40次规的就是说22吨,它的容积是54立方米,当时我跟它的创始人聊天的时候,他跟我开玩笑,他说你知道整个互联网有多大?我说我不知道,你知道一个网页有多重吗?我说我不知道,他说你看22吨,22吨有1500亿个网页,那么一个网页是0.15毫克,你知道一个网页有多大占有多少体制吗?他说54立方米它有1500亿页面,那么就是0.36立方毫米,他说这个我都可以很精确的告诉你,你所创造的每一个网页它有多重,有多少体积。那么当这么一个集装箱放在我们这里,假设如果我能用一个集装箱解决问题,那么我是不是就一劳永逸了呢?事实上不可能,这是一张片子来自于Google的搜索服务架构师它的一个PPT上面的一个,他说真实的硬件环境可能给你开的玩笑是什么?第一行说了一个典型的KLS在头一年设置的时候会遇到所有的信息,那么所谓KLS的在google的设置里面它是指1000台以上的,我查了它相关的资料之后发现它至少是2400台这样一个规模,那么它就是说你会遇到50%的,你会有一次的电源故障,你会遇到一次需要搬迁等等等等,所有的这些都会困扰着你。上面的这些东西你都可以不看,就最后它说有1000个单独的机器故障,就这1000个单独的机器故障每天至少3次以上,我就必须有多少个人员来对付它,这个是非常恐怖的一件事情,也就是说事实上这些问题是图书馆的人解决不了的。但是我们图书馆还是在往这个方向发展,就是说我要海量海量,我要不断的把数据增加增加,其实这个是一个很大的问题。 这个照片是Google的数据中心,就是刚才我们所看到的那个类似于集装箱那样的,Google有无数的这样各集装箱,那么这张照片2006年8月14号也《纽约时代》暴光以后,你就可以在Google上面搜索到下面的这张照片,这是Google在哥伦比亚的一个数据中心,每一个建设都有一个足球场这么大,为什么要建在河边?就是为了散热,因为用通常的任何的散热方法都已经无法解决它的问题了。那么它现在在做一个新的存储与计算系统,那么这个系统是为了解决什么问题?管理100到1000万台服务器,管理100万亿个目录,管理一个Z,就是说100万PB,刚才如果你们记得的话就是那个IA的那个亚马逊它的一个大集装箱是2000个GB,他现在是要管理100万个PB,那个100到1000个数据中心,100到1000个数据中心是什么概念?Google像这么大的数据中心在全球有36个,那么现在它要开发新的东西是为了管理100到1000个数据中心,也就是说Google的目标在不远的将来它应该是有100个数据中心,否则的话他是不需要开发这个系统。可见就是说我们所面临的这个世界图景或者说Google所预计到的我们将要比信息淹没的程度是有多大。 那么这些存储的问题我觉得就是刚才所谓的海量存在管理的问题,我觉得不是留给我们的,我只是把这个图形告诉大家,应该是厂商解决的或者是Google这样的巨头他会去考虑的。那么我们还面临第二个问题就是海量的数据管理,存储管理的硬件问题可以不对付,但是数据管理我们要对付,数据管理我抽取了3个,一个是标音,一个是获取,一个是永久保存,标音是图书馆的本行,一本书到来你要编目,那么属于说像刚才我们讲到的Burike它有40亿张图片,那么这40亿张照片究竟是谁的?来自于哪里?什么时候上传的这些都是标音,有些标音是它自动标音的,有一些是需要人去标音的,那么无论是你人还是机器去标音,标音是一个大问题,我们图书馆的人可能想到的是马克,各位可能是产业界的人更多的可能想到的是DCKO,但是无论是马克还是DC究竟能不能解决这个问题,这个在海量数据面前,在40亿、80亿,1000亿这样的一个数据面前有没有效,这个是一个很大的问题。 第二个就是获取,就是我们标音完了以后像Google那样,他创建一个系统是在全球100到1000个数据中心,也就是说今后你所看到的一段视频很可能他是从欧洲、美洲和中国同时三个点上面传输过来的,然后传输给你的,它并不一定是在一个确定的点上,它肯定是分散的,因为按照我们目前了解的情况下Google不会吧一份文件放在一个确定的地方,包括VK也是这样,VK早就说了,它的一个系统管理员根本就不知道你所提的那个问题,你所搜集到的答案从哪里来的,那么在这样一种情况下获取是一个问题,我最终确定了一个我想要的这个Iken的时候我怎么去获取它,他是从哪里过来的这个是我们要考虑的。 第三个就是永久保存,图书馆有是一个人类信息的保存和传承一个功能。以前来说我们很简单,我们只要把那个书放起来就行了。现在我要面对的全部是数字资源,那么多的数字资源它的研究保障。十年前我们去香港讨论的时候,有一个数据保存专家就提出来。美国人的结论,十年前的结论,最好的数据保存方法,永久的保存方法就是打印出来保存。是一个悖论我们现在拼命的说要数字化数字化,他们其实十年前就说了,数字化没有用,最好的办法就是打印出来保存。为什么呢?我不知道大家有没有人现在用WPS,可能5年前10年前有很多人用WPS,如果现在还有当时写的一个文件,你现在打开也点困难的,尽管不是很困难,已经有点困难了。 永久保存肯定是一个非常大的问题,我想有很多的研究文章,我这里列举一下有一些计划。美国的国家数字信息基础设施与保障计划,ND、IPP,这个计划00年就开始的。它主要是建立一个数字资源长期保存的一个基本框架,包括了数字保存网络和数字保存结构两大部分,这是一个钢理性的东西。很多数字保存的会议上面都会提到,或者很多的文章都会引用他的一些对象。 跟这个非常类似的项目我是在CADAL三期的报告中到的,CADAL的三期报告,我们全中国向外商订购了那么多的数据库,我们有理由在中国之内也一份永久的保存。所以说CADAL准备在三期里面建一个永久保存中心,把所有数据库存储在里面,当我们的一个图书馆。由于经费原因或者其他任何一个原因,不能订购的时候,以前订购的东西都可以看。这个想法很好,但是我比对了这个项目之后我发现,(英文)里有点危险,为什么?人家是(英文)美国国会图书馆,(英文)共同支持,除此之外所有参与的图书馆都需要交年费的,它才能支持下来。(英文)只是用了教育部的基金,要做那个东西。我觉得刚才我前面讲大的存储问题他就未必能解决的了。后面的数据管理问题更大,当然最终估计到钱的问题,没有这些钱是做不了这个项目。 美国以外就是欧洲,欧洲有欧洲国家版本图书馆网络,就是NEGL项目,这个是有欧洲的八个国家图书馆,一个档案馆,两个ICY组成的三个主要出版商参与的。这个项目实际上更多的是框架性的,有点类似于NDIPP,是做一个基础结构。 另外欧洲的GPE,也是欧洲数据保存,也是类似的一个项目。欧洲在这上面丝毫不落后于美国,他们希望有自己一个永久保存的计划、永久保存的一个框架,所有的欧洲这些无论是数字图书馆、数字档案馆、数字博物馆,所有这些类型的数字化的计划都能在这个框架下进行。 由大英图书馆提出来,这里面的成员包括五个图书馆、三个档案馆、四个大学和四个公司。这个计划很有意思,有公司参与进去,有公司就有很好的技术支持和技术研发。保证这个项目不仅是一个纲领性的,不仅是一个基础平台的东西,同时又一种工具,有一种应用可以在上面,这样参与的成员是真正可以把东西直接放进去,可以获取。 私有的这些讲完,我最后讲一下CADAL项目为例。我先简单介绍我们这个项目,我们这个项目是大学数字图书馆国际合作计划。这个项目的目标就是减量海量数据资源,我刚才我讲了,我们现在面临的问题就是海量存储管理,海量数据管理,CADAL项目必然面临这个问题。他要做多学科多类型、多语种的这样一个海量数字资源,又是由国内外图书馆、学科组织、学科专业人员参与的和服务的,这个数字图书馆所面临的问题,前面所有罗列的一定都是可以看到的,他的建设期,一期已经完成了。2006年8月份我们就经过了验收。当时完成102万册的图书数字化。二期应该是今年年底明年年初正式起动,是国家投资1.5个亿,完成150万册图书的数字化。后面的从三期开始我们会更多的关注资源的整合,原生数字资源的管理和组织收集的这些工作。 这两张照片一张是04年这个项目的启动大会是在北大召开的,06年这个项目的验收大会,也是在北大召开的。整个教育部“211”十五期间三大建设工程之一,国家投资七千万,到07年底的时候,图书加工种量是接近140万册,已经发布了资源已经是110万册,存储容量超过300个TB。不是特别大,因为刚刚硬盘一个多是两个T了,我们当初做这个项目的时候一个硬盘36个G,这个已经扩大了很多的倍。这是我们的海量数据管理中心,至少从一个侧面看起来跟刚才展示的谷歌的数据也差不多,这是我们一个统一的OCR处理中心,因为我们数据图书馆下一步准备提供全能检索服务的,现在来说只是原数据服务,所以 有统一的OCR处理中心,进行统一的ORC处理。这是服务中心。 整个目前的CADAL是这样的,通过一个(英文)的网络和光纤的网络器连接光纤交换机,所有的服务器是直接跟光纤交换机直接相连,所有的存储原来的规划是直接跟导向机的连接,刚才讲到的一些照片可以拷贝可以虚拟化,远远做不到。这里面我们用的是一个IBM的导向器所以说IBM的存储量还是没有问题,惠普的存储量还是有问题,所以惠普的存储只能连光纤交换机不能直接连导向器,这是事实。 这个项目的二期我们打算做150万册,简单的讲包括这样一些资源,从中国古迹民国文献,中文图书中文报纸,外文图书外文的技术报告,地方文史资料还有一些多媒体的资料,视频资料,这些资源大家可以看到,我们估计我们二期结束的时候,我的资源总量就会超过1000个TB,如果简单化的处理,我可以跟IA说把(英文)的集装箱拉一个过来,我用半个就可以了。但是究竟采用什么样的方法我不清楚,因为这张图是拷贝来的,因为今年讲云存储,所以我们是不是用云的方法来解决这个问题。 亚马逊提供计算能力,存储能力、内容分发、数据库以及消息队列,你的负载均衡、监控等等所有这些东西亚马逊都可以提供给你,如果你积极一点的话,基本上给亚马逊,亚马逊一览都能解决。我所有的咨询上传过去,他来替我进行服务,这是一个解决方案。 云存储的模型就是讲的(英文)所有的东西都可以作为一个图,我们刚才看到的图上面说的,亚马逊上所有的东西基本上能被监控,(英文)全部可以用它来做,这就是所有的作为一个服务提供给你,你付的是服务费不需要购买任何的硬件设备。对于我们来说会比较亲切一点,或者我们更能够接受一点,比如说(英文),(英文)是(英文)和(英文)合并以后产生的一个结构。它是做像学术图书馆大学以及其他的文化遗产机构提供数字内容,永久访问服务,如果你愿意你可以把你的资源放在(英文),以后你就不要为存储的事情烦了。美国国会图书馆已经给他下了一个定单,我进行为期一年的测试,把我图书馆的一部分东西放在这里面,我来试试看到底好不好?是我自己拥有一个数据中心好,还是放在(英文)好呢? 第三我们可以看到,我们在CADAL项目一起建设的时候,CADAL当时提供给我们说,来攒自己的存储。你没有必要问厂商,当时达到一个CADAL 80台机器,是100TB,今年我所看到的是这样的东西,它已经升级了。CADAL上面可以有320个TB,可能CADAL上面有翻倍,因为我这样是我在什锦去拍的,在加州。我当时去看他的数据中心的时候我就再想,我要学习一下外国的先进经验,老美的机房肯定是很棒的,跑到那个地方在旧金山的一个市中心,一幢很老的楼,我是这个地方就是你们数据中心,是不是在地下室,我说是不是在地下室,在顶楼。没有荷载的问题,他的房子造得很结实,可能能够经历10级的地震的,所以跑到顶楼,顶楼上去就是这样子,所有的机柜就是一排一排的放在那里,每个机柜320个T,因为他现在不在局限做网页。刚才我们看到一个1500亿的网页是再一个集装箱里面,剩下的都是数字图书数字档案数字视频,数字音频所有的东西都做,所以需要有这么大的一个数据中心,现在全美有三个这样的数据中心。然后再荷兰阿姆克丹,在埃及的雅丽丝那图书馆都有他的数据中心做这样一个分布式的存储。 作为数据我们还有一个可借鉴的案例就是(英文123:08)我这次去美国看到的,美国的所谓机构合作委员会CIC和加州大学下面的11所大学共同成立的一个(英文)一个数字仓库的一个项目,(英文)我查了一下,(英文)是来自于印度语,印度语里面(英文)是大象。相信这样一个庞然大物是可以解决所有的问题的,他是什么概念呢?24个单位可以把所有的东西放在一起,我一个人搞不定这个问题我可以用24个人一起来搞定它,或者我们24个人分担的搞定它。大家统一的建立统一存储, 把我们的东西都在一起,大家可以分别来使用。当然前提是有一个基础,有一个什么基础呢?谷歌,谷歌的这个图书计划现在已经扫描了一千万册书,在全美24所学校都有图书提供给谷歌扫描,谷歌当时就承诺我给你扫描的图书就是给你的,当时他们就遇到一个问题,因为他要给你一份,所以你就必须建立一个数据中心,如果24个学校建立了24个数据中心。他们说我们不建24个中心,我们建一个中心,把谷歌故我们扫描的东西统统放在这里,反正我们这里面大部分都是(英文)所以我不怕这个东西会侵犯产权,然后再这个基础上开发一个平台,变成一个集合库是一个总入口,但是每个学校都有自己的分入口,每个学校把自己学校的品牌放到这个上面去,共同来管理,然后大家共同互相的协议进行访问。这个方案我当时没有意识到,我是介绍我们的CADAL的项目,我介绍完之后,他说你也可以进入CADAL。 因为CADAL也是我们第一期也16所学校参加了,第二期会有56个学校参加。也就是我谷歌一样,我帮大家把这个基础的东西做好了,我来建这么一个机构库,大家可以往里面填,也成立一个中国学术机构的总库,把所有的资源都积累在这里,一旦我们把这个架构做起来,可以跟美国的(英文)去对接,去把加州大学下面11所学校以及CIC的13所大学所有的资源我们来一个共享,这样可以把我们整个图书资源的信息共建共享做得比较充分。所以这个案例是可以借鉴的,我未来会考虑的一种存储,数据管理模式也好,甚至是共享模式。 从CADAL二期来说的话,本身准备在全中国东南西北建四个数据中心进行分布式的存储和分布式的服务。除此之外会建一系列的服务中心,的有服务中心管和图书馆三级的服务体系,通过这三级服务体系调用四大数据中心的数据,全中国的高等教育机器服务,同时也介入服务供应商,我们不排出服务供应商,你无论是CADAL还是清华同方,你都可以是一个资源供应商,你都可以在这个网上接入,但是前提条件没有中性化控制,全部都是趋中心化的。大家都是平衡的,最后我们倡导这样一种分布式的模式,在这个模式下面,无论是CADAL无论是浙江大学图书馆还是一个个企,一个作者一个出版社一个书店大家都会再一个网状平面上,去对用户,无论这个用户是月手机还是用CADAL还是用笔记本电脑都可以查找他的资源,其次是识别他的资源,然后选择他的资源,获取这个资源。同时我在这个网上获得导航服务,能够真正让读者以最方便的方法得到他所需要的资源。我想我简单的把这个报告跟大家分享到这里,谢谢大家。 |
版权所有:中国教育和科研计算机网网络中心 CERNIC,CERNET,京ICP备15006448号-16,京网文[2017]10376-1180号
关于假冒中国教育网的声明 | 有任何问题与建议请联络:Webmaster@staff.cernet.com