最新
推荐
2014年高等教育信息化十大“关... 01-04 教育部成立教育信息化专家组 12-24
我国首次开展全国性教育信息化... 12-22 CERNET第二十一届学术年会 11-24
| 试水信息生命周期管理
随着存储管理成本急剧攀升,非活动数据消耗了大量的存储资源,服务效率和服务水平成为存储技术变革的驱动力。清华大学信息技术研究院数据安全研究所副所长许泳分析:“超过80%的文件在30天内没有被访问过,而主存储中大量的这类非活动数据消耗了投资,并影响了系统的效率。” 美国著名信息资源管理专家霍顿曾提出,信息是有生命的,信息资源是一种具有生命周期的资源。这一理念在全球信息爆炸性增长中,受到关注。 比较以往的信息存储需求,高校信息存储需求也已经发生变化,已不仅仅需要满足存储的功能,还需要控制随之增长的信息存储成本,更需要对存储信息进行管理,满足不断发展的法规要求,并让信息充分发挥出其价值。 光电国家实验室副主任、华中科技大学谢长生教授认为,数据管理已经成为当前信息存储的一个重要关注点。“管理和保存无用的数据是巨大的浪费,无用信息干扰当前信息存取的性能。解决的办法之一就是向大脑学习遗忘机制,把重要的信息深层记忆,不重要的浅层记忆,无用的信息忘掉。”谢长生领导的信息存储系统教育部重点实验室提出了进化存储的理念,探索下一代互联网信息存储的模式与核心技术。 其实早在上个世纪60-70年代就已诞生了信息生命周期管理(Information Lifecycle Management,ILM)概念,直到2002年,美国存储技术公司(StorageTek公司)提出了数据生命周期管理的存储理念。 所谓数据生命周期管理,即根据数据的价值不同,将其存储在不同的介质之上。比如,一般而言,在一个数据诞生的前几周内,数据的价值最高,因而应当将其存储在读取效率较高的磁盘系统之上,即提供在线访问;而随着时间的推移,该数据的价值将随之降低,此时,应该将其转移到成本较低的介质之上,如磁带系统,提供近线访问,最后将访问量极低的数据迁移到离线的存储介质。 随后,惠普、IBM、EMC等知名企业也纷纷推出满足信息生命周期管理的系列产品,大型数据中心、大型企业等对企业信息管理的需求促使存储新技术推陈出新。 虽然信息生命周期的管理在业内已经不是一件新鲜事,但正在经历着信息大爆炸的高校,信息管理和整合正进入一个新的阶段,这一数据管理的新理念也随之开始进入大家的视野,得到应用。国内高校如北京航空航天大学、上海大学等正在尝试推行这一理念。 上海大学图书馆副馆长任树怀认为,信息生命周期管理不仅仅是一种技术,一种管理模型,更是一种信息化战略理念,在信息化过程中,需要把理念的贯彻、技术支撑和学校的策略制定相结合,才能达到一个好的效果。 物尽其用探究存储策略 业内人士分析:“数据管理的传统技术是分层管理技术,数据生命周期管理和重复数据删除等技术是近年来逐步实用化的技术。真正的应用才刚刚开始。” 2008年起,北京航空航天大学图书馆开始尝试信息资源分级分层存储,副馆长翁敬农说:“图书馆资源要做到物尽其用,我们依据数据的特点,结合内容使用的频度等,对存储的信息资源进行评估,并做出相应的存储策略,以降低成本,提高服务水平。”与北航相似,一些学校图书馆和信息中心已经开始进行数据管理的尝试。 那么,高校怎么样进行数据管理?其策略又是依据什么而定? 谢长生教授认为:“数据管理的一个重要任务就是对数据在存储资源上进行正确的时空分布。应该将价值最大的数据保存在等级最高的存储资源上,以保证最高的性能、可用性和安全性; 而对不重要的数据,就应该放在代价最小的存储资源上;对毫无价值的数据,就应当进行删除,以免白白占用存储资源。” 网络存储资源包括半导体存储器、高端高速硬盘、普通硬盘、磁带、光盘等存储资源和高速、中速、低速互联总线和网络等互连资源;根据可用性和安全性的要求,有些资源还有冗余、备份和安全保护。因此,不同的资源是有着不同代价的。在保存的数据中,往往有很多数据是重复的,除了保证数据可用性而特意为之以外,保存其他无用的重复数据都是对资源的浪费。在异地数据备份时,重复数据删除后再进行备份将节约大量的存储和带宽资源。 另外,数据的价值是有时间性的,数据在不同时间点的价值是不同的,根据数据的生命周期进行管理,就是体现数据的时间特性。 清华大学数据安全研究所副所长许泳甚至断言:“存储的下一步进化将是自动化的效用存储,即实现基于策略的管理,是自动发现,基于服务的存储。” 服务质量已经成为高校信息化工作的重要风向标。那么,对高校来说,如何实施信息生命周期管理策略,提高其信息服务的水平和质量? 目前通行的数据分层策略是:首先,将数据分类。按数据被访问的频率可分为:(1)在线数据(每天都需要访问的数据);(2)近线数据(需要随时访问,但访问频率和速度的要求都不高的数据);(3)离线数据(偶尔需要查询或访问的数据)。根据企业经验,完成这部分工作可以降低整个操作成本10%~15%。 最重要的在线数据采用昂贵的存储技术和方式,如磁盘阵列等;不经常使用的数据可以存放在成本稍低的设备中,需要归档的数据可以迁移到近线磁带库或离线存储介质上。完成这一步可使整个成本降低23%~30%左右。 复旦大学张计龙认为,针对高校不同业务和应用,需要采用不同的存储策略。目前高校的业务和应用包括管理、招生分配、办公自动化系统、资源管理系统、一卡通、教务教学管理、财务管理、 后勤管理、高校网站、教学和科研、高校数字图书馆系统、高校多媒体网络教学系统、远程教育系统、科学计算、网格节点等。 而这些业务的数据又可以分为三类,即结构化数据、半结构化数据和非结构化数据。针对文件等非结构化数据,提供对应用透明的分级存储和迁移;对于数据库等结构化数据,提供对应用透明的方式,将生产用数据和历史数据在不同存储层次之间迁移;对于邮件和短信等半结构化数据,邮件服务器通过接口透明地管理分级存储的邮件数据。同时,支持不同数据类型按照不同策略在各个存储层次之间迁移,根据数据的类型决定数据的迁移策略,兼而考虑时间、用户、内容、安全等等因素。 清华大学姜爱蓉副馆长分析提出,图书馆业务集中了对信息生命周期管理的需求,根据不同资源的特点,提供相应的存储策略,可以提高服务效率和服务水平。 图书馆结构化数据的快速访问体现在书目集成管理系统、各种数字资源库、各种资源导航系统、数字资源整合系统等,特点是运行在Oracle、SQLServer等数据库上,要求IO请求频率高,响应速度快,系统可靠性高。非结构化数据的大容量存储体现在电子期刊、电子图书的全文服务,音视点播服务,多媒体资源,文件传递、FTP下载等,特点是基于文件系统或者流媒体管理,存储文件多,数据总量大,IO请求相对少,要求存储容量大、传输速度快、扩展性强。 上海大学任树怀认为,信息生命周期管理的实施包括多个步骤,比如盘点和评价现有系统,分析信息形态、目标和价值,针对主要应用和信息价值制定实施储策略,以业务为中心制定管理制度,以信息价值为目标分级存储策略,以技术为手段实现异构环境的网络化存储和整合等,最终实现跨部门跨地域的自动化管理。 而在策略上,分级存储成为一种较好的技术选择。清华大学许泳教授分析,以学校举例,学生要查课的信息,这一层的服务,要求查询响应的时间非常短,可能在一秒钟之内,属于第一级的信息。这一层级是服务层的,不仅仅是存储反应时间快不快的问题。第二层的数据是一些文档,这些文档的数据反应不会以秒计,这类信息是第二层,属于分类的。第三层的数据是归档数据。因此,要根据单位的需求确定不同的服务层次,通过不同的存储设备、软件和架构使用户得到服务。 他对高校选择层次化的存储(分级存储)技术时的建议是,第一,要充分利用现有资源、现有投资;第二,要全面规划,按需购买;第三,维护成本不容低估。 当然,类似的数据管理技术仍然处在发展过程中。谢长生教授分析当前数据管理技术的特点,认为,目前的技术对数据价值重要性的判别大部分是人工的,下一步应该实现自动的标示和识别。 “扩大元数据(关于数据的数据)的属性、增加对数据重要性和数据生命周期的标识,可能是实现自动数据管理的一条有效途径。”他说。 来源:《中国教育网络》2009年3月刊 |
版权所有:中国教育和科研计算机网网络中心 CERNIC,CERNET,京ICP备15006448号-16,京网文[2017]10376-1180号
关于假冒中国教育网的声明 | 有任何问题与建议请联络:Webmaster@staff.cernet.com