中国教育和科研计算机网
EDU首页 |  中国教育 |   高校科技 |   教育信息化 |   CERNET
教育信息化

资讯 | 专题 会议 观点 专栏 访谈 企业 产品 CIO 技术 校园信息化 下一代互联网 IPv6视频课堂

中国教育网 > 教育信息化
您现在的位置: EDU首页 > 教育信息化 > 集成应用 > 科研应用 > 科研共享
建设大科学数据“加工厂”
http://www.edu.cn   2014-04-22 中国教育网络 作者:

字体选择:【大】 【中】 【小】

  高能物理研究所的实践

  借鉴高能物理海量数据处理的技术与经验,高能物理研究所正在建设一个开放融合的科研大数据应用中心,通过将数据中心的功能进行外延,与大科学工程的数据获取系统、数据处理和展示等系统进行整合,力图成为大科学工程领域大数据的集散地和数据加工厂。

  科研大数据应用中心的特点首先表现在数据开放性上。系统集分布式数据获取和整合、存储、共享、传输、处理与展现与一体,通过将平台和应用的分工细化,提供不同级别的大数据基础支撑服务。大数据应用的研究者、开发者只需要利用平台开放的数据获取能力,获取需要的数据,或整合平台已有数据,并调用已有的存储、计算以及数据挖掘工具工作,即可以最高的效率、最低的成本达到研究及应用的目标。实际上,高能物理领域一直是按照这个模式开展工作,该平台将这种模式从高能物理扩大到其它大数据领域。

  科研大数据应用中心的另一个特点表现在数据融合能力上。科研大数据应用中心的数据是流动的且不断更新的。一方面,高能所基于自身科研需求,可以聚合其他领域科学应用的海量数据。另一方面,基于志愿计算的分布式数据采集技术是高能所独有的优势,采用该技术可以实现对互联网海量数据的有效采集,具有时效性、广泛性与精准性的显著特征。最后,通过数据合作、交换,可以整合更多领域的科研数据、物联网数据、互联网数据等海量数据。这些来源不同的数据依托科研大数据应用中心,实现高效、便zhu捷、可控的分享、交换、融合,最终促进跨学科交叉创新,实现数据价值的最大化。目前该数据应用中心整合了对撞机(如欧洲大型强制对撞机、北京正负电子对撞机)实验数据、大亚湾中微子实验数据、羊八井宇宙线实验数据、高能天体物理数据以及核分析数据等一大批自然科学数据资源,同时还采集了大规模的互联网数据,为相关科学领域和交叉学科提供服务。

  科研大数据应用中心的特点还表现在数据跨地域的传输与共享方面。科研大数据的特点是需要进行跨地域的海量数据交换。国内数据中心之间的数据交换仍存在带宽资源不足的问题。为了解决这一难题,高能物理研究所正在建设高能物理数据传输虚拟专用网(CHEPDTN),采用软件定义网络技术和网络架构(SDN),充分利用已有的网络基础设施(设备)和资源(IPv4 和IPv6 带宽),满足跨地域的高能物理实验合作单位之间的高速、稳定、安全的数据传输需求。目前CHEPDTN 连接了高能物理研究所、山东大学、上海交通大学和中国科技大学,实现科学数据的高速传输。与普通的云计算中心相比,建设中的科研大数据应用中心既有工具(云计算平台)又有金矿(数据),同时整合了科研、互联网、物联网等多领域的数据。良好的体系结构和新技术新思想的引入正在推动整个平台的健康发展。现代大科学都是数据驱动的,大科学工程在数据获取、存储与处理、数据传输与共享、数据展现等方面有着强烈的需求。在应用需求的引导下,高能物理等大科学领域在过去几十年中积累了大量的大数据存储、处理和共享等技术和经验。大科学的数据是现代科学研究的根本,数据平台的建设将保障和促进科学研究的顺利开展。科研大数据技术的研究和发展反过来可应用于整个社会的大数据行业。

  (作者单位为中国科学院高能物理研究所)

页面功能 【打印】 【关闭】 【我有话说

MOOC风暴来袭

版权所有:中国教育和科研计算机网网络中心 CERNIC,CERNET,京ICP备15006448号-16,京网文[2017]10376-1180号

关于假冒中国教育网的声明 | 有任何问题与建议请联络:Webmaster@staff.cernet.com