当用户提交一个任务时，DataGrid首先分析完成任务所需要的计算资源。然后，找到这些资源并分配给任务。同样地，运行任务所需要的数据也被检索出来并传送给计算资源。在这个过程中，DataGrid需要具备：分析任务的能力，随时掌握网格中资源的能力，执行任务程序的能力，任意传输数据的能力，判定和保障服务质量的能力，从错误中恢复的能力，记录出错情况的能力，等等。

背景

欧洲原子能研究机构CERN

欧洲原子能研究机构CERN成立于1954年，是世界最大的粒子物理研究中心。CERN是欧洲第一个联合研究机构，由20个成员国提供资金，其卓越成绩已经成为国际合作的典范[43]。CERN位于法国和瑞士的交界处，就在日内瓦的郊区。CERN主要研究物质是怎样构成的，以及是什么把它们结合起来的。CERN建有世界上最大的正负电子对撞机LEP（Large Electron-Positron collider）和超级质子同步加速器SPS(Super Proton Synchrotron)，如图4?1所示，大圆是LEP，周长达到27公里，粒子能够加速到每秒运动11000周，接近光速。小圆是SPS。与加速器配套的是四层楼高的粒子检测器，用于对粒子性质进行分析。

图4?1 CERN（大圆为LEP，小圆为SPS）

来自全世界80多个国家、500多所大学及研究机构的6500多名科学家（占全球粒子物理学家的一半）在CERN进行各种各样的实验。CERN自身拥有各种各样的技术支持人员，包括物理学家、工程师、程序员、技术人员、管理人员、工人等，他们负责建立各种复杂的设施并保障其正常运转。在CERN完成的实验也是前所未有的，通常需要数百名科学家在巨大的设备上共同完成，一个实验昼夜不停，持续数月乃至数年。

顺便说一句，CERN同时也是寰球网WWW(World Wide Web)的发源地[44]。1990年，CERN的计算机科学家Tim Berners-Lee，为了方便分布于世界各地的高能物理学家之间的协作，设想和开发了WWW客户端和服务器端，还定义了URL、HTTP、HTML等。正是由于Tim等人的贡献，Internet才变成了大家今天所习惯的模样。

大型强子对撞机LHC

目前CERN有1800名物理学家正在为下一代全新的加速装置作实验准备。该装置称为大型强子对撞机LHC（Large Hadron Collider），将于2005年投入使用，这将是人类历史上最强大的粒子加速器[45]。未来在LHC上进行的实验的参加单位、人数及产生的数据量也是前所未有的，这一点可以从LHC与LEP的对比看出来（表格4?1[46]）。做个类比，LHC将要产生的数据量，将是目前CERN所有设备产生的数据量的总和还要多一到两个数量级。

表格4?1 LEP与LHC的对比

DataGrid

LHC的出现将给计算科技带来全新的挑战，为此，需要有空前的计算能力来处理这些数据，空前的人类智慧来分析这些数据，以及空前的存贮能力来保存这些数据。解决这些问题的基本思想是把海量数据分散到全球的计算机上进行处理，并由全球的物理学家共同分析之。在这个背景下，欧洲的数据网格DataGrid应运而生了，它成为实现这个“大科学”目标的基础平台。

图4?2 DataGrid的分布处理策略

DataGrid对海量数据的分解过程如图4?2 [47]所示。粒子检测器产生的原始数据具有PB/s量级，经过在线系统过滤后，并经具有20万亿次处理能力的离线处理场的处理，最终以大约100MB/s的速率永久写入磁带，这个100MB/s 就是DataGrid真正需要处理的数据速率。CERN计算机中心负责将这些数据通过高速网络分配给欧洲、北美、日本等国的区域中心，后者再将任务作进一步分解，到物理学家的桌面时，数据量只有1MB/s，已经可以很方便地进行处理了。

DataGrid需要解决许多问题，诸如[46]：

1、DataGrid需要管理成千上万个处理器和磁盘、千万亿字节（PB）的数据和每秒万亿比特（Tb/s）的网络带宽，面对如此复杂的系统，如何才能保证它的高可扩展性、低成本和易管理性？

2、广域网的带宽只是局域网的1%－10%，不同的研究机构有不同的管理者和管理政策，如何保证数量要在它们之间安全地分发、复制、缓存并保持同步和完整性？

3、如果才能协调好不同国籍、不同研究机构的科学工作者的工作，使他们及时分析数据并汇总结果？

这些问题解决好了，不仅对于在LHC上开展的实验是至关重要的，对于其他领域的研究也具有指导意义。可以这样说，虽然在高性能计算机、集群、网格等领域里美国一直处于领先地位，但欧洲的CERN所开创的大科学研究是美国难以望其项背的。

DataGrid的设计

DataGrid负责人Gagliardi这样描述DataGrid所要完成的工作[48]：

当用户提交一个任务时，DataGrid首先分析完成任务所需要的计算资源。然后，找到这些资源并分配给任务。同样地，运行任务所需要的数据也被检索出来并传送给计算资源。在这个过程中，DataGrid需要具备：分析任务的能力，随时掌握网格中资源的能力，执行任务程序的能力，任意传输数据的能力，判定和保障服务质量的能力，从错误中恢复的能力，记录出错情况的能力，等等。

论文[45]分析了DataGrid所应具备的主要功能：

1、负载调度和管理

DataGrid在管理负载时所面临的新问题有：数据经常需要动态重新分配，系统中可调度组件的数量非常之大，会出现许多用户同时提交任务的情况，不同国家不同机构有不同的管理策略，等等。负载管理在分解和分发任务时，必须基于计算能力和数据的可用性。为此，需要扩展作业描述语言，使之能够描述数据的相关性。负载管理应能比较不同任务分解方法的利弊，为此，它需要预测并综合考虑任务在不同机器的执行时延、生成数据缓存副本的开销、在二级存贮和第三方存贮之间迁移数据的开销，等等。更进一步，负载管理应该有新手段支持资源的协同分配和预留，以及在组件失效时的恢复策略。

2、数据管理

DataGrid需要开发中间件以支持对海量数据的访问，既要有统一的名字空间和统一的数据格式，又要能在不同站点之间高速移动和复制数据，还要保持远程数据拷贝的一致性，等等。DataGrid应该有一些优化措施，支持自动的广域网数据高速缓存机制，并能根据用户的使用模式选择数据的分发方式。

3、网格监控

DataGrid需要有监控网格运行的窗口，它既能站在一定高度纵览全局，又能深入某个局部分析细节状况，为此，需要开发底层API，提供对计算构件、网络和海量存贮的性能和状态信息。有了这些支持，就能协助制定工作负载和数据管理的调度策略，以及调整应用程序的运行性能。