最新
推荐
2014年高等教育信息化十大“关... 01-04 教育部成立教育信息化专家组 12-24
CERNET第二十一届学术年会 11-24 李志民:互联网促进人类文明迈... 11-15
|
1. 数据平台部署结构 数据共享库采用Oracle 数据库,使用RAC 技术将两台服务器搭建成数据库集群,后端连接网络存储,前端通过内网交换机与数据交换服务器、数据标书服务器以及其他应用系统服务器连接。
图2 数据平台部署结构 2. 交换模式 数据共享平台中的数据交互模式,采用如图3 方式,在业务数据库与数据中心库间,建立中间过程库。如果业务数据库中的数据符合执行数据标准,直接将相关数据用ODI 或者Web Server等方式交换到中心库中,如果业务部处数据中的数据和执行标准存在不一致的现象,将业务数据库中的数据经过中间库,使用ODI 等工具进行数据的清洗和转换,最后交换到共享数据中心中。
图3 数据交换模式 3. 交换模块实现原理 数据交换模块的实现机制,如下:数据处理平台,提供数据处理一系列功能,包括ETL(数据抽取、数据转换与数据加载)功能,数据传输功能,该模块实现数据的清洗、转换、同步、迁移等业务需求,是构建数据集成与存储层的基础。建设中主要采取以下几种数据加载方式:实时性加载,对于数据实时性要求较高的交换数据,采用实时性加载策略,ODI 加载数据时采用较小的时间间隔轮询监视业务系统相关数据变化,对于数据的实时更新,解决方案有两种:全表扫描方式,在业务系统中对需要同步的表进行全表扫描,识别差异数据,更新到数据交换中心;触发器方式,在业务系统中对需要同步的表创建触发器,当业务表数据有更新、修改、新增、删除操作时,通过触发器同步到数据交换中心,以上方案会对业务系统产生较大的压力,不会大面积使用;准实时性加载,此种方式采用T-1 时间方式处理,即每天晚上12 点以后进行加载,加载今天以前的数据,在数据实时性上会有一天的延时,但降低了业务系统的压力。 4. 交换过程与结果监控 数据的监控平台完成对系统总体的运行监管,提供对数据交换、更新以及数据应用层服务的监控,完成对用户行为、访问日志、数据安全等方面的监控功能。其主要作用有:发现在数据抽取、数据加载和数据转换时发生的错误,及时发出报警,并采取相应的措施;同时提供对数据应用层服务的监控,反应各种应用的进展情况,推进相关流程的正确执行 ;对用户的行为,访问记录以及进程信息进行有效的监控,对有关数据进行审计,发现系统运行中的问题,及时采取有效的应对措施,保障系统的安全运行。
图4 结果监控 数据同步监控:监控数据同步的健康状况,数据同步的数据当量,数据同步的周期与处理时间,数据同步的执行结果等。同时产生数据运行情况的审计报告。
|
版权所有:中国教育和科研计算机网网络中心 CERNIC,CERNET,京ICP备15006448号-16,京网文[2017]10376-1180号
关于假冒中国教育网的声明 | 有任何问题与建议请联络:Webmaster@staff.cernet.com