中国教育和科研计算机网
EDU首页 |  中国教育 |   高校科技 |   教育信息化 |   CERNET
教育信息化

资讯 | 专题 会议 观点 专栏 访谈 企业 产品 CIO 技术 校园信息化 下一代互联网 IPv6视频课堂

中国教育网 > 教育信息化
您现在的位置: EDU首页 > 教育信息化 > 校园信息化
智慧校园数据共享平台的设计与实现
http://www.edu.cn   2014-01-27 中国教育网络 作者:王汉文 李云春 张建华 杨秀梅

字体选择:【大】 【中】 【小】

  1. 数据平台部署结构

  数据共享库采用Oracle 数据库,使用RAC 技术将两台服务器搭建成数据库集群,后端连接网络存储,前端通过内网交换机与数据交换服务器、数据标书服务器以及其他应用系统服务器连接。

图2 数据平台部署结构

  2. 交换模式

  数据共享平台中的数据交互模式,采用如图3 方式,在业务数据库与数据中心库间,建立中间过程库。如果业务数据库中的数据符合执行数据标准,直接将相关数据用ODI 或者Web Server等方式交换到中心库中,如果业务部处数据中的数据和执行标准存在不一致的现象,将业务数据库中的数据经过中间库,使用ODI 等工具进行数据的清洗和转换,最后交换到共享数据中心中。

图3 数据交换模式

  3. 交换模块实现原理

  数据交换模块的实现机制,如下:数据处理平台,提供数据处理一系列功能,包括ETL(数据抽取、数据转换与数据加载)功能,数据传输功能,该模块实现数据的清洗、转换、同步、迁移等业务需求,是构建数据集成与存储层的基础。建设中主要采取以下几种数据加载方式:实时性加载,对于数据实时性要求较高的交换数据,采用实时性加载策略,ODI 加载数据时采用较小的时间间隔轮询监视业务系统相关数据变化,对于数据的实时更新,解决方案有两种:全表扫描方式,在业务系统中对需要同步的表进行全表扫描,识别差异数据,更新到数据交换中心;触发器方式,在业务系统中对需要同步的表创建触发器,当业务表数据有更新、修改、新增、删除操作时,通过触发器同步到数据交换中心,以上方案会对业务系统产生较大的压力,不会大面积使用;准实时性加载,此种方式采用T-1 时间方式处理,即每天晚上12 点以后进行加载,加载今天以前的数据,在数据实时性上会有一天的延时,但降低了业务系统的压力。

  4. 交换过程与结果监控

  数据的监控平台完成对系统总体的运行监管,提供对数据交换、更新以及数据应用层服务的监控,完成对用户行为、访问日志、数据安全等方面的监控功能。其主要作用有:发现在数据抽取、数据加载和数据转换时发生的错误,及时发出报警,并采取相应的措施;同时提供对数据应用层服务的监控,反应各种应用的进展情况,推进相关流程的正确执行 ;对用户的行为,访问记录以及进程信息进行有效的监控,对有关数据进行审计,发现系统运行中的问题,及时采取有效的应对措施,保障系统的安全运行。

图4 结果监控

  数据同步监控:监控数据同步的健康状况,数据同步的数据当量,数据同步的周期与处理时间,数据同步的执行结果等。同时产生数据运行情况的审计报告。

页面功能 【打印】 【关闭】 【我有话说

MOOC风暴来袭

版权所有:中国教育和科研计算机网网络中心 CERNIC,CERNET,京ICP备15006448号-16,京网文[2017]10376-1180号

关于假冒中国教育网的声明 | 有任何问题与建议请联络:Webmaster@staff.cernet.com