南昌大学校园一卡通系统自2003年投入运行至今已有8年之久,产生了丰富而庞大的一卡通数据,据统计,我校一卡通每月仅交易记录就达到500万条左右,一年就有6000万条记录,文件数据量一年达到了几个Gbit。这些数据蕴含着巨大的资源信息,如果对系统中累积起来的数据进行统计、分析、挖掘、整合,就可以对一卡通用户所有用卡活动的整体状况、规律有一个量化的概念,这不仅可以作为今后一卡通系统更新升级的参照标准,也可以为校务决策提供数据“情报”来源。
然而,挖掘、分析、整合如此巨大的数据,对计算机性能要求很高。所以,我校构建了一套数据统计分析平台,专门针对一卡通数据库中的数据进行统计。我们采用Dell 的PowerEdgeC6145服务器,采用英特尔至强5000系列的Westmere-EP处理器,借助英特尔至强系列4核和6核处理器,能够获得比当前至强5600处理器最多提高33.92%的整数计算吞吐量,在性能上比上代系列提高67.3%,该款服务器能够应对最高的数据库与计算机工作负载。
隔离中心数据库与应用层
南昌大学校园一卡通平台采用三层架构,实现中心数据库和应用层的隔离,屏蔽用户对数据库的直接操作,在保证数据安全的前提下,通过这些接口对中心数据库进行间接访问;支持多数据库操作系统,多操作系统支持的数据访问层具有标准的接口定义,当后台数据库操作系统发生变化时,前台的应用系统无需变化;在应用层面,所有的子系统经过管理中心的授权,可以方便地接入一卡通中心平台,接受系统集控平台的统一管理。
与第三方系统对接时,传输基于TCP/IP 网络实现,系统软件分别从Web Service接口层、应用程序层、卡片读写层提供多种接口实现;灵活的组网方式,接口的多样化和标准化,为第三方系统接入提供坚实的基础。
构建主从数据库
对一卡通数据库海量数据的提取以及分析统计,对服务器的响应性能提出了很高的要求,所以应该新建数据库,使之与一卡通数据库形成主从关系,将专门分析数据的数据库作为从数据库,与一卡通数据库连接。这样可以避免使一卡通数据库增加不必要的负担,另外,采用新的数据库专门进行数据统计也会大大提供工作效率。
南昌大学一卡通数据库采用的是Oracle10g,配置主从库如下所示:
Sqlplus/nolog
SQL>conn /as sysdba;
SQL>ALTER DATABASE CREATE STANDBY CONTROLFILE AS’C:
Oraclecontro101.ct l’;
拷贝主库C:oraclecontrol01.ctl到从库C:oracleoradataporamals目录下。
配置主库listener.ora和tnsnames.ora文件,可以用net manager配置或者直接编辑c:oracleora92etworkadminlistener.ora和tnsname.ora文件,也即正常为主库配置侦听和连接到主库(primary)、主库到从库(standby)的网络服务名。启动主从库的listener,分别在主从数据库上执行如下命令:
lsnrctl start //主从库listerner是否正常启动主库:tnsping standby 从库:tnsping primary//分别到主从库的服务名是否配置正确在主库上创建pfile,因为10g缺省使用spfile:
Sqlplus/nolog
SQL>conn /as sysdba;
Connected
SQL>create pf ile=’C:oracleora92databaseinitporamls.
ora’f rom spf i le;
拷贝刚才创建的C:oracleora92database.orainitpormals.ora到从库相应目录,修改从库刚才拷贝的initpormals.ora文件。
配置完成后,主数据库每天将系统产生的数据定时提取后转存入从数据库进行分析,数据处理过程以日志的形式写入日志文件,不影响服务器的其他应用。根据选择的模版和日期向数据库请求数据,并将接收到的数据输出到Excel表格上,使用程序提供的各种模版来进行分析。设计框图如图所示。
特别声明:本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者在两周内速来电或来函联系。