一卡通數據分析變身校務(wù)決策信息
南昌大學(xué)校園一卡通系統自2003年投入運行至今已有8年之久,產(chǎn)生了豐富而龐大的一卡通數據,據統計,譔校一卡通每月僅交易記錄就達到500萬(wàn)條左右,一年就有6000萬(wàn)條記錄,文件數據量一年達到了幾個(gè)Gbit。這些數據蘊含著(zhù)巨大的資源信息,如果對系統中累積起來(lái)的數據進(jìn)行統計、分析、挖掘、整合,就可以對一卡通用戶(hù)所有用卡活動(dòng)的整體狀況、規律有一個(gè)量化的概念,這不僅可以作為今后一卡通系統更新升級的參照標準,也可以為校務(wù)決策提供數據“情報”來(lái)源。
然而,挖掘、分析、整合如此巨大的數據,對計算機性能要求很高。所以,我校構建了一套數據統計分析平臺,專(zhuān)門(mén)針對一卡通數據庫中的數據進(jìn)行統計。我們采用Dell 的PowerEdgeC6145服務(wù)器,采用英特爾至強5000系列的Westmere-EP處理器,借助英特爾至強系列4核和6核處理器,能夠獲得比當前至強5600處理器最多提高33.92%的整數計算吞吐量,在性能上比上代系列提高67.3%,該款服務(wù)器能夠應對最高的數據庫與計算機工作負載。
隔離中心數據庫與應用層
南昌大學(xué)校園一卡通平臺采用三層架構,實(shí)現中心數據庫和應用層的隔離,屏蔽用戶(hù)對數據庫的直接操作,在保證數據安全的前提下,通過(guò)這些接口對中心數據庫進(jìn)行間接訪(fǎng)問(wèn);支持多數據庫操作系統,多操作系統支持的數據訪(fǎng)問(wèn)層具有標準的接口定義,當后臺數據庫操作系統發(fā)生變化時(shí),前臺的應用系統無(wú)需變化;在應用層面,所有的子系統經(jīng)過(guò)管理中心的授權,可以方便地接入一卡通中心平臺,接受系統集控平臺的統一管理。
與第三方系統對接時(shí),傳輸基于TCP/IP 網(wǎng)絡(luò )實(shí)現,系統軟件分別從Web Service接口層、應用程序層、卡片讀寫(xiě)層提供多種接口實(shí)現;靈活的組網(wǎng)方式,接口的多樣化和標準化,為第三方系統接入提供堅實(shí)的基礎。
構建主從數據庫
對一卡通數據庫海量數據的提取以及分析統計,對服務(wù)器的響應性能提出了很高的要求,所以應該新建數據庫,使之與一卡通數據庫形成主從關(guān)系,將專(zhuān)門(mén)分析數據的數據庫作為從數據庫,與一卡通數據庫連接。這樣可以避免使一卡通數據庫增加不必要的負擔,另外,采用新的數據庫專(zhuān)門(mén)進(jìn)行數據統計也會(huì )大大提供工作效率。
南昌大學(xué)一卡通數據庫采用的是Oracle10g,配置主從庫如下所示:
Sqlplus/nolog
SQL>conn /as sysdba;
SQL>ALTER DATABASE CREATE STANDBY CONTROLFILE AS’C:
Oraclecontro101.ct l’;
拷貝主庫C:oraclecontrol01.ctl到從庫C:oracleoradataporamals目錄下。
配置主庫listener.ora和tnsnames.ora文件,可以用net manager配置或者直接編輯c:oracleora92etworkadminlistener.ora和tnsname.ora文件,也即正常為主庫配置偵聽(tīng)和連接到主庫(primary)、主庫到從庫(standby)的網(wǎng)絡(luò )服務(wù)名。啟動(dòng)主從庫的listener,分別在主從數據庫上執行如下命令:
lsnrctl start //主從庫listerner是否正常啟動(dòng)主庫:tnsping standby 從庫:tnsping primary//分別到主從庫的服務(wù)名是否配置正確在主庫上創(chuàng )建pfile,因為10g缺省使用spfile:
Sqlplus/nolog
SQL>conn /as sysdba;
Connected
SQL>create pf ile=’C:oracleora92databaseinitporamls.
ora’f rom spf i le;
拷貝剛才創(chuàng )建的C:oracleora92database.orainitpormals.ora到從庫相應目錄,修改從庫剛才拷貝的initpormals.ora文件。
配置完成后,主數據庫每天將系統產(chǎn)生的數據定時(shí)提取后轉存入從數據庫進(jìn)行分析,數據處理過(guò)程以日志的形式寫(xiě)入日志文件,不影響服務(wù)器的其他應用。根據選擇的模版和日期向數據庫請求數據,并將接收到的數據輸出到Excel表格上,使用程序提供的各種模版來(lái)進(jìn)行分析。設計框圖如圖所示。
支持校務(wù)的典型應用
對食堂消費數據的統計分析
在系統的消費記錄中,食堂的消費數據占絕大部分。一卡通系統為每個(gè)食堂設立獨立的工作站,我們可以在中心庫中以食堂的原始就餐數據為基礎,以各個(gè)食堂工作站為方向對其進(jìn)行統計分析。
對每個(gè)食堂一日三餐的消費總次數和分餐總次數做一個(gè)統計分析對比,由系統自動(dòng)產(chǎn)生當天或當月的就餐營(yíng)業(yè)量曲線(xiàn)圖,也可以按照時(shí)間段進(jìn)行查詢(xún),這樣可以一目了然地對比出各個(gè)食堂的營(yíng)業(yè)量。因為學(xué)校新校區的占地面積很大,當需要新增食堂時(shí),各個(gè)食堂營(yíng)業(yè)量對比曲線(xiàn)圖可以作為新食堂選址的一個(gè)參考。
對食堂一日三餐每餐分時(shí)間段進(jìn)行消費次數的統計,由系統自動(dòng)產(chǎn)生每個(gè)時(shí)間段消費次數的高峰期和低谷期。因為食堂每天的銷(xiāo)售總份額都是基本固定的,師生數量并不固定,這就需要臨時(shí)增減份額,如果對食堂的高峰期和低谷期進(jìn)行大概的了解,排除學(xué)校的假期時(shí)間,就可以提前準備增減所需的食材。
學(xué)生是食堂消費的主力軍,每個(gè)學(xué)生的消費能力參差不齊,所以食堂的價(jià)格一直是敏感話(huà)題。如果對所有食堂每天每餐的消費總額做一個(gè)曲線(xiàn)圖進(jìn)行對比,可以對各個(gè)食堂的價(jià)格有個(gè)大致的了解,這樣也能遏制某些食堂亂漲價(jià)的現象。
對學(xué)生在食堂的消費額進(jìn)行統計,例如設定消費金額范圍,統計各個(gè)范圍區的學(xué)生,如果長(cháng)期在低消費區的學(xué)生,可能就是需要領(lǐng)取補助的困難學(xué)生,所以這個(gè)統計可以作為領(lǐng)取助學(xué)貸款的一個(gè)參考。
對學(xué)生行為數據的統計分析
在校園中,一卡通的功能不僅僅是消費,而且還包括門(mén)禁、圖書(shū)館、用電。在這幾個(gè)方面進(jìn)行系統數據的統計,也是了解學(xué)生在校生活的一個(gè)手段。
首先,可以對學(xué)生門(mén)禁數據統計,以某個(gè)時(shí)間點(diǎn)為臨界值,超過(guò)該臨界值的門(mén)禁記錄即為晚歸學(xué)生的記錄,這樣就知道哪些學(xué)生經(jīng)常晚歸,可以督促班主任查明原因,加大監管力度。
其次,通過(guò)一卡通,對圖書(shū)館的借閱記錄進(jìn)行統計,將各類(lèi)圖書(shū)的借閱次數做個(gè)曲線(xiàn)對比圖,可以分析出哪些種類(lèi)的書(shū)籍是經(jīng)常被借閱的,哪些書(shū)籍借閱率不高,這樣圖書(shū)館下次定購書(shū)籍時(shí)就可以加強借閱率高的書(shū)籍的購買(mǎi)。
其三,對宿舍的用電量數據進(jìn)行分析,因為消防安全是學(xué)校的重中之重,用電不當會(huì )導致火災。很多學(xué)生會(huì )購置學(xué)校禁用的用電設備并私下使用,這樣用電量就會(huì )明顯增加。對用電數據進(jìn)行統計,就能檢查出哪些宿舍的用電量居高不下,可以作為檢查宿舍違規用電的一個(gè)依據。
對系統數據量的統計分析
對系統數據庫每天都定時(shí)備份。因為數據庫數據不斷增加,日志不斷增加,每天的備份量也基本成比例增長(cháng),所以截取數據庫中的數據是必要的工作?墒墙厝《嗌贁祿?多長(cháng)時(shí)間截取一次?這就可以通過(guò)系統數據量增長(cháng)的曲線(xiàn)圖來(lái)判定。將每天備份的數據量畫(huà)出一個(gè)曲線(xiàn)圖,每天增長(cháng)多少,磁盤(pán)空間還剩多少,然后制定出定時(shí)截取數據量的計劃。
校園一卡通是數字化校園的有機組成部分,對一卡通系統累積起來(lái)的各種數據進(jìn)行統計分析,不僅為決策層提供有用的參考信息,也為將來(lái)構建完整的數字化校園提供經(jīng)驗和實(shí)現方法。
一卡通數據分析變身校務(wù)決策信息