|
|
|
| 一种基于Kettle的无损增量数据同步方法研究 |
| 赵亚伟 |
| 北京语言大学 信息化办公室，北京 100083 |
|
| A Lossless Incremental Data Synchronization Method Based on Kettle |
| ZHAO Ya-wei |
| Information Office，Beijing Language and Culture University， Beijing 100083，China |
|
|
|
摘要 在学校各系统运行管理过程中，产生了大量宝贵的数据资源，这些数据对学校重要决策制定及传统教育模式改革有着极其重要的作用。因此，如何将不同维度的数据采集到统一的数据中心便成为大数据研究的重点之一。在数据采集过程中，很多学校没有保存重要的历史数据以及已删除记录的状态标记，将对数据分析中诸如时间切片分析、历史状态分析等产生致命影响。以学校人事系统为例，提出一种基于Kettle的无损增量数据同步方法。该方法利用全量数据比对方式，找出新增、修改和删除的数据，并对其进行详细记录，从而实现了对历史数据的完整保留，弥补了如时间切片分析等数据分析策略中数据不足的缺陷。
|
|
| 关键词 ：
数据采集,
增量同步,
Kettle,
教育大数据
|
|
收稿日期: 2019-04-15
|
|
|
| 基金资助:中央高校基本科研业务专项资金项目（18YJ120001） |
|
通讯作者:
赵亚伟
|
| 作者简介: 赵亚伟（1991-），男，硕士，北京语言大学信息化办公室助理工程师，研究方向为教育大数据。 |
| [1] |
刘 颖，王 坤，宋明辉，章浩伟. 基于传感器阵列的压力分布数据快速采集系统设计[J]. 软件导刊, 2019, 18(8): 123-126. |
| [2] |
姜敏，龚本灿. 移动无线传感网数据采集方法研究[J]. 软件导刊, 2019, 18(7): 190-192. |
| [3] |
蔡 梅，孙 力. 网络教育数据分类与分析研究[J]. 软件导刊, 2019, 18(5): 215-218. |
| [4] |
李婷，孙春艳. 基于内容分析法的学习分析国内研究综述[J]. 软件导刊, 2019, 18(2): 208-211. |
| [5] |
郭起轩，仲梁维. 基于安卓平台的重点设备远程监测系统设计[J]. 软件导刊, 2018, 17(4): 115-117. |
| [6] |
孙成才，罗承双，黄艳国. 钒流电池监控管理系统设计与实现[J]. 软件导刊, 2018, 17(3): 90-92. |
| [7] |
贺建峰，潘帅涛，高毅，张俊. 室内质控实时数据上传方案设计与实施[J]. 软件导刊, 2018, 17(1): 135-138. |
| [8] |
韩晶,张振东. 基于LabVIEW的汽车燃油压力传感器检测系统[J]. 软件导刊, 2017, 16(7): 93-95. |
| [9] |
董建民,郭霖蓉. 复杂表面3D打印数据获取方法[J]. 软件导刊, 2017, 16(6): 155-158. |
| [10] |
郭惠. 基于面部瞳孔识别及数据采集器的电子巡检系统设计[J]. 软件导刊, 2017, 16(4): 106-108. |
| [11] |
王佳,高引春,姜茸,杨明. 基于手持设备的养殖场数据采集系统设计与实现[J]. 软件导刊, 2017, 16(3): 68-71. |
| [12] |
邹洪艳，张建军，刘韬. 农业园区智能数字化管理系统设计与实现[J]. 软件导刊, 2017, 16(12): 116-117. |
| [13] |
范黎，周美娇，张轩雄. 基于OBD-II的故障诊断及数据采集系统设计[J]. 软件导刊, 2017, 16(11): 68-71. |
| [14] |
常波;刘望. 基于ARM的纺织机生产数据采集系统设计[J]. , 2016, 15(7): 86-88. |
| [15] |
张弓;. 基于STM32的手持式数据采集器系统设计[J]. , 2016, 15(7): 89-90. |
|
|
|
|
