全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211123309.0 (22)申请日 2022.09.15 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心12、 13、 38、 39、 40 层 (72)发明人 邱荣明  (74)专利代理 机构 深圳市世联合知识产权代理 有限公司 4 4385 专利代理师 罗志铭 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) (54)发明名称 一种增量数据同步方法、 装置、 计算机设备 及存储介质 (57)摘要 本申请实施例属于人工智能和大数据领域, 涉及一种增量数据同步方法, 包括获取当前同步 时间段内的增量数据以及操作日志; 对操作日志 进行解析, 以从操作日志中提取物理删除数据以 及不规范操作数据; 将不规范操作数据与增量数 据合并, 得到第一合并数据后, 将第一合并数据 与删除数据合并, 得到第二合并数据; 将第二合 并数据同步至数据仓库中。 本申请还提供一种增 量数据同步装置、 计算机设备及存储介质。 此外, 本申请还涉及区块链技术, 增量数据及操作日志 可存储于区块链中。 本申请有效保证同步双方的 数据一致性。 权利要求书2页 说明书10页 附图4页 CN 115455020 A 2022.12.09 CN 115455020 A 1.一种增量数据同步方法, 其特 征在于, 包括下述 步骤 获取当前同步时间段内的增量数据以及操作日志; 对所述操作日志进行解析, 以从所述操作日志中提取物 理删除数据以及不规范操作 数 据; 将所述不规范操作数据与所述增量数据合并, 得到第一合并数据后, 将所述第一合并 数据与所述删除数据合并, 得到第二 合并数据; 将所述第二 合并数据同步至数据仓库中。 2.根据权利要求1所述的增量数据同步方法, 其特征在于, 所述以从所述操作日志中提 取物理删除数据以及不 规范操作数据的步骤 包括; 从操作日志中提取第一主键的操作标识, 其中所述操作日志包括多个第一主键; 根据所述操作标识确定所述第一主键的操作类型; 将操作类型为删除类型的所有第一主键汇合, 得到物理删除数据, 并从操作类型为新 增操作和修改操作的所有第一主键中确定不 规范操作数据。 3.根据权利要求2所述的增量数据同步方法, 其特征在于, 所述并从操作类型为新增操 作和修改操作的所有第一主键中确定不 规范操作数据的步骤 包括: 从操作类型为新增操作和修改操作的所有第一主键中提取满足不规范操作条件的第 一主键作为第二主键; 汇合所有所述第二主键, 得到不 规范操作数据。 4.根据权利要求3所述的增量数据同步方法, 其特征在于, 在所述将所述不规范操作 数 据与所述增量数据合并的步骤之前, 还 包括: 从所述不规范操作数据中提取第二主键, 将所述第二主键保存至不 规范操作表中; 所述将所述 不规范操作数据与所述增量数据合并的步骤 包括: 从所述不规范操作表中提取所述操作类型为不规范操作类型的第 二主键, 将所述第 二 主键合并至所述增量数据中。 5.根据权利要求2所述的增量数据同步方法, 其特征在于, 在所述将所述第 一合并数据 与所述删除数据合并的步骤之前, 还 包括: 将所述物理删除数据中的各所述操作类型为物理删除类型的第一主键保存至物理删 除表中; 所述将所述第一 合并数据与所述删除数据合并的步骤 包括: 从所述物理删除表中提取所述操作类型为物理删除类型的第 一主键, 根据从所述物 理 删除表中提取的第一主键确定所述第一 合并数据中的冗余数据; 删除所述第一 合并数据中的所述冗余数据。 6.根据权利要求5所述的增量数据同步方法, 其特征在于, 在所述将所述第 二合并数据 同步至数据仓库中的步骤 包括之后, 还 包括: 删除所述物理删除表; 或, 删除所述物理删除表中的所有所述第一主键 。 7.根据权利要求1至5中任一项所述的增量数据同步方法, 其特征在于, 所述将所述第 二合并数据同步至数据仓库中的步骤 包括: 获取所述数据仓库的历史数据;权 利 要 求 书 1/2 页 2 CN 115455020 A 2识别所述第二 合并数据和所述历史数据的相同数据, 作为重复数据; 删除所述第二 合并数据中的所述重复数据, 得到目标 数据; 将所述目标 数据同步更新至所述数据仓库中。 8.一种增量数据同步装置, 其特 征在于, 包括: 获取模块, 用于获取当前同步时间段内的增量数据以及操作日志; 提取模块, 用于对所述操作 日志进行解析, 以从所述操作 日志中提取物理删除数据以 及不规范操作数据; 合并模块, 用于将所述不规范操作数据与所述增量数据合并, 得到第 一合并数据后, 将 所述第一 合并数据与所述删除数据合并, 得到第二 合并数据; 同步模块, 用于将所述第二 合并数据同步至数据仓库中。 9.一种计算机设备, 包括存储器和处理器, 所述存储器中存储有计算机可读指令, 所述 处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的增 量数据同步方 法的步骤。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有计算机 可读指令, 所述计算机可读指 令被处理器执行时实现如权利要求 1至7中任一项 所述的增量 数据同步方法的步骤。权 利 要 求 书 2/2 页 3 CN 115455020 A 3

PDF文档 专利 一种增量数据同步方法、装置、计算机设备及存储介质

文档预览
中文文档 17 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种增量数据同步方法、装置、计算机设备及存储介质 第 1 页 专利 一种增量数据同步方法、装置、计算机设备及存储介质 第 2 页 专利 一种增量数据同步方法、装置、计算机设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-07 12:39:55上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。