专利名称:一种保证海量数据缓存实时性和一致性的系统及方
法
专利类型:发明专利发明人:马坤
申请号:CN201510055798.4申请日:20150203公开号:CN104598396A公开日:20150506
摘要:本发明公开了一种保证海量数据缓存实时性和一致性的系统及方法,包括:数据流提取模块:采用数据库日志方式从实际数据存储模块中提取出变化数据流;基于流处理的数据缓存模块:采用流处理的方法将提取出的变化数据流复制到目标数据缓存模块,在复制的过程中先将变化数据流拆分成数据元组,将数据元组拆分成数据域,仅仅对发生变化的数据域进行处理后,又将数据域进行聚合,最后写入目标数据缓存,从而保证数据缓存的一致性;在复制的过程中,仅仅用缓冲域库存储中间结果,保证了数据缓存的实时性。本发明具有高实时性、高并发性、高容错性等特性,通过基于流处理的数据缓存实现海量数据缓存一致过程。
申请人:济南大学
地址:250022 山东省济南市市中区南辛庄西路336号
国籍:CN
代理机构:济南圣达知识产权代理有限公司
代理人:张勇
更多信息请下载全文后查看
因篇幅问题不能全部显示,请点此查看更多更全内容