多源数据融合与幂等性

1、记录丢失

如发邮件记录,如果两个系统中的事件ID相同恰巧,则可能有记录丢失

如何解决?

2、重复消费某条记录,如果消费不具有幂等性,可能错误的产生多条记录。

什么是幂等(Idempotency)?简单来说,一个操作如果具有任意多次执行所产生的影响均与一次执行的影响相同,我们就称之为幂等。简而言之,我们需要一个 Dedup(去重)的机制。这往往有很多不同的实现方法,但是有两个很关键的因素:1)唯一标志记录的标识,由产生记录的客户端提供,服务器和客户端都使用它来识别记录) 2)服务端使用该唯一标识,并能确保唯一性!不处理两次,或处理两次结果和一次一样

注意,简单的读检查并不一定行,因为读与读之间会有 Race Condition(竞争条件),因此还是有可能出错。

http://baijiahao.baidu.com/s?id=1570246189966333&wfr=spider&for=pc

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 128,829评论 18 137
  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 8,380评论 6 13
  • 转载自 Programming.log - a place to keep my thoughts on prog...
    厨子阅读 307评论 0 4
  • 如果要追根溯源,幂等性是数学中的一个概念,表达的是N次变换与1次变换的结果相同。 基于HTTP协议的Web API...
    Ray雷磊阅读 1,786评论 0 1
  • 理解HTTP幂等性 基于HTTP协议的Web API是时下最为流行的一种分布式服务提供方式。无论是在大型互联网应用...
    阿灯_supwinr阅读 206评论 0 0
  • 2016年那个夏末秋初 太阳还略有些灼热 一张癌症的诊断报告 像一支冰箭击穿心脏 我努力抬抬头 让眼泪倒流 我知道...
    紫猫儿阅读 140评论 0 3
  • 科学与发明,其实是两种专业的合称,因为这两个概念是指完全不同的学术领域;科学是指将各种知识通过细化分类(如数学、物...
    沈坤横向思维阅读 114评论 0 0
  • 烈阳 文.萧山 太阳毒辣辣的炙烤着大地,教室里蒸热的如同蒸笼。 38℃高温直接晒透单薄的楼板,温度...
    仲李健萧山书屋阅读 162评论 0 1