web业务开发中的同步互斥与异步回调

最近的工作中遇到一些挑战,挑战中也找到了新的学习点。

同步互斥与异步回调这两个概念大家都不会陌生,学过计算机的人都知道跟进程,并发等等有关系。但如果真的深入下去,这两个概念都是大有文章可做的。我想结合最近自己工作的实际内容大致讲解下这两个概念,遇到的问题以及解决的办法。一方面分享自己的观点,另一方面也给自己最近一段的工作做个总结。

首先说同步互斥

最近有个这样的业务,每次用户成功发起下单http请求后,程序在完成基本业务逻辑的同时,会创建一个异步回调请求来做一些耗时较长的统计任务(理论上一个下单请求只会统计一次)。这样可以避免http请求的超时,提高请求的成功率。但是却偶发地遇到异常情况,一个下单请求统计了两次。通过日志发现是异步回调服务出现偶发错误,并发了异步请求。这种情况说明异步回调服务和本地逻辑都存在问题。首先异步回调服务存在bug,异步服务采用的是redis队列的形式,正常情况下队列是一个一个处理的,但是却出现并发。其次本地程序没做好同步互斥,如果同步互斥做得好,完全可以避免这种并发的情况。

最恰当地解决办法当然是本地逻辑做好同步互斥。异步回调请求中实际的业务逻辑是:首先检查MySQL数据表中回调状态(创建异步回调请求时,记录状态为创建中),如果状态是创建中,则往下修改统计数据表,修改完成后,则将回调状态更改为成功。当两个请求并发时,回调状态都为创建中,则会两次修改统计表。

因为业务逻辑由php开发。php不支持多线程,所以没有从语言层面支持锁。此时想到的同步互斥解决办法有两种。一是加文件锁,flock来实现。不过文件锁机制会调用到宿主操作系统上的文件锁特性,因此在使用时一定要检查服务器操作系统是否为PHP环境提供了完善可靠的文件锁机制。二是利用MySQL的锁定机制来实现互斥。因为回调业务逻辑里面本身就是对mysql数据表操作,所以采用第二种方法来解决这个问题。

回调请求检查回调状态时,MySQL加事务和行锁(for update)。首先解释事务:

事务(Transaction)是并发控制的基本单位。所谓的事务,它是一个操作序列,这些操作要么都执行,要么都不执行,它是一个不可分割的工作单位。例如,银行转账工作:从一个账号扣款并使另一个账号增款,这两个操作要么都执行,要么都不执行。所以,应该把它们看成一个事务。事务是数据库维护数据一致性的单位,在每个事务结束时,都能保持数据一致性。

在回调业务中,会涉及到多个数据表的操作(回调状态的修改,统计表的修改)。如果执行过程中,任何一个数据库操作出现错误,会出现数据的不一致。举个极端的例子,如果最后修改回调状态因为某种原因一直失败,那么异步回调会一直请求,每次请求都会增加统计。加了事务,任何数据表操作失败,就会回滚所有的操作,避免了数据不一致的异常。

再解释行锁(for update)。mysql执行select操作时,如果后面加上for update操作,该行就会被锁住。事务提交后,才能释放锁。

在回调业务中,如果两个请求并发,第一请求读到该数据并加上行锁,第二个请求只能等第一个请求完成才能读取到数据。第一个请求完成后会把回调状态修改为成功。第二个请求在锁释放后,读取到回调状态为成功,就会返回,不做任何操作。通过事务+行锁,就避免了并发请求中数据库重复操作的情况。

update:近期发现一个新的问题。数据库加行锁,容易出现死锁,导致请求彻底失败。为了解决这种情况,采用mc加锁的方式。add一条记录,请求完成,释放记录。如果并发过来的请求add记录,则会返回false。对add的记录加上过期时间,可避免死锁。具体可见timyang的一篇文章:Memcache mutex设计模式 – 后端技术 by Tim Yang。伪码(Pseudocode)见下面:

if (memcache.get(key) == null) {

      // 3 min timeout to avoid mutex holder crash

      if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {

      value = db.get(key); 

      memcache.set(key, value);

      memcache.delete(key_mutex);

      } else {

               sleep(50);

               retry();

     }

}

下面再讲异步回调

异步回调不同于多线程,是一种类似消息或者事件的机制。 异步回调的作用主要是减轻主程序的负担,将一些cpu密集型的任务放在一个新进程中去执行。概念上理解很简单,但是在实际业务中用好异步回调却不是一件容易的事情。

工作中有两块内容涉及到异步回调。首先是nodejs,nodejs是异步回调的典范。这种异步回调可以充分利用cpu的资源,提高程序的执行效率。但是在实际情况,异步回调也给开发者带来很大的困扰,第一个是程序排版问题,逻辑稍微复杂的程序,回调程序就会像一个斜下的瀑布一样难看。第二个是绝大部分程序不需要用到回调。有篇文章仔细讲解了nodejs的回调大坑-callback hell: http://www.infoq.com/cn/articles/nodejs-callback-hell/。为了避免这种问题,Node版本>=0.11.2提供了generator。generator属于一种迭代器,将异步回调顺序化。具体实现方式也可以参见上面链接。自从用了generator后,nodejs程序写的顺手多了,腰不酸了,腿不痛了,连加班都有兴趣了,~^-^~。

第二块涉及到异步回调的内容在前面讲同步互斥时已经多次提起过。还是下单业务,创建异步回调请求时的逻辑。偶发出现的情况是回调了次数达到了限制,但统计数据没有更新。后来通过日志发现,回调程序在正常执行程序之前返回,但回调程序依赖正常执行程序逻辑,导致统计操作失败。这时的问题就是回调程序与正常执行程序的时序性出现偏差。更进一步总结就是顺序程序与回调程序之间的逻辑一定要搞清楚。后来的解决办法时,将回调程序依赖正常执行程序的那一部分放在异步回调任务创建之前。

web开发中后端逻辑一般都很复杂,回调不好控制。这也是为什么nodejs写后端并不是很普及的原因。

为了让大家能够更加明确地了解业务,我将新旧逻辑的架构图放在这里对比,大家看看架构的更改对同步互斥和异步回调带来了哪些改变。

旧逻辑架构图:


新逻辑架构图:


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容