Kombu 源码解析二

声明:本文仅限于简书发布,其他第三方网站均为盗版,原文地址: Kombu 源码解析二

Kombu 源码解析二

OK,现在真正进入到 Kombu 的源码解析部分,我们还是从 Kombu 源码解析一 中的例子讲起,我们来看下对于一个简单的使用,在 Kombu 内部是如何实现的,首先从最开始的这段代码说起:

我们先来关注一下,conn.SimpleQueue 发生了什么事情,然后再来看看 queue 是啥,最后应该看看 message 的内容。conn 的类型应该是 Connection,而我们这里用的是 Redis,那么应该对应的是 RedisConnection 才对,具体如何,我们跟进代码看一下 (kombu/connection.py line 49):

跟踪 Connection 的构造函数我们可以发现在 Line 174 和 Line 187 里面都只是将 transport 的类型记住,然后在 Line 189 那里做了一个参数初始化,我们查看一下代码可以发现在 Line 246 中又直接赋值给 transport_cls,这在以后有大用处:

OK,小插曲一段,回来看看 SimpleQueue,在 Line 712 我们可以看到很简单的一项:

我们可以发现,代码就这么简单,看看上面的注释,注意看下注释里面参数的意思,可以发现,这里提供了好几个默认参数:

  • channel:就是这个 connection 了
  • queue:就是我们传递的参数
  • no_ack:None
  • queue_opts:None
  • exchange_opts:None

好,我们就跟进去看看这个 SimpleQueue 是啥,位置应该在:kombu/simple.py ,我们可以在 Line 118 上看到定义的代码,说实话,看到这个还是蛮欣喜的,因为感觉看到头了:

可以看到在这个 SimpleQueue 中,已经创建了 Consumer 和 Producer 了,这里我们暂时不关注他们的代码,而是根据我上一篇文章的描述理解先。我们可以关注一下 Consumer 和 Producer 的参数,他们都是默认帮我们设置的,然后这就告一段落了。

接下来,是时候看下获取消息的实现了,还是在这个文件,但是,我们可以发现 SimpleQueue 的代码真的很 Simple,它自己没有重载 get 方法,所以我们可以在它的父类 SimpleBase 中找到,应该在 Line 35

Line 36 很庆幸,是 block 的,所以我们不需要看更多的代码了,然后这里有个很应景的 _consume,进去看一下:

很简单,其实就是调用 Consumer 的 consume,然后返回,注意,这里是非阻塞的,那么我们要怎么拿到消息呢,继续看下去,可以看到,下面有个循环,然后着重看一下注释,如果有消息进来,那么就会被放到 self.buffer 里面,没有消息这里就会阻塞住了,同时,如果阻塞超过我们设定的超时时间,那么就会跑出异常啦。

那我们就按照正常的逻辑走吧,在 Line 45 就是正常拿到数据之后,然后返回去了,我们看看拿到的是啥,回到原来的代码,其实也就是我们自己写的 Sample 中:

返回的是一个 Message,我们在前面跟踪的代码里面没有体现这个 message 是什么类型,那么它是什么类型?其实你找遍 Kombu 的代码,发现其实只有一种在 kombu/message.py 中的 Message 类型,之前提过了,这是 Kombu 中生产/消费的基本单位,我们快速得看一下代码:

其实无非就是消息内容的封装,但是,内容还是比较丰富的,因为没啥讲究的必要,所以,内容就不讲了,我们回到后面一句对消息的处理:message.ack 看看这里发生了什么事情:

其实你会发现也没做啥,其实就是判断需不需要确认,确认过了没,然后这一段比较重要的是:self.channel.basic_ack 这里确认的方式是交给 channel(Connection) 来执行,然后就完了。

这里就是一段我们跟踪简单实现的一种方式,整个环节还是比较简单的,但是我们已经知道了一些东西。

  • Connection 里面包含了 Transport,并且是抽象的,根据我们的参数确定具体的 Transport 是什么
  • SimpleQueue 里面不仅仅只有 queue,还包含了 connection, consumer 和 producer
  • Consumer 的 consume 是非阻塞的,真实是在 drain_events 中获取,然后塞到成员变量中的,但是具体怎么塞的,我们还没看到
  • 消息的确认是通过 connection 来确认的,但是我们没看到有持久化之类的

Reference

  1. Kombu Code
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,458评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,454评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,171评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,062评论 0 207
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,440评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,661评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,906评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,609评论 0 200
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,379评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,600评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,085评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,409评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,072评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,088评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,860评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,704评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,608评论 2 270

推荐阅读更多精彩内容