Channels概念

Django的传统概念围绕着HTTP请求和响应展开:服务器收到一个请求,Django调起为其服务,生成响应并发送,然后Django离开、等着下一个请求。

当互联网只包含简单的浏览器行为时,这没什么问题。但现代网络包含了WebSocket和HTTP 2服务器推送等功能,允许网站在传统请求/响应循环之外进行其他通信。

除此之外,还有许多非关键的任务,需要应用程序将其分发出去,在响应发送后继续处理——比如保存缓存,或为新上传的图像生成缩略图。

Channels将Django的运行方式改为“面向事件”——不仅仅响应请求,而是响应通道中发送的大量事件。这里仍然没有持久状态——每个事件处理程序,也可以叫事件消费者,都是以独立的方式调用的,就像调用视图一样。

让我们先看看通道是什么。

通道是什么?

理所当然,核心就是叫做通道的数据结构。通道是什么?它是一个有序的先进先出的队列消息会过期最多发一次一次只发给一个监听应用

可以将其类比为任务队列——生产者将消息发送到一个通道,再发给一个监听该通道的消费者。

最多发一次是指,一条消息要么有一个消费者收到,要么没人收到(例如通道突然崩溃了)。与之对应的是至少一次:正常情况下,一条消息有一个消费者收到,但程序崩溃时,它极有事后可能再重新发送,因此还会有其他消费者重复收到。后者不是我们想要的。

还有其他几个限制——消息必须是可序列化的类型,并且必须保持在一定的大小限制之内——但是在接触更高级的用法之前,无需担心这些实现细节。

通道有容量,即便没有消费者,生产者也可以先向通道中写入大量消息,消费者稍后出现再接收队列中的消息。

如果你使用过Go通道:Go通道与Django通道相当像,关键区别在于Django通道是网络透明的,在不同进程甚至不同计算机上运行的生产者和消费者,都可以通过网络访问到我们的通道。

在网络中,我们通过名称字符串来唯一地标识通道——任何计算机可以将消息发送到任何命名通道,只要它们接入了同一个通道后端。例如两台不同的计算机都写入叫做“http.request”的通道,他们写入的就是同一个通道。

如何使用通道?

那么Django如何使用这些通道呢?在Django中,您可以编写一个函数来使用通道:

def my_consumer(message):
    pass

然后在通道路由中为其分配一个通道:

channel_routing = {
    "some-channel": "myapp.consumers.my_consumer",
}

该通道每收到一条消息,Django都调用这个消费者函数,并传入message参数。message带有content、channel和其他一些属性,其中content属性一定是字典(dict)类型,channel属性用来标明发送消息的通道名称。

Channels将Django从传统的请求/响应模式,改为工作进程模式:监听所有分配了消费者的通道,收到消息就运行对应的消费者。现在,Django不只是在一个连接到WSGI服务器的进程中运行,而是在三个独立的层中运行:

  • 接口服务器,用于Django与外部世界之间的通信。这包括一个WSGI适配器以及一个单独的WebSocket服务器——这在运行接口服务器中进行了介绍。
  • 通道后端,其中包括可扩展的Python代码,以及用来传输消息的数据存储机制(例如Redis或共享内存段)。
  • 工作进程,监听所有相关的通道,并在消息就绪时运行消费者代码。

这或许看起来很简单,但我们就是这样计划的:与其尝试完全异步的架构,不如将现有的Django视图再稍微复杂抽象一点。

A view takes a request and returns a response; a consumer takes a channel message and can write out zero to many other channel messages.

现在,让我们建立一个请求通道(取名http.request),以及面向单个客户端的响应通道(例如http.response.o4f2h2fd),请求通道中的消息带有一个reply_channel属性,对应响应通道的名称。这样,消息消费者就很类似一个视图:

# 监听http.request
def my_consumer(message):
    # 将请求信息从message中解码,生成Request对象
    django_request = AsgiRequest(message)
    # 运行视图
    django_response = view(django_request)
    # 将响应编码为message格式
    for chunk in AsgiHandler.encode_response(django_response):
        message.reply_channel.send(chunk)

这就是通道的机制。接口服务器将外部连接(HTTP、WebSocket等)转换为通道中的消息,你编写工作进程来处理这些消息。正常情况下,普通的HTTP请求还是交给Django内置的消费者,后者将请求传入视图/模板系统,但如果需要,也可以重写它以添加功能。

关键的部分在于,你可以运行代码来响应任何事件——包括你自己创建的事件,运行的代码还可以进一步发消息。你可以在保存Model、其他Views和Forms的代码中触发事件。这样可以方便的写推送程序,例如使用WebSocket或HTTP长轮询来实时通知客户端(比如聊天信息,或者Admin实时查看其他用户编辑更新的内容)。

通道类型

通道主要有两种用途。第一种显而易见,就是把工作分配给消费者——通道中新增一条消息,任何一个工作进程都可以接收消息并运行消费者。

第二种通道用于响应(HTTP、WebSocket)请求。值得注意的是,只有接口服务器才会监听这种通道的消息。每个响应通道名字都不一样,并且必须路由回到特定的接口服务器。

两者区别不大——它们都符合通道的核心定义——但当服务器集群扩大规模时会有问题。对于第一类普通通道,我们可以在通道服务器集群和工作进程中无差别的做负载均衡,任何工作进程都可以通用的处理这些消息。但响应消息只能发送到通道服务器群中、正在监听该响应的通道服务器上。

因此,Channels将其视为两种不同的通道类型,在响应通道名称中包含感叹号!来标识,例如http.response!f5g3fe21f。普通通道名称不包含感叹号。此外,通道名称都只能包含字符a-z A-Z 0-9 - _,并且长度小于200个字符。

对于后端实现来说,不一定要处理这个区别——只有扩大服务器集群规模时,才有必要分别处理这两类通道。有关规模化的更多信息,以及编写后端或接口服务器时如何处理通道类型,请参见:规模化

分组

通道只能向一个监听方发送消息,不能广播。如果要向一批客户端发送消息,你需要记录所有客户端对应的响应通道。

如果我有一个Liveblog,想在发布新帖子时推送更新,我可以注册一个程序处理post_save信号,同时得记下要发送更新的通道(这个例子使用Redis):

redis_conn = redis.Redis("localhost", 6379)

@receiver(post_save, sender=BlogUpdate)
def send_update(sender, instance, **kwargs):
    # 遍历所有的reply channels,发送更新
    for reply_channel in redis_conn.smembers("readers"):
        Channel(reply_channel).send({
            "text": json.dumps({
                "id": instance.id,
                "content": instance.content
            })
        })

# 连接到websocket.connect
def ws_connect(message):
    # 添加到readers集合
    redis_conn.sadd("readers", message.reply_channel.name)

这段代码可以运行,但还有点小问题——客户端中断连接的时候,我们要记得把他们从readers中删除。为此我们要添加另一个消费者程序,监听和处理websocket.disconnect消息。而且,接口服务器可能遇到强退、断电等情况,来不及发送disconnect信号,你的代码永远收不到disconnect通知,但此时响应通道已经完全失效了,为此我们还需要添加过期机制,发送到响应通道的消息等待一段时间后会过期、被删除,

由于通道的设计基础是无状态的,所以如果接口服务器中断连接,通道服务器也无所谓“关闭”一条通道——通道的任务就是保存消息直到消费者出现(对某些类型的接口服务器比如SMS网关,理论上可以为来自任何接口服务器的任何客户端提供服务)。

我们不太介意断开连接的客户端是不是没收到消息——是它自己断开的——但持续维护这些断开的客户端会让通道后端很乱,累积造成通道名称重复、发错消息,这让我们很介意。

现在,我们回到前面的示例,需要添加过期集合、跟踪过期时间等等,但使用框架的意义就是替你实现这些重复的工作。于是Channels将此抽象实现为一个核心概念,叫做

@receiver(post_save, sender=BlogUpdate)
def send_update(sender, instance, **kwargs):
    Group("liveblog").send({
        "text": json.dumps({
            "id": instance.id,
            "content": instance.content
        })
    })

# 连接到websocket.connect
def ws_connect(message):
    # 添加到readers组
    Group("liveblog").add(message.reply_channel)
    # Accept the connection request
    message.reply_channel.send({"accept": True})

# 连接到websocket.disconnect
def ws_disconnect(message):
    # Remove from reader group on clean disconnect
    Group("liveblog").discard(message.reply_channel)

组不仅有自己的send()方法(后端可以提供高效的实现),而且还自动管理组成员过期——当通道消息没人读而开始过期时,我们找到所有包含该通道的组,将其从中删除。当然,如果能正常收到disconnect消息的话,你还是应该在断开连接时将渠道从组中删除,过期机制是为了解决无法正常收到disconnect消息的情况。

组通常只用于响应通道(包含感叹号!的通道),但如果你愿意,也可以用于普通通道。

下一步

这是对通道和组的高级概述,帮助你形成一些初步概念。要记住,Django提供了一些通道,但您可以自由地创建和使用自己的通道,所有通道都是网络透明的。

另外,通道不保证消息发送成功。如果你需要确保任务完成,请使用专门设计的、带有重试和持久化功能的系统(例如Celery)。你也可以创建管理命令,如果有任务没完成,就再次向通道提交消息(换言之,自己维护重试逻辑)。

我们将在其余文档中更多地介绍什么任务适合用通道,现在让我们进到开始来写些代码。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,100评论 18 139
  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 10,507评论 6 13
  • 从三月份找实习到现在,面了一些公司,挂了不少,但最终还是拿到小米、百度、阿里、京东、新浪、CVTE、乐视家的研发岗...
    时芥蓝阅读 42,015评论 11 349
  • 一、概念(载录于:http://www.cnblogs.com/EricaMIN1987_IT/p/3837436...
    yuantao123434阅读 8,295评论 6 152
  • 如果,您还可以看一眼现在的我, 您一定不会失望, 您一定会夸我做的很好。 我没有让您失望, 没有忘记你临终前对我说...
    言诺生生阅读 188评论 0 0