0x01背景
在广告监控模型中，一个推广计划(campaign)对应于爱奇艺网页中的恐怖电影系列，一个推广组(adgroup)对应于恐怖电影系列的美国的恐怖电影，然后一个创意(ad)则对应于具体的某部电影上所投放的广告，然而，这个ad可能会呈现在网页上的位置，于是会有一个广告位(adunit)来记录这个ad的具体位置等信息，这个adunit会属于某个频道(channel, 比如frame)内，这个channel会隶属于某个媒体(media, 比如优酷， 爱奇艺等， 区别于网站)，所有的这几个模型都会有一个字段name。他们的从属关系如下所示：
ad → adgroup → campaign → account
↑↓ ↑↓
a d u n i t → channel → media
其中→ 为多对一的关系， ↑↓ 为多对多的关系。现在要以adgroup为中心，搜索campaign, adgroup, adunit, channel, media 中同时拥有keyword1或者keyword2的字段， 并且如果某个adgroup中被搜索到的字段越多，则排序越靠前。
0x02第一版实现
在搞清楚需求后，我很快就写出了如下语句
Adgroup.objects.filter(Q(name__contains=keyword1) | Q(name__contains=keyword2).filter(Q(adgroup__campaign__name__contains=keyword1) | Q(adgroup__campaign__name__contains=keyword2).filter(Q(adgroup__account__name__contains=keyword1) | Q(adgroup__account__name__contains=keyword2)
才搜索了三层， queryset就已经写得又臭又长，而且还扩展性很不好。当我写完这条语句并且测试后， 发现在几百条数据中所搜两个关键词却需要5秒以上，打开orm的debug模式后发现，orm生成了很多子查询。
0x03依赖于django-haystack搜索
django-haystack是django的一个模块化搜索解决方案， 后端可以插入 Solr, Elasticsearch, Whoosh, Xapian等，他会对指定的model的数据建立索引，从而实现快速搜索， 然而对Q对象的支持很不好。在看完文档之后并实现一遍之后，并不能实现
0x04分组与打分机制
考虑到被搜索到的字段越多，则排序越靠前。那么如果在某个model中被搜索到一个字段，则记一分，每多被搜索到一个字段，则加一分，那么排序就很好解决了， 只需要按照分数排序就好。同时， 由于adunit和adgroup为多对多关系，并不方便直接在adgroup上反向获取adunit, channel, media。那么我们可以分开两次搜索，第一次在adgroup上执行搜索与打分， 第二次以adunit为主，进行搜索和打分，最后以adgroup为维度，进行分组，把分数相同的放在一组并去重，就可以实现需求啦。优化后测试妹子再也不会吐槽我写的程序慢啦：）
代码实例如下：
cg_q_obj = _get_q_obj('campaign__name')
cg_range_q_obj = get_range_q_obj(cg_q_obj, search_range, 'schedulelist')
p_adgroup_args = filter(None, [cg_q_obj, cg_range_q_obj])
adgroup_list = AdGroup.objects.filter(
**p_adgroup).filter(*p_adgroup_args).select_related(
'campaign').prefetch_related('adunit_set')
adgroup_group = groupby(
adgroup_list, key=lambda x: _get_score(x.campaign.name))
queue = list()
for rank, adgroup_list in adgroup_group:
for adgroup in adgroup_list:
for adunit in adgroup.adunit_set.all():
adunit.rank = rank
queue.append(adunit)
if q_obj:
m_q_obj = _get_q_obj('channel__media__name')
c_q_obj = _get_q_obj('channel__name')
q_obj = q_obj | m_q_obj | c_q_obj
adunit_list = adunit_list.filter(q_obj).prefetch_related(
adgroup_prefetch)
adunit_group = groupby(
adunit_list, key=lambda x: get_adunit_score(_get_score, x))
for rank, adunit_list in adunit_group:
for adunit in adunit_list:
adunit.rank = rank
queue.append(adunit)
adunit_set = OrderedSet(sorted(queue, key=sort_func, reverse=True))
adunit_id_list = map(lambda x: x.id, adunit_set)
adunit_list = Adunit.objects.filter(id__in=adunit_id_list).select_related(
'channel', 'channel__media').prefetch_related(adgroup_prefetch)
def get_score(search_list, name):
return sum([1 if search in name else 0 for search in search_list])
def get_q_obj(search_list, name='name', reverse=False):
name = '__'.join((name, 'contains'))
q_obj = Q()
for search in search_list:
q_obj |= Q(**{name: search})
if reverse:
q_obj = [~Q(**{name: search}) for search in search_list]
return q_obj