搜索相关

搜索技术

理解用户
理解意图
理解文档
理解场景

query分析

  • 检索
    纠错,同义归一,丢词
  • 排序
    重要度,紧密度,同义词,时效,意图分类
  • 展示
    纠错,摘要,同义词,丢词,相关推荐

词的粒度

原词:北邮游泳馆
专有名词粒度:北邮羽毛球馆
基本粒度:北邮 羽毛球馆
细粒度:北邮 羽毛球 馆
多粒度:北邮 羽毛 球馆
拓展粒度:球

词的成分

北京邮电大学老食堂餐厅3楼好吃土豆

  • 北京(城市)
  • 邮电大学(地标)
  • 老食堂餐厅(店名)
  • 3楼(位置)
  • 好吃土豆(菜名)

词表,CRF,句法分析,模板

query改写

  • 同义词
  • CWM:�Click � Weight � Model � �
  • NHM:Ngram � Hit � Model �

query挖掘

  • 是否被浏览
  • 是否被点击
  • 是否有吸引力
  • 文档对用户吸引力

Doc分析

Doc分析 - 标签

  • 标签分类
  • 标签分级(权重)

Doc分析 - UGC

情感分析

User分析

  • 用户基础标签
    • 基本信息:性别,年龄,消费水平
    • POI信息:常住地,活动商圈
  • 用户特定领域标签

知识图谱

关键词对齐

关键词对齐的目标是得到query和知识库的对齐信息,便于解码时找相应的词语。

  • 编辑距离
  • 命名习惯
  • 垂直领域内容
  • 同义词表
  • 词向量

查询分析

业务识别

查询串 -> 标签类别 -> 有编码的属性进行解码(店名->Id)

查询分析流程

  1. 归一化,分词
  2. 业务识别
  3. 实体识别
  4. 查询改写:
    • 同义词
    • 上下位词:父类词,子类词扩充
    • 去词改写:留下核心词
    • 相似改写:周杰伦和昆凌的例子
  5. 语义扩展
  6. 意图识别:
    • 商家,位置,行业,产品&服务
    • 每个意图都对应着某些类别的标签
  7. 召回策略
  8. 排序

搜索引导

  • 默认词
  • 热词
  • 历史搜索
  • 查询纠错
  • 泛词引导 - 搜索地点,推荐用户喜欢的品类关键字
  • 相关搜索
  • POI推荐

热词 - 候选集

  • 历史消费行为:40%
  • 附近wifi的poi:20%
  • 地理位置:40%
  • 城市热词:推荐不足之后补余

热词 - 排序策略

  • 用户日志
    • 展现 - 小
    • 点击 - 中
    • 下单 - 大
  • 特征排序
    • 候选词特征:pv,ctr
    • 用户特征:是否活跃,品类偏好
    • 用户+候选词:历史查询与候选词相似度,位置

未来需要标签化,场景化

smart-box

候选词

  • 静态数据:审核的城市,店名,菜品
  • 搜索日志:天,周,月的热词
  • 商户名 & 门店名
  • 地点 & 品类
  • 旅游 & 电影
  • 组合:地标+品类 品类+属性

召回策略

  • 普通前缀
  • 拼音前缀
  • 简拼前缀

3种权重依次降低,优先搜索本城市,未命中才扩展全国

排序策略

训练样本:点击的推荐词为正样本,展示了没点的作为负样本
推荐词的特征:周PV,点击下单,转化率,词长度
用户特征:用户距离,用户区域周下单,用户区域PV
关联特征:共现特征,组合ctr

纠错

  • 同音
  • 多字,漏字,顺序颠倒
  • 模糊音
  • 拼音
  • 形近字
  • 英文

候选集合

  • 人工审核名单
  • 搜索点击
  • 搜索session
  • 地点,品类
  • 旅游,电影

召回策略

  • 拼音索引
  • 汉子索引
  • 纠错对索引

一个query过来:
纠错模块:同音纠错,模糊音纠错,字典纠错 ,形近字纠错
产生候选序列

泛词查询

引导用户的思路,不同需求不同引导

搜索分词

分词算法

  • 前向最大匹配
  • 后向最大匹配
  • 基于统计的方法
  • 基于条件随机场CRF算法

CRF:是一个序列标注问题,可以发现新词,消歧义

推荐阅读更多精彩内容