29-布隆过滤器(Bloom Filter)

布隆过滤器(Bloom Filter)

思考

如果要经常判断一个元素是否存在,是你的话,你会考虑怎么做?

  • 很容易想到,可以使用哈希表(HashSet,HashMap),将元素作为key来进行查找
    • 通过这种方法的时间复杂度为O(1),但是缺点在于空间利用率不高,需要占用比较多的内存资源

但是,如果要编写一个网络爬虫去爬10亿个网站数据,为了避免爬到重复的网站,如何判断某个网站是否爬过呢?

  • 很显然,HashSet与HashMap比不是非常好的选择,因为会消耗大量的内存空间

那是否存在时间复杂度低,占用内存空间少的方案?
布隆过滤器(Bloom Filter)就可以办到这一点。

布隆过滤器简介

布隆过滤器是在1970年由布隆提出的,它是一个空间利用率高的概率型数据结构,可以用来告诉你,一个元素一定不存在或者可能存在,基于这个结论,所以布隆过滤器有如下的优缺点

  • 优点:空间效率和查询时间都远远超过一般的算法
  • 缺点:有一定的误判率,删除困难

虽然布隆过滤器存在一定的误判率,但是误判率依然可以通过代码进行控制,所以结合业务需求来进行调整。一般在如下情况下可以考虑使用布隆过滤器

  1. 经常要判断某一个元素是否存在
  2. 元素数量巨大,希望有比较少的内存空间
  3. 允许有一定的误判率

本质:布隆过滤器的本质是一个很长的二进制向量和一系列随机映射函数(Hash函数)
通过上面的描述可以知道,布隆过滤器由2部分组成,一部分为哈希函数,另外一部分为二进制向量

二进制向量:可以理解为二进制数组

常见应用
  • 网页黑名单系统,垃圾邮件过滤系统,爬虫的网址判重系统,解决缓存穿透问题
布隆过滤器的原理

现假设布隆过滤器由20位二进制(初始值为0),3个哈希函数组成,每个元素经过哈希函数处理都能生成一个索引

  • 添加元素,将每一个哈希函数生成的索引,都设置为1
    例如:现在假设要添加一个元素A,这会分别利用三个哈希函数,生成对应的所用值(假设第一个哈希函数生成的索引为4,第二个哈希函数生成的索引为7,第三个哈希函数生成的索引为18),然后将数组中的对应索引中的值设置为1
    如果要继续添加元素B,同样会利用三个哈希函数,生成对应的索引值(假设第一个哈希函数生成的索引值为2,第二个哈希函数生成的索引值为7,第三个哈希函数生成的索引值为15),然后将数组中的对应索引中的值设置为1


  • 查询元素是否存在:
    利用哈希函数,分别计算出元素在对应函数下的索引,如果对应数组索引中的值全部为1,这说明这个元素可能存在,如果对应索引中的值,至少有一个为0,这说明这个元素一定不存在
    所以
    • 如果有一个哈希函数生成的索引位置不为1,就代表不存在(100%准确)
    • 如果每一个哈希函数生成的索引位置都为1,就代表存在,但存在一定的误判率

所以,根据布隆过滤器的原理,可以知道

添加/查询的时间复杂度为O(k),其中k是哈希函数的个数

空间复杂度为O(m),m是二进制位的个数

布隆过滤器的误判率

误判率p一般来讲,收到3个因素的影响,分别为

  1. 二进制位的个数m
  2. 哈希函数的个数k
  3. 数据规模n

根据下图中已知的公式,就能计算出当前的误判率p

由于在数据规模非常大时,n的值就非常大,所以可以忽略0,5的常系数,同时二进制位的个数也会非常大,所以常数1也可以忽略,因此简化后的公式如下

所以实际开发中,误判率是结合业务来确定的,因此误判率可以认为是一个已知的值。并且数据规模也是已知的,所以就可以利用误判率p和数据规模n得出二进制位的个数m与哈希表的个数k

科学家总结出的公式如下:

计算二进制位的个数

计算哈希表的个数

布隆过滤器的实现

结合前面介绍布隆过滤器的特性,可以知道,布隆过滤器有会提供2个API,分别是添加元素与查询元素是否存在

两个API的实现如下

/*
* n为数据规模
* p为误判率(0,1)
* */
public BloomFilter(int n,double p) {
    if (n <= 0 || p <= 0 || p >= 1){
        throw new IllegalArgumentException("wrong n or p");
    }
    double ln2 = Math.log(2);
    //计算二进制向量的长度
    bitSize = (int)(- (n * Math.log(p)) / (ln2 * ln2));
    //计算哈希函数的个数
    hashSize = (int)(bitSize * ln2 / n);
    //bits数组的长度
    bits = new long[(int)((bitSize + Long.SIZE - 1)) / Long.SIZE];
}
/*
* 添加元素
* */
public void put(T value){
    nullCheck(value);
    int hash1 = value.hashCode();
    int hash2 = hash1 >>> 16;
    for (int i = 1; i <= hashSize; i++) {
        int combinedHash = hash1 + (i * hash2);
        if (combinedHash < 0) {
            combinedHash = ~combinedHash;
        }
        //生成一个二进制位的索引
        int index = combinedHash % bitSize;
        //设置index位置的二进制位为1
        set(index);
    }
}

以上是两个API的主要实现逻辑。具体实现可以查阅demo。

demo下载地址

完!

推荐阅读更多精彩内容

  • 布隆过滤器 (Bloom Filter) 详解 原文链接:http://www.cnblogs.com/allen...
    JackChen1024阅读 8,775评论 0 3
  • 背景:在翻阅吴军博士《数学之美》的时候看到布隆过滤器,所以在此总结下自己对其的认识。 一、布隆过滤器用来做什么 布...
    数大招疯阅读 761评论 0 5
  • 原文链接 程序世界的算法都要在时间,资源占用甚至正确率等多种因素间进行平衡。同样的问题,所属的量级或场景不同,所用...
    冬天只爱早晨阅读 298评论 0 3
  • 今天有点懒惰,不想写作,但是无奈007要交作业,又不舍得交不交作业的费用,逼迫自己输出。 人都是有惰性的,只要不是...
    元能力阅读 625评论 0 1
  • 以前对网红有点偏见,特别是对写字的网红,以为那些红人是自己的榜样,因为我也喜欢写字,也希望有一天能够粉丝10万加,...
    助心阅读 203评论 2 3
  • 今天天气晴朗,他背着枪来到营地,心里一片高兴,不过罩在他们头上的烦恼事儿就像口袋里藏着只预购,一路上不时还会把他扎...
    艾了阅读 19评论 0 1
  • 1、让徐老师每天统计没来的学生,然后微信和家长联系,为什么没来? 2、用why,how,what,模式给销售安排工作
    托马斯学习馆王明净阅读 89评论 0 0