以太坊日志的bloom过滤器

最近研究以太坊的收据(Receipt),发现区块头中有一个Bloom字段,这个字段是个2048的字节数组:

const (
    // BloomByteLength represents the number of bytes used in a header log bloom.
    BloomByteLength = 256

    // BloomBitLength represents the number of bits used in a header log bloom.
    BloomBitLength = 8 * BloomByteLength
)

// Bloom represents a 2048 bit bloom filter.
type Bloom [BloomByteLength]byte

通过注释知道这是一个Bloom过滤器,但是这个过滤器是如何工作的。引起了我的兴趣,这一看相关代码,让我预闷了一周多的时间。各种通道和文件让我没有任何头绪来了解这个Bloom是如何起到过滤作用的。现在有了点头绪,想通过几篇文章做个分享。

一。Bloom是如何生成的

~~~
b.header.Bloom = CreateBloom(receipts)
~~~

func CreateBloom(receipts Receipts) Bloom {
    bin := new(big.Int)
    for _, receipt := range receipts {
        bin.Or(bin, LogsBloom(receipt.Logs))
    }

    return BytesToBloom(bin.Bytes())
}

func LogsBloom(logs []*Log) *big.Int {
    bin := new(big.Int)
    for _, log := range logs {
        bin.Or(bin, bloom9(log.Address.Bytes()))
        for _, b := range log.Topics {
            bin.Or(bin, bloom9(b[:]))
        }
    }

    return bin
}

func bloom9(b []byte) *big.Int {
    b = crypto.Keccak256(b)

    r := new(big.Int)

    for i := 0; i < 6; i += 2 {
        t := big.NewInt(1)
        b := (uint(b[i+1]) + (uint(b[i]) << 8)) & 2047
        r.Or(r, t.Lsh(t, b))
    }

    return r
}

通过源码我们可以看到Bloom数组就是从收据(Receipt)中的Logs字段生成的。具体的内容是Logs中的Address和Topics字段,为了大家好理解,我简单介绍下Log中的Address和Topics字段所代表的内容:

type Log struct {
//以太坊智能合约的地址
Address common.Address json:"address" gencodec:"required"
// 以太坊智能合约转账过程中相关的转入转出方的地址hash
Topics []common.Hash json:"topics" gencodec:"required"
//以太坊智能合约转账的金额
Data []byte json:"data" gencodec:"required"

Address:代表合约,Topics代表地址,合起来就是某个合约Log的相关地址
为了大家了解就先这样了解上面的字段。如果想更深入,请查看其他文档。

所以看到这里我们就明白了区块头的Bloom字段其实就是根据一套算法(bloom9)将合约Address和Topics生成了一个2048字节的数组。

二。Bloom9算法

我们已经知道布隆过滤器里存储的是Log的合约地址(Address)和相关账户哈希(Topics)。布隆过滤器的一个特性就是不保证一个内容100%存在,但可以100%保证一个内容不存在过滤器中。了解了这个特性我们就介绍下布隆过滤器的生成算法Bloom9:

1.首先将传入的任何数据,进行Keccak256的运算,得到一个32字节的hash 。
2.循环取此hash值的前6字节,注意循环步进是i+=2,意思是每两个字节合为一个uint,并和2047进行位与运算(其实就是和2048求余),得到一个小于2048的值b,这个值b就是一个索引(index),表示在Bloom过滤器中的位置下标,也就是Bloom[b]的值为1。所以前6个字节生成了三个下标,共同表示此值是否在Bloom过滤器中。所以如果它生成的三个下标都不都为1。就能100%保证此值不在过滤器中,如果都为1,也不一定保证在这个过滤器中,但我们就认为在了。这就是过滤器的特性.
3.将生成的三个下标值进行左位移和位或运算,将相应的下标值值为1,,得到的这个bigInt就是传入参数的bloom过滤器的索引(index)值.

三。LogsBloom算法

这个方法就很简单了,该方法就是把Log的合约地址(Address)和Topics分别转为相应的下标值(bloom9值),然后分别将相应的下标值进行位或操作。这样就将他们的值都存在了一个数据里面。最后在函数CreateBloom()中将这个数据转为了2048位的Bloom类型的值。
所以此Bloom过滤器只是一个相应数据的标志器,用于判断某个数据是否存在里面的工具,本身不包括任何数据

四。如何判断一个数据(BloomLookup)

我们知道了Bloom中的内容并不包含相应的数据,所以判断一个数据的存在不存在,并不是查找相应的数据,而且将相应的数据索引化(bloom9)后的下标值在Bloom中的位置的值是否全为1。但以太坊的BloomLookup提供了另一个思路:

func BloomLookup(bin Bloom, topic bytesBacked) bool {
    bloom := bin.Big()
    cmp := bloom9(topic.Bytes())

    return bloom.And(bloom, cmp).Cmp(cmp) == 0
}

通过源码可以看到其判断流程为:

1.先将传入的数据转成bloom9值cmp
2.将Bloom过滤器转为Big.Int然后和cmp进行位与运算
3.将位与后的值和cmp比较是否相等,如果相等表示存在
func bloomFilter(bloom types.Bloom, addresses []common.Address, topics [][]common.Hash) bool {
    if len(addresses) > 0 {
        var included bool
        for _, addr := range addresses {
            if types.BloomLookup(bloom, addr) {
                included = true
                break
            }
        }
        if !included {
            return false
        }
    }

    for _, sub := range topics {
        included := len(sub) == 0 // empty rule set == wildcard
        for _, topic := range sub {
            if types.BloomLookup(bloom, topic) {
                included = true
                break
            }
        }
        if !included {
            return false
        }
    }
    return true
}

这个bloomFilter方法就是一个使用示例,这个函数的功能就是:

1.判断是否存在某些合约(addresses),如果不存在,直接返回false,就不用判断topics了。因为topics就是某个合约的转账过程的账户地址,没有合约,当然也就没有topics了
2.如果存在某些合约,就查找是否存在某些账户(topic)。

这就是布隆过滤器的使用方式和原理了 。

OK,这篇我们就先介绍到这里,让大家了解以太坊中区块头的Bloom字段的作用就是根据合约地址和账户地址过滤以太坊日志的功能。方便用户可以查看自己感兴趣的日志。下面我们会逐步将这些内容铺开来介绍。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 143,048评论 1 300
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 61,330评论 1 256
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 94,541评论 0 213
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 41,042评论 0 176
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 48,821评论 1 255
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 38,795评论 1 176
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,413评论 2 271
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,173评论 0 167
  • 想象着我的养父在大火中拼命挣扎,窒息,最后皮肤化为焦炭。我心中就已经是抑制不住地欢快,这就叫做以其人之道,还治其人...
    爱写小说的胖达阅读 28,994评论 6 229
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 32,525评论 0 213
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,327评论 2 215
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 30,648评论 1 230
  • 白月光回国,霸总把我这个替身辞退。还一脸阴沉的警告我。[不要出现在思思面前, 不然我有一百种方法让你生不如死。]我...
    爱写小说的胖达阅读 24,248评论 0 31
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,142评论 2 214
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 31,521评论 3 204
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,622评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,025评论 0 166
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 33,543评论 2 230
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 33,636评论 2 231