MurmurHash go实现

MurmurHash介绍
MurmurHash是一种非加密型哈希函数,和其它流行哈希函数相比,对于规律性较强的key随机分布特性表现更良好,在很多开源的软件项目(Redis,Memcached,Cassandra,HBase,Lucene都用它)都有使用。有以下几个特性:

  • 随机分布特性表现好
  • 算法速度快(都是位移操作)

go实现java版的MurmurHash
项目有一段逻辑用到了MurmurHash2.0,项目语言是java,现在需要用go来实现一遍,网上有很多go语言的实现,不过都有一个问题,就是java版返回的是long类型,而go语言返回的是uint64,导致两个版本对同一个key进行hash但是返回的结果不同,而我们需要go语言的实现和java版本返回的结果一致才行,所以需要要基于开源go实现版本进行改造才行。

java实现:

 public static long hash64A(ByteBuffer buf, int seed) {
    ByteOrder byteOrder = buf.order();
    buf.order(ByteOrder.LITTLE_ENDIAN);

    long m = 0xc6a4a7935bd1e995L;
    int r = 47;

    long h = seed ^ (buf.remaining() * m);

    long k;
    while (buf.remaining() >= 8) {
      k = buf.getLong();

      k *= m;
      k ^= k >>> r;
      k *= m;

      h ^= k;
      h *= m;
    }

    if (buf.remaining() > 0) {
      ByteBuffer finish = ByteBuffer.allocate(8).order(ByteOrder.LITTLE_ENDIAN);
      // for big-endian version, do this first:
      // finish.position(8-buf.remaining());
      finish.put(buf).rewind();
      h ^= finish.getLong();
      h *= m;
    }

    h ^= h >>> r;
    h *= m;
    h ^= h >>> r;

    buf.order(byteOrder);
    return h;
  }

java返回结果是long类型,go语言实现的难点是要把go的uint64转成对应的int64,以及位移操作时需要把int64转换成uint64,经过了不断的调试,最终成功用go实现了一版和java逻辑一样的代码,经过测试10万个key,java版和go版本hash结果都一致,符合要求。

go实现:


package hash

const (
    BIG_M = 0xc6a4a7935bd1e995
    BIG_R = 47
    SEED = 0x1234ABCD
)

func MurmurHash64A(data []byte) (h int64) {
    var k int64
    h = SEED ^ int64(uint64(len(data))*BIG_M)

    var ubigm uint64 = BIG_M
    var ibigm = int64(ubigm)
    for l := len(data); l >= 8; l -= 8 {
        k = int64(int64(data[0]) | int64(data[1])<<8 | int64(data[2])<<16 | int64(data[3])<<24 |
            int64(data[4])<<32 | int64(data[5])<<40 | int64(data[6])<<48 | int64(data[7])<<56)

        k  := k* ibigm
        k ^= int64(uint64(k) >> BIG_R)
        k =  k* ibigm

        h = h^k
        h = h* ibigm
        data = data[8:]
    }

    switch len(data) {
    case 7:
        h ^= int64(data[6]) << 48
        fallthrough
    case 6:
        h ^= int64(data[5]) << 40
        fallthrough
    case 5:
        h ^= int64(data[4]) << 32
        fallthrough
    case 4:
        h ^= int64(data[3]) << 24
        fallthrough
    case 3:
        h ^= int64(data[2]) << 16
        fallthrough
    case 2:
        h ^= int64(data[1]) << 8
        fallthrough
    case 1:
        h ^= int64(data[0])
        h *= ibigm
    }

    h  ^= int64(uint64(h) >> BIG_R)
    h *= ibigm
    h ^= int64(uint64(h) >> BIG_R)
    return
}



最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,646评论 4 366
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,979评论 1 301
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,391评论 0 250
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,356评论 0 215
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,740评论 3 293
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,836评论 1 224
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,022评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,764评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,487评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,728评论 2 252
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,200评论 1 263
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,548评论 3 260
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,217评论 3 241
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,134评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,921评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,919评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,766评论 2 274

推荐阅读更多精彩内容