Java8 HashMap源码分析,发现那些令人惊艳的美

前言

文章非常长,建议加入喜欢或收藏分多次看

首先放上来自美团文章的Map的类继承图

Map类集成图

我们本章介绍的是使用最频繁的HashMap(基于JDK8),首先HashMap (综合了数组+链表的优点) , 我们都知道常用的数据结构有数组,链表... 两者都有各自的优缺点 .

  1. 数组查询快,增删慢(因为要移位),而且需要一片连续的存储空间
  2. 链表查询慢(遍历),增删快,而且不需要一片连续的存储空间

所以综上,为了追求一种更完美的数据结构,或者是查询也快,增删也快,所以就有了Hash算法,Hash算法是根据某种Hash算法计算出Key,然后存储,查询的时候根据计算出的Key直接寻址到Value,更像是字典,但是如果Key冲突了怎么办呢?就像是字典里开头为A的有很多,常用的处理方式有两种:

  1. 开放地址法
  2. 链地址法

HashMap采用的是第二种,采用数组+链表(+JDK8红黑树)的方式结合了数组和链表的优点,接下来大体介绍下HashMap

HashMap有一个数组也就是桶,当调用put之后先通过hash值计算出index找到数组上的位置,然后存储,如果还没有数据或者数组上的位置就是要存储的数据就直接设置value,要不就是遍历链表找到存储的位置存储,要不就是红黑树.下面会逐步详细介绍


目录

1. Hash算法
2. 延迟初始化
3. put
4. get
5. resize
6. 树化

1. Hash算法

一个优秀的Hash表就要尽可能的避免Hash冲突,当然解决方式有很多种,比如加大数组的大小,或者一个散列很好的Hash算法,综合时间和空间选择一个合适的数组大小,然后加上一个很好的Hash算法就是JDK8中的做法.

//hash
static final int hash(Object key) {
    int h;
    return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}
//index
static int indexFor(int h, int length) {  //jdk1.7的源码,jdk1.8没有这个方法,但是实现原理一样的
 return h & (length-1);  //第三步 取模运算
}
一: hash计算

首先Java的hashCode散列特别好,基本不会重复,但是由于初始化数组长度只有16,所以实际上只有低位参与了index的计算,再看上面的hash方法,拿hashCode 与 hashCode右移16位做异或,这样使得高位与低位做了掺杂使得低位更不容易产生冲突,而且开销不大.

二: index计算

传统的计算index的方法是计算出的hash值与数组的长度length做 % 运算,映射到数组的index上,但是计算机对 % 运算实际上比 & 运算开销要大,那为什么还能通过 & 运算计算呢? 因为我们知道为什么HashMap的初始大小一定是2的整次幂 , 当n为2的整次幂的时候取余就可以转化为 : h % n ==> h & (n - 1),所以上面是通过 & 运算计算index,也是为了提升速度.

这里延伸一个: 如何判断一个数是不是2的幂次方 假设数字为n 那么可以通过 n & (n - 1) == 0 来判断

三: 数组大小的选择

当然一般常规的做法是Hash数组长度都设计为质数 , 因为质数的冲突几率会小于合数 详见: 为什么一般hashtable的桶数会取一个素数, JDK8还要选择合数而且是2的幂次方的原因有几点: 1. 取模上优化(计算机擅长移位和或与操作) 2. resize时候优化 , 当然为了减少冲突对hash值的计算做了优化,3,申请2的幂次方可以减少内存的碎片化 , 所以总体来说是优于质数的.


2.延迟初始化

public HashMap() {
    this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
}

public HashMap(int initialCapacity) {
    this(initialCapacity, DEFAULT_LOAD_FACTOR);
}

public HashMap(int initialCapacity, float loadFactor) {
    if (initialCapacity < 0)
        throw new IllegalArgumentException("Illegal initial capacity: " +
                                           initialCapacity);
    if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;
    if (loadFactor <= 0 || Float.isNaN(loadFactor))
        throw new IllegalArgumentException("Illegal load factor: " +
                                           loadFactor);
    this.loadFactor = loadFactor;
    this.threshold = tableSizeFor(initialCapacity);
}

第一个空构造函数只是将负载因子初始化为0.75,至于为什么是0.75,Java也是经过了大量的测试最后得出0.75比较合适
第二个构造函数调用了第三个构造函数
第三个构造函数: 前几行参数校验,然后将用户设置的loadFactor赋值,然后threshold赋值,下面看一下tableSizeFor

static final int tableSizeFor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}

cap是用户输入的容量,然后调用tableSizeFor返回一个2的幂次方的数,这里很重要,如果不设置大小,默认为16 (2的4次幂) , 所以要将用户输入的数字转换为2的幂次方, 一般我们会使用递归或遍历实现,Java的实现很厉害.

原理: (首先2的多少次幂的二进制肯定是这种形式 (1000 0000) 高位是1后面全是0 )
首先cap - 1 是因为有可能用户输入的正好是2的幂次方,先-1,然后右移, 首先将数转为2进制,高位肯定是有一个1 (ex: 0001 0000 xxxx) , 先右移一位,然后在和原值或以下,这样高位右边一位也变成了1,这样就有两个连续的 1,然后同样再右移2位,在和右移前或以下, 这样就有连续的4个1,然后再一次右移4 , 8 , 16 这样高位之后全变为了1, 然后加1这样就变为了高位进一位为1,后面全是0

如下图解: (以6为例 )

2的幂次方运算

有人可能会有个疑惑,那么假设我们传入的cap很大呢? 经过上面的计算能不能转换为正确的数字呢? 有时候右移会变为负数怎么处理呢?
源码中可以看到上限为 static final int MAXIMUM_CAPACITY = 1 << 30 也就是2的30次幂 , 我们上面右移了31位所以肯定可以得到正确的数 , 右移如果产生负数,源码也有一个小于0的判断 如下:

static final int tableSizeFor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
   //这里判断了n如果小于0 返回1 
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}

再回到标题: 延迟初始化 , 可以看到HashMap并没有在构造函数里为HashMap做初始化操作,只是做了一些赋值操作,其实Java是把初始化放到了第一次插入数据的时候, 源码如下:

public V put(K key, V value) {
    return putVal(hash(key), key, value, false, true);
}

final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
               boolean evict) {
    Node<K,V>[] tab; Node<K,V> p; int n, i;
    if ((tab = table) == null || (n = tab.length) == 0)
        //第一次插入数据,table为null,所以会调用resize
        n = (tab = resize()).length;
    if ((p = tab[i = (n - 1) & hash]) == null)
        tab[i] = newNode(hash, key, value, null);
    else {
        ...
    }
    ++modCount;
    if (++size > threshold)
        resize();
    afterNodeInsertion(evict);
    return null;
}

可以看出当第一次put数据,会调用到putVal,然后table就是我们的数组,会满足==null,进入resize,然后会在resize里面进行初始化,具体resize操作会在后面resize的详解里.
那么Java为什么要这么做呢?
我想可能是第一不在初始化的时候申请table数组的空间,加快速度 第二减少不必要的空间浪费,因为很多map可能一直不会put数据,或者很久之后才会put数据 , 第三 大多数map都是一起初始化的,减少同时初始化造成的大片内存的分配


3. put

public V put(K key, V value) {
    //首先还是计算hash
    return putVal(hash(key), key, value, false, true);
}

final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
               boolean evict) {
    Node<K,V>[] tab; Node<K,V> p; int n, i;
    // 1. 判断table数组是不是空 或者 长度为0,如果为空则调用resize方法进行初始化(也就是延迟初始化)
    if ((tab = table) == null || (n = tab.length) == 0)
        n = (tab = resize()).length;
    // 通过(hash&n-1)计算index,然后找到相应的位置的值看下是否为空,如果为空就放到该位置
    if ((p = tab[i = (n - 1) & hash]) == null)
        tab[i] = newNode(hash, key, value, null);
    else {// 走到这里只有三种情况: 1): 数组节点的判断 2): 链表的遍历 3): 树的遍历
        Node<K,V> e; K k;
        // 判断是不是数组的节点,如果是赋值给e,然后通过下面的代码替换为新的值
        if (p.hash == hash &&
            ((k = p.key) == key || (key != null && key.equals(k))))
            e = p;
        // 如果节点为TreeNode,就通过红黑树的方式将值插入或替换旧值
        else if (p instanceof TreeNode) 
            e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
        else { // else为链表的遍历
            // for循环为无限循环,由内部跳出循环
            for (int binCount = 0; ; ++binCount) {
                // 找到链表的最后一个位置发现都没有,则放到链表的最后一个节点上,然后判断binCount是不是大于TREEIFY_THRESHOLD,否则链表树化,变为红黑树(Java8的优化)
                if ((e = p.next) == null) {
                    p.next = newNode(hash, key, value, null);
                    if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                        treeifyBin(tab, hash);
                    break;
                }
                // 如果找到一样的,通过下面的代码进行旧值的替换
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    break;
                p = e;
            }
        }
        // 通过上面的方式,如果找到旧值在这里完成替换
        if (e != null) { // existing mapping for key
            V oldValue = e.value;
            if (!onlyIfAbsent || oldValue == null)
                e.value = value;
            afterNodeAccess(e);
            return oldValue;
        }
    }
    ++modCount;
    // 插入数据要看一下当前数目和负载的数目做比较,如果超过负载要进行resize扩容
    if (++size > threshold)
        resize();
    afterNodeInsertion(evict);
    return null;
}

详见图解:


put图解(引自网络)

4. get

public V get(Object key) {
    Node<K,V> e;
    // 首先通过hash计算index 然后调用getNode方法
    return (e = getNode(hash(key), key)) == null ? null : e.value;
}

final Node<K,V> getNode(int hash, Object key) {
    Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
    // 首先判断数组不为空,长度大于0,通过index定位到数组的第一个节点不为空
    if ((tab = table) != null && (n = tab.length) > 0 &&
        (first = tab[(n - 1) & hash]) != null) {
        // 判断第一个节点和key的比较,如果一致就返回第一个节点
        if (first.hash == hash && // always check first node
            ((k = first.key) == key || (key != null && key.equals(k))))
            return first;
        // 判断next不为空
        if ((e = first.next) != null) {
            // 如果是红黑树,那么通过调用树的getNode方法获取节点
            if (first instanceof TreeNode)
                return ((TreeNode<K,V>)first).getTreeNode(hash, key);
            // 这里就是链表的遍历,如果有则返回
            do {
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    return e;
            } while ((e = e.next) != null);
        }
    }
    return null;
}

5. resize扩容机制

Java的HashMap内部有一个扩容因子,默认为0.75,也就是如果HashMap的size超过了容量x0.75,就要进行扩容,扩大数组的容量,然后减少Hash冲突.
与Java7的扩容区别: Java7(数组+链表)进行扩容的时候是reHash(重新计算Hash和Index)来移动到新的数组上,链表会倒置, Java8(数组+链表+红黑树)进行扩容,不需要reHash,原因后面会讲到,然后依次将数据移动到新的数组上

final Node<K,V>[] resize() {
    Node<K,V>[] oldTab = table;
    int oldCap = (oldTab == null) ? 0 : oldTab.length;
    int oldThr = threshold;
    int newCap, newThr = 0;
    if (oldCap > 0) {
        if (oldCap >= MAXIMUM_CAPACITY) {
            threshold = Integer.MAX_VALUE;
            return oldTab;
        }
        else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                 oldCap >= DEFAULT_INITIAL_CAPACITY)
            newThr = oldThr << 1; // double threshold
    }
    else if (oldThr > 0) // initial capacity was placed in threshold
        newCap = oldThr;
    else {               // zero initial threshold signifies using defaults
        newCap = DEFAULT_INITIAL_CAPACITY;
        newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
    }
    if (newThr == 0) {
        float ft = (float)newCap * loadFactor;
        newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                  (int)ft : Integer.MAX_VALUE);
    }
    threshold = newThr;
    @SuppressWarnings({"rawtypes","unchecked"})
        Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
    table = newTab;
    if (oldTab != null) { // 这里是扩容的操作
        for (int j = 0; j < oldCap; ++j) {
            Node<K,V> e;
            if ((e = oldTab[j]) != null) {
                oldTab[j] = null;
                if (e.next == null)
                    newTab[e.hash & (newCap - 1)] = e;
                else if (e instanceof TreeNode)
                    ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                else { // preserve order
                    Node<K,V> loHead = null, loTail = null;
                    Node<K,V> hiHead = null, hiTail = null;
                    Node<K,V> next;
                    do {
                        next = e.next;
                        if ((e.hash & oldCap) == 0) {
                            if (loTail == null)
                                loHead = e;
                            else
                                loTail.next = e;
                            loTail = e;
                        }
                        else {
                            if (hiTail == null)
                                hiHead = e;
                            else
                                hiTail.next = e;
                            hiTail = e;
                        }
                    } while ((e = next) != null);
                    if (loTail != null) {
                        loTail.next = null;
                        newTab[j] = loHead;
                    }
                    if (hiTail != null) {
                        hiTail.next = null;
                        newTab[j + oldCap] = hiHead;
                    }
                }
            }
        }
    }
    return newTab;
}

1. resize的一部分是用来延迟初始化HashMap的table

延迟初始化很简单就是通过默认的大小,计算一个容量,然后初始化一个数组,这里就不讲了

2. 扩容

主要介绍下:

1.为什么不需要rehash

首先我们知道HashMap数组的大小一定是2的幂次方,然后扩容是2倍,所以依旧是2的幂次方,下面我们举个例子:
假设默认大小为16,扩容之后大小为32,看一下index的变化:
建议点击查看原图

扩容后index的变化

由图上可以看出,在扩容后index要么就是不变,要么就是旧index+旧容量,不需要重新计算index , 只需要判断高位为0和1就可以了,这就是Java8相对Java7的优化,可见Doug Lea(J.U.C包基本出自他之手,有很多文章和论文的发表,有兴趣可以去看一下)的算法功底十分深厚

可以看下美团技术文章的图片:

from: 美团技术文章
2. 如何扩容

扩容后对值的移动主要如下:

    if (oldTab != null) {
        for (int j = 0; j < oldCap; ++j) {
            Node<K,V> e;
            if ((e = oldTab[j]) != null) {
                oldTab[j] = null;
                // 如果只有数组节点,next为空那么直接计算index放到新的数组上即可
                if (e.next == null)
                    newTab[e.hash & (newCap - 1)] = e;
                // 如果节点为TreeNode那么说明已经树化了,直接调用TreeNode的split进行移动
                else if (e instanceof TreeNode)
                    ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                // 这里主要介绍链表的移动,相对于Java7也有改动,写的十分精炼
                else { // preserve order
                    Node<K,V> loHead = null, loTail = null;
                    Node<K,V> hiHead = null, hiTail = null;
                    Node<K,V> next;
                    do {
                        next = e.next;
                        if ((e.hash & oldCap) == 0) {
                            if (loTail == null)
                                loHead = e;
                            else
                                loTail.next = e;
                            loTail = e;
                        }
                        else {
                            if (hiTail == null)
                                hiHead = e;
                            else
                                hiTail.next = e;
                            hiTail = e;
                        }
                    } while ((e = next) != null);
                    if (loTail != null) {
                        loTail.next = null;
                        newTab[j] = loHead;
                    }
                    if (hiTail != null) {
                        hiTail.next = null;
                        newTab[j + oldCap] = hiHead;
                    }
                }
            }
        }
    }

这里主要介绍链表的处理:

我们拿到链表的节点,肯定只有两种情况,一种是原index,另一种是原index+原大小,所以分别对这两种进行处理:
文字不太好描述,我们图解一下吧
由于图片较大,点击查看原图

链表移动图解


6. 树化

当我们在put数据的时候,如果链表上节点的个数大于等于TREEIFY_THRESHOLD (static final int TREEIFY_THRESHOLD = 8),这时候会由链表树化变为红黑树,这就是Java8的优化,其实还有一个条件,就是tab数组的个数需要大于等于MIN_TREEIFY_CAPACITY (static final int MIN_TREEIFY_CAPACITY = 64),直接看代码吧

final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
               boolean evict) {
    //...省略部分代码
    else {
           //....省略部分代码
            for (int binCount = 0; ; ++binCount) {
                if ((e = p.next) == null) {
                    p.next = newNode(hash, key, value, null);
                    if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                        treeifyBin(tab, hash);
                    break;
                }
                //...
                p = e;
            }
        }
       //... 省略部分代码
        }
    }
   //... 
    return null;
}

可以看到,当调用putVal插入数据的时候,遍历链表的节点,会通过binCount记录节点的index, ( for (int binCount = 0; ; ++binCount) 这个for循环也是相当个性,其实是个无限循环),再回到正题,当遍历节点如果遍历到 if ((e = p.next) == null) 这个条件也就是最后一个了,那就应该把节点放到最后一个节点的next的位置上,然后看一下链表节点的个数,如果大于等于TREEIFY_THRESHOLD,就调用treeifyBin方法.

final void treeifyBin(Node<K,V>[] tab, int hash) {
    int n, index; Node<K,V> e;
    // 这里会判断tab数组的个数,如果小于MIN_TREEIFY_CAPACITY,其实并没有树化,而是扩容
    // 原因其实也很简单,如果数组很小的话,改为红黑树提升也不大,反而会因为树化和红黑树的调整增加插入的时间
    if (tab == null || (n = tab.length) < MIN_TREEIFY_CAPACITY)
        resize();
    else if ((e = tab[index = (n - 1) & hash]) != null) {//这里就是树化的过程
        TreeNode<K,V> hd = null, tl = null;
        do {
            TreeNode<K,V> p = replacementTreeNode(e, null);
            if (tl == null)
                hd = p;
            else {
                p.prev = tl;
                tl.next = p;
            }
            tl = p;
        } while ((e = e.next) != null);
        if ((tab[index] = hd) != null)
            hd.treeify(tab);
    }
}

红黑树是数据结构中比较重要的数据结构,当然也是树结构中比较简单的数据结构,如果想了解红黑树,可以看一下我的这篇文章
图片详解红黑树(R-B Tree) 一种简单而高效的数据结构 Java版
我自己画了很多图去详解红黑树,可以看一下


参考:

  1. JDK1.7&JDK1.8 源码。
  2. 博客园 : 数据结构:哈希表以及哈希冲突的解决方案
  3. 美团技术团队: Java 8系列之重新认识HashMap

如有错误,请评论指正,万分感谢!