【Java源码计划】Striped64<rt.jar_java.util.concurrent.atomic.Striped64>

Striped64

这个类,嗯有点难度,我会尽力,在进入真正的内容前有些概念或者知识需要补充,或者说从我的角度认为大家需要知道的,可能很多人都已经知道了。

  1. Strip(Striping) 中文直译是拆分,条纹化的意思,这个词汇或者这个思想在磁盘IO中应用很多,可以参考着理解这个概念。基本思想是热点数据分离。

源码解析

这个类是包内使用的,不对外,用于为那些支持在64位元素上动态分片的类提供统一的表现和技术实现

这个类继承了Number类,这也就是说具体实现的子类也必须实现相关的内容

这个类持有一个延迟初始化的表格,表格内存储了原子级别的变量更新,外加一个额外的base字段。表的大小是平方的。索引使用每个线程的哈希值掩码后得到。几乎所有这个类里面的定义都是包内可见的,这就意味着,被子类直接访问。

表格内的元素是Cell类,Cell类是一个为了减少缓存争用而填充的AtomicLong的变种(通过 sun.misc.Contended)。此处可能涉及到sun.misc.Contended用于避免伪共享的相关内容。以前都是使用long padding ,jdk 1.8 开始使用sun.misc.Contended来替换。long padding的解决办法不怎么优雅,所以在jdk 1.7中甚至会惨遭“优化”,所以在1.7中程序员们绞尽脑汁避免这个优化。更详细的在关于伪共享的主题中记录。

填充对于大多数原子来说其实是多余的,因为他们通常不规则的分布在内存中,因此彼此之间没有太多的互相干扰。但是驻留在数组中的源自对象通常都彼此相邻,因此,在没有这种预防措施的情况下很有可能出现伪共享,多个元素共享一行缓存,这对性能有着巨大的负面影响。

在某种程度上,因为Cell类比较大,尽可能避免在使用之前创建,也就是说要尽量延后创建。如果没有竞争,那么所有的更新操作将对base字段实现。当发生第一次争用(也就是说如果第一次对base字段的CAS操作失败),这个table就会被初始化为2。当进一步的争用发生的时候,表的大小会增加一倍,直到达到这个数字等于挥着大于cpu的数量,由于是每次2倍,也就是说这个数字是2的n次幂。表应该在需要之前保持为null,也就是未使用的时候应该是是null。

利用一个自旋锁(cellsBusy)来对初始化和table大小修改以及用新Cells填充slots提供锁保证。这个地方没有必要使用阻塞锁,如果锁不可达,线程可以尝试其他的slots,或者 尝试base字段。在这些重试期间,竞争加剧,但是降低了局部性,这仍然比阻塞锁来得好。

线程的标识通过threadLocalRandom维护,实际是每个线程的哈希值。在第一个slot没出现竞争的时候,让它保持为未初始化状态0,出现竞争后初始化为通常不会和其他的的值冲突的值,比如线程的哈希码。在执行更新时发生CAS操作失败意味着出现了争用或者表碰撞,也有可能都有。当发生冲突时,如果表大小小于最大容量,把它的大小增加一倍,除了其他线程持情况。如果哈希后的slot为空,并且锁是可用的,那么创建一些新的Cell。如果存在了那么会进行CAS尝试。通过双重哈希进行重试,利用一个辅助哈希(Marsaglia XorShift随机数算法)来尝试寻找一个空闲的slot。

表的大小是收到限制的,因为当线程数超过了cpu数量,假设每个线程都是绑定到一个cpu的,那么一定会存在一个完美的哈希函数,能够将这些线程映射到slot上,从而消除冲突。当我们达到最大容量时,我们通过随机改变冲突线程的哈希代码来搜索这个映射。搜索是随机的,并且只有通过CAS失败才能知道冲突,所以收敛速度可能很慢,而且由于线程通常不会永远绑定到CPU,所以可能根本不会发生。虽然尽管存在这些局限性,但观察到的争用率在这些情况下仍然较低。

Cell可能会出现不可用的情况,包括进行哈希的线程终止,或者由于table扩容导致线程哈希不正确。不会尝试发现或者移除这些Cell,对于处于长时间运行得实例,争用可能会重复出现,所以这时候可能这些Cell又会需要,没有必要销毁,而对于短时间运行的实例,花费时间去销毁又没有什么必要。

Cell类

Atomiclong的填充变体,仅支持原始访问和CAS

JVM内部注释:这里可能会在提供的情况下使用一个正式的CAS操作。这句话翻译出来好像不太好懂,原始主时中有个release-only form of CAS不太好理解,这句话的注释主要是给JVM实现的,CAS不适唯一的原子操作,这里跟C++有关,如果实在不明白,贴一个StackoverFlow的地址,用于深入研究release-only form of CAS

//这个注解会交个jvm进行合适的填充
//关于这个注解
@sun.misc.Contended static final class Cell {
        //关于volatile此处不会展开了
        //这个变量是实际承载这个真实值的
        volatile long value;
        //构造方法
        Cell(long x) { value = x; }
        //执行CAS操作
        final boolean cas(long cmp, long val) {
            //具体实现的CAS使用了UNSAFE,具体在UNSAFE中记录
            return UNSAFE.compareAndSwapLong(this, valueOffset, cmp, val);
        }

        // Unsafe mechanics
        //就像UnSafe字面意义一样,减少使用这个类,毕竟它等同于使用了c的指针
        private static final sun.misc.Unsafe UNSAFE;
        //
        private static final long valueOffset;
        //静态初始化块,用于初始化UNSAFE和valueOffset
        static {
            try {
                //Unsafe使用了单例模式
                //所以用getUnsafe获取实例。
                //Unsafe做了限制,
                //如果是一个普通的调用getUnsafe会报SecurityException异常
                //只有主类加载器才能调用这个方法。
                UNSAFE = sun.misc.Unsafe.getUnsafe();
                Class<?> ak = Cell.class;
                //计算value元素的偏移量是多少
                valueOffset = UNSAFE.objectFieldOffset
                    (ak.getDeclaredField("value"));
            } catch (Exception e) {
                throw new Error(e);
            }
        }
    }

接着是一些变量

    /** CPU的核心数,和table的大小有关*/
    static final int NCPU = Runtime.getRuntime().availableProcessors();

    /**
     * 用来存储Cell的table,在非空情况下一定是2的幂长度
     */
    transient volatile Cell[] cells;

    /**
     * base字段, 主要在非竞争情况下使用, 也同时充当table在初始化期间的竞争后备
     *通过CAS操作进行更新.
     */
    transient volatile long base;

    /**
     * 自旋锁 (通过CAS操作加锁)用于在对Cells做创建或者调整大小的时候进行加锁。
     */
    transient volatile int cellsBusy;

    /**
     * 默认函数使用default修饰,也就是包内有效。
     */
    Striped64() {
    }

一些方法


/**
     * 通过CAS操作,修改Base字段
     */
    final boolean casBase(long cmp, long val) {
        return UNSAFE.compareAndSwapLong(this, BASE, cmp, val);
    }

    /**
     * 通过CAS操作修改cellsBusy字段,从0修改为1,标示获得锁。
     */
    final boolean casCellsBusy() {
        return UNSAFE.compareAndSwapInt(this, CELLSBUSY, 0, 1);
    }

    /**
     * 返回当前线程的标示.
     * 由于包限制,这段代码是从ThreadLocalRandom拷贝过来的
     * Duplicated from ThreadLocalRandom because of packaging restrictions.
     */
    static final int getProbe() {
        return UNSAFE.getInt(Thread.currentThread(), PROBE);
    }

    /**
     * 利用伪随机算法加强标识后,将为当前线程记录这个标识。
     * 由于包限制,这段代码是从ThreadLocalRandom拷贝过来的
     * Duplicated from ThreadLocalRandom because of packaging restrictions.
     */
    static final int advanceProbe(int probe) {
        probe ^= probe << 13;   // xorshift
        probe ^= probe >>> 17;
        probe ^= probe << 5;
        UNSAFE.putInt(Thread.currentThread(), PROBE, probe);
        return probe;
    }

接下来是最大的重头戏,很复杂的两个方法,尽力讲解

这个方法处理初始化、调整大小、创建新Cells和争用等情况。
这个方法由于有比较乐观的重试机制,所以存在常见的非模块化问题,依赖于重试

    //x  元素
    //fn  更新函数,如果是add可以为null,
    //这个约定避免了longadder中定义额外的变量或者函数
    //wasUncontended 如果CAS在调用之前失败了,这个值为false
    final void longAccumulate(long x, LongBinaryOperator fn,
                              boolean wasUncontended) {
        
        int h;
        //获取当前线程的probe值,如果为0,则需要初始化该线程的probe值
        if ((h = getProbe()) == 0) {
            // 强制初始化
            ThreadLocalRandom.current();
            h = getProbe();
            wasUncontended = true;
        }
        //如果上一个slot不为空置为true
        //碰撞标记
        boolean collide = false;                
        for (;;) {
            Cell[] as; Cell a; int n; long v;
            //Cells不为空,进行操作
            if ((as = cells) != null && (n = as.length) > 0) {
                //通过(hashCode & (length - 1))这种算法来实现取模
                //如果当前位置为null说明需要初始化
                if ((a = as[(n - 1) & h]) == null) {
                    //判断锁状态
                    //尝试添加新的cell
                    if (cellsBusy == 0) {       // Try to attach new Cell
                        Cell r = new Cell(x);   // Optimistically create
                        //再次判断锁状态,同时获取锁
                        if (cellsBusy == 0 && casCellsBusy()) {
                            boolean created = false;
                            //利用try确保处于获取锁的状态下
                            try {               // Recheck under lock
                                Cell[] rs; int m, j;
                                if ((rs = cells) != null &&
                                    (m = rs.length) > 0 &&
                                    rs[j = (m - 1) & h] == null) {
                                    //Cell添加
                                    rs[j] = r;
                                    //标示创建
                                    created = true;
                                }
                            } finally {
                                //释放锁
                                cellsBusy = 0;
                            }
                            //创建成功跳出,否则重试
                            if (created)
                                break;
                            continue;           // Slot is now non-empty
                        }
                    }
                    collide = false;
                }
                //运行到此说明cell的对应位置上已经有相应的Cell了,
                //不需要初始化了
                //CAS操作已经失败了,出现了竞争
                else if (!wasUncontended)       // CAS already known to fail
                    wasUncontended = true;      // Continue after rehash
                //尝试去修改a上的计数,
                //a为Cell数组中index位置上的cell    
                else if (a.cas(v = a.value, ((fn == null) ? v + x :
                                             fn.applyAsLong(v, x))))
                    break;
                //cell数组最大为cpu的数量,
                //cells != as表明cells数组已经被更新了 
                //标记为最大状态或者说是过期状态
                else if (n >= NCPU || cells != as)
                    collide = false;            // At max size or stale
                
                else if (!collide)
                    collide = true;
                //尝试获取锁之后扩大Cells
                else if (cellsBusy == 0 && casCellsBusy()) {
                    try {
                        if (cells == as) {      // Expand table unless stale
                            //Cell数组扩容,每次扩容为原来的两倍
                            Cell[] rs = new Cell[n << 1];
                            for (int i = 0; i < n; ++i)
                                rs[i] = as[i];
                            cells = rs;
                        }
                    } finally {
                        cellsBusy = 0;
                    }
                    collide = false;
                    continue;                   // Retry with expanded table
                }
                h = advanceProbe(h);
            }
            //此分支表明Cells是空的,所以要获取锁,然后初始化Cells
            else if (cellsBusy == 0 && cells == as && casCellsBusy()) {
                boolean init = false;
                try {                           // Initialize table
                    if (cells == as) {
                        Cell[] rs = new Cell[2];
                        rs[h & 1] = new Cell(x);
                        cells = rs;
                        init = true;
                    }
                } finally {
                    cellsBusy = 0;
                }
                if (init)
                    break;
            }
            //此处表明Cells为空,并且初始化的时候获取锁失败,直接在base上进行CAS
            else if (casBase(v = base, ((fn == null) ? v + x :
                                        fn.applyAsLong(v, x))))
                break;                          // Fall back on using base
        }
    }

这一段的核心是这样的:

  • longAccumulate会根据当前线程来计算一个哈希值,然后根据算法(hashCode & (length - 1))来达到取模的效果以定位到该线程被分散到的Cell数组中的位置
  • 如果Cell数组还没有被创建,那么就去获取cellBusy这个锁(相当于锁,但是更为轻量级),如果获取成功,则初始化Cell数组,初始容量为2,初始化完成之后将x包装成一个Cell,哈希计算之后分散到相应的index上。如果获取cellBusy失败,那么会试图将x累计到base上,更新失败会重新尝试直到成功。
  • 如果Cell数组已经被初始化过了,那么就根据线程的哈希值分散到一个Cell数组元素上,获取这个位置上的Cell并且赋值给变量a,如果a为null,说明该位置还没有被初始化,那么就初始化,当然在初始化之前需要竞争cellBusy变量。
  • 如果Cell数组的大小已经最大了(大于等于CPU的数量),那么就需要重新计算哈希,来重新分散当前线程到另外一个Cell位置上再走一遍该方法的逻辑,否则就需要对Cell数组进行扩容,然后将原来的计数内容迁移过去。由于Cell里面保存的是计数值,所以扩容后没有必要做其他处理,直接根据index将旧的Cell数组内容复制到新的Cell数组中。

下面的方法和上面的一样,只不过加入了long和double的转换,如果想要和Long的合并到一起需要在太多的地方加入这种转换,可能会带来额外的开销,为了减少开销,只好通过复制粘贴过来进行调整和维护 。


final void doubleAccumulate(double x, DoubleBinaryOperator fn,
                                boolean wasUncontended) {
        int h;
        if ((h = getProbe()) == 0) {
            ThreadLocalRandom.current(); // force initialization
            h = getProbe();
            wasUncontended = true;
        }
        boolean collide = false;                
        for (;;) {
            Cell[] as; Cell a; int n; long v;
            if ((as = cells) != null && (n = as.length) > 0) {
                if ((a = as[(n - 1) & h]) == null) {
                    if (cellsBusy == 0) {       // Try to attach new Cell
                        Cell r = new Cell(Double.doubleToRawLongBits(x));
                        if (cellsBusy == 0 && casCellsBusy()) {
                            boolean created = false;
                            try {               // Recheck under lock
                                Cell[] rs; int m, j;
                                if ((rs = cells) != null &&
                                    (m = rs.length) > 0 &&
                                    rs[j = (m - 1) & h] == null) {
                                    rs[j] = r;
                                    created = true;
                                }
                            } finally {
                                cellsBusy = 0;
                            }
                            if (created)
                                break;
                            continue;           // Slot is now non-empty
                        }
                    }
                    collide = false;
                }
                else if (!wasUncontended)       // CAS already known to fail
                    wasUncontended = true;      // Continue after rehash
                else if (a.cas(v = a.value,
                               ((fn == null) ?
                                Double.doubleToRawLongBits
                                (Double.longBitsToDouble(v) + x) :
                                Double.doubleToRawLongBits
                                (fn.applyAsDouble
                                 (Double.longBitsToDouble(v), x)))))
                    break;
                else if (n >= NCPU || cells != as)
                    collide = false;            // At max size or stale
                else if (!collide)
                    collide = true;
                else if (cellsBusy == 0 && casCellsBusy()) {
                    try {
                        if (cells == as) {      // Expand table unless stale
                            Cell[] rs = new Cell[n << 1];
                            for (int i = 0; i < n; ++i)
                                rs[i] = as[i];
                            cells = rs;
                        }
                    } finally {
                        cellsBusy = 0;
                    }
                    collide = false;
                    continue;                   // Retry with expanded table
                }
                h = advanceProbe(h);
            }
            else if (cellsBusy == 0 && cells == as && casCellsBusy()) {
                boolean init = false;
                try {                           // Initialize table
                    if (cells == as) {
                        Cell[] rs = new Cell[2];
                        rs[h & 1] = new Cell(Double.doubleToRawLongBits(x));
                        cells = rs;
                        init = true;
                    }
                } finally {
                    cellsBusy = 0;
                }
                if (init)
                    break;
            }
            else if (casBase(v = base,
                             ((fn == null) ?
                              Double.doubleToRawLongBits
                              (Double.longBitsToDouble(v) + x) :
                              Double.doubleToRawLongBits
                              (fn.applyAsDouble
                               (Double.longBitsToDouble(v), x)))))
                break;                          // Fall back on using base
        }
    }

下面是Unsafe的相关结构

private static final sun.misc.Unsafe UNSAFE;
    private static final long BASE;
    private static final long CELLSBUSY;
    private static final long PROBE;
    static {
        try {
            UNSAFE = sun.misc.Unsafe.getUnsafe();
            Class<?> sk = Striped64.class;
            BASE = UNSAFE.objectFieldOffset
                (sk.getDeclaredField("base"));
            CELLSBUSY = UNSAFE.objectFieldOffset
                (sk.getDeclaredField("cellsBusy"));
            Class<?> tk = Thread.class;
            PROBE = UNSAFE.objectFieldOffset
                (tk.getDeclaredField("threadLocalRandomProbe"));
        } catch (Exception e) {
            throw new Error(e);
        }
    }
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 156,423评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,339评论 1 289
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,241评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,503评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,824评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,262评论 1 207
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,615评论 2 309
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,337评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,989评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,300评论 2 240
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,829评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,193评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,753评论 3 230
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,970评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,708评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,295评论 2 267
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,207评论 2 258

推荐阅读更多精彩内容