java并发编程之Fork/Join 框架

ForkJoin是Java7提供的原生多线程并行处理框架,其基本思想是将大人物分割成小任务,最后将小任务聚合起来得到结果。它非常类似于HADOOP提供的MapReduce框架,只是MapReduce的任务可以针对集群内的所有计算节点,可以充分利用集群的能力完成计算任务。ForkJoin更加类似于单机版的MapReduce。

我们要使用ForkJoin框架,必须首先创建一个ForkJoin任务。它提供在任务中执行fork()和join的操作机制,通常我们不直接继承ForkjoinTask类,只需要直接继承其子类。

1. RecursiveAction,用于没有返回结果的任务

2. RecursiveTask,用于有返回值的任务

· ForkJoinPool:task要通过ForkJoinPool来执行,分割的子任务也会添加到当前工作线程的双端队列中,进入队列的头部。当一个工作线程中没有任务时,会从其他工作线程的队列尾部获取一个任务。

ForkJoin框架使用了工作窃取的思想(work-stealing),算法从其他队列中窃取任务来执行。

下面代码,使我模拟的一个场景,即进行数组求和,假如我们的数组大小为400,计算机每次求一百个数字之和需要花费一秒钟(使用线程睡眠模拟)。那么单线程情况下大概需要4秒钟,而我们使用4个线程分别进行100个数字的求和,其并行计算,只需要1秒钟。

代码如下:

package com.zt.thread;

import java.util.Random;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.ForkJoinTask;
import java.util.concurrent.RecursiveTask;

/**
 * 
 * 利用Fork/join框架进行400个100以内的数字的加法
 * 
 * JDK用来执行Fork/Join任务的工作线程池大小默认等于CPU核心数。默认在一个4核CPU上,最多可以同时执行4个子任务。
 * 
 * @author zhaotong
 *
 */
class CountTask extends RecursiveTask<Long> {

    private static final long serialVersionUID = 1L;
    // 100个数组进行一次计算
    private static final int SIZE = 100;
    // 存储本次计算的数字
    private int[] array;
    // 计算起始位置
    private int start;
    // 计算结束位置
    private int end;

    CountTask(int[] array, int start, int end) {
        this.array = array;
        this.start = start;
        this.end = end;
    }

    @Override
    protected Long compute() {

        // 如果任务小于我们规定的阀值,则直接进行计算
        if (end - start <= SIZE) {
            long sum = 0;
            for (int i = start; i < end; i++) {
                sum += array[i];
            }
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
            }
            return sum;

        }
        // 任务太大,将任务一分为二
        int middle = (end + start) / 2;
        CountTask ct1 = new CountTask(array, start, middle);
        CountTask ct2 = new CountTask(array, middle, end);
        invokeAll(ct1, ct2);
        long res1 = ct1.join();
        long res2 = ct2.join();
        return res1 + res2;
    }

}

public class ForkAndJoin {

    private static void fillRandomArray(int[] array) {
        Random rd=new Random();
        for (int i = 0; i < array.length; i++) {
            array[i] = rd.nextInt(100);
        }
    }

    // 单线程进行数组求和计算
    private static long computeArray(int[] array) {
        long sum = 0;
        for (int i = 0; i < array.length; i++) {
            sum += array[i];
            if ((i + 1) % 100 == 0) {
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                }
            }
        }
        return sum;
    }

    public static void main(String[] args) {
        // 获取cpu核心数
        // Runtime.getRuntime().availableProcessors()

        int[] test = new int[400];
        fillRandomArray(test);

        // 模拟单个线程进行计算,假设,我们每计算100个数字,需要消耗一秒钟(这里我们使用线程睡眠1秒钟)
        long startTime1 = System.currentTimeMillis();
        Long result1 = computeArray(test);
        long endTime1 = System.currentTimeMillis();

        System.out.println("single Thread sum: " + result1 + " in "
                + (endTime1 - startTime1) + " ms.");
        // 使用fork/join 进行并行计算,我的电脑四核 可以使用
        // Runtime.getRuntime().availableProcessors()

        /**
         * ForkJoinPool提供了一系列的submit方法,计算任务。ForkJoinPool默认的线程数通过Runtime.
         * availableProcessors()获得, 因为在计算密集型的任务中,获得多于处理性核心数的线程并不能获得更多性能提升
         * ,该方法也可以传以前的Runnable, Callback的接口实现(底层会将其封装成ForkJoinTask对象)。
         */
        ForkJoinPool fp = new ForkJoinPool(Runtime.getRuntime()
                .availableProcessors());
        ForkJoinTask<Long> ft = new CountTask(test, 0, test.length);
        long startTime = System.currentTimeMillis();
        Long result = fp.invoke(ft);
        long endTime = System.currentTimeMillis();
        System.out.println("Fork/join sum: " + result + " in "
                + (endTime - startTime) + " ms.");

    }

}

执行结果:

image.png

注意,这里有个特别需要注意的地方,在划分任务时,很多人会这样写。

        int middle = (end + start) / 2;
        CountTask ct1 = new CountTask(array, start, middle);
        CountTask ct2 = new CountTask(array, middle, end);
        ct1.fork();
        ct2.fork();
        long res1 = ct1.join();
        long res2 = ct2.join();

因为compute()方法其实本身就是一个线程,这样写,就让compute()所在的线程闲置了。因此应当使用invokeAll()方法,invokeAll的N个任务中,其中N-1个任务会使用fork()交给其它线程执行,但是,它还会留一个任务自己执行,这样,就充分利用了线程池,保证没有空闲的不干活的线程。(廖学峰大大的教程真的不错,强烈推荐)。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容