Android 多线程分段下载文件

下文中所用到的依赖:implementation 'com.squareup.retrofit2:retrofit:2.1.0',虽然用的retrofit的包,但是只用了里面的okhttp部分,因为是demo项目,原先就已经加了依赖了,不方便换了。
现在我们开始多线程分段下载一个大文件,用的是服务上一个apk文件(23M,假设是大文件)
开工,ps:网络权限,文件读写权限,别忘了

1. 既然是多线程下载,先建立一个线程池

    ExecutorService executorService = Executors.newFixedThreadPool(5);

2. 确认下载文件的大小

    OkHttpClient client = createOkHttpClient();

    final Request request = new Request.Builder()
        .url(url)
        .head()//这里注意请求方式为head
        .build();
     try {
        Response response = client.newCall(request).execute();
        httpResponseCall.onResponseSuccess(response);
    } catch (IOException e) {
        e.printStackTrace();
    }

因为本身是线程调用的,这里网络请求就用同步了,request请求方式为head,只要获取文件大小就好了,然后在请求返回的head中获取文件大小

    long length = Long.parseLong(response.header("content-length"));//获取文件长度
    long count = length / M + 1;//下载次数 M = 1024 * 1024 * 5,M为一次下载多少长度,这里为5mb
    for (int i = 0; i < count; i++) {
        long start, end;//每次一次下载的初始位置和结束位置
        if (i == count - 1) {
            end = length - 1;//因为从0开始的,所以要-1,比如10个字节,就是0-9
        } else {
            end = (i + 1) * M - 1;
        }
        start = i * M;
        getFile(start, end);//开启下载线程
    }

3. 文件内容下载

    OkHttpClient client = createOkHttpClient();

    final Request request = new Request.Builder()
        //由于只下载文件部分内容,所以如要添加head  格式为  Range,bytes=0-199
        .addHeader("Range", String.format("bytes=%d-%d", start, end)
        .url(url)
        .build();
    try {
        Response  response = client.newCall(request).execute();
        httpResponseCall.onResponseSuccess(response);
    } catch (IOException e) {
        e.printStackTrace();
    }

4. 下载之后处理下载数据

    InputStream inputStream = response.body().byteStream();//获取流
    FileUtil.appendFileWithInstram(FILE_NAME, inputStream, start);//写入文件
    response.close();
    response.notify();

5. 读取数据写入文件

    public  static void appendFileWithInstram(String fileName, InputStream inputStream, long start) {
        File file = new File(fileName);//获取文件,我在下载之前就删除了原文件
        synchronized (TAG) {//设置线程锁
            try {
                while (true) {//通过线程锁,对线程进行排序
                    long fileLength = PreferenceUtil.getLong(fileName, 0l);//记录文件长度
                    JLog.d("FileUtil", "fileLength = " + fileLength +"\n start = "+ start);
                    if (fileLength == start) {//当文件长度,与下载文件的初始值一样,则开始写入文件,否则等待
                        break;
                    }
                    TAG.wait();
                }
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            RandomAccessFile randomAccessFile = null;
            try {
                if (!file.exists()) {
                    file.createNewFile();
                }
                randomAccessFile = new RandomAccessFile(file, "rw");

                final long M = 1024;
                long total = PreferenceUtil.getLong(fileName, 0l);
                for (; ; ) {//循环读取写入文件
                    byte[] bytes = new byte[(int) M];
                    int readCount = inputStream.read(bytes);
                    if (readCount == 0){//因为请求是一部分,一部分的,不是一次性的,所以会存在0的情况,注意0!=-1
                        continue;
                    }
                    if (readCount == -1) {//读取完成,结束循环
                        JLog.d(TAG, "readCount = " + readCount + "\n start = " + start +"\ntotal = " + total);
                        PreferenceUtil.setLongValue(fileName, total);//将写入的总长度记录下来
                        inputStream.close();
                        randomAccessFile.close();
                        break;
                    }

                    randomAccessFile.seek(total);//设置偏移量
                    total += readCount;
                    //写入读取的总长度,不能只写randomAccessFile.write(bytes)会导致文件长度大于读取的长度
                    randomAccessFile.write(bytes, 0, readCount);
                    JLog.d(TAG, "length = " + randomAccessFile.length());
                    JLog.d(TAG, "total = " + total);
                }

                TAG.notifyAll();//结束循环之后,唤醒其他线程进行写入
            } catch (FileNotFoundException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

6. 过程中遇到的问题

02-22 13:37:43.007 7378-7411/com.nmssdmf.testmodule W/System.err: java.net.ProtocolException: unexpected end of stream
02-22 13:37:43.007 7378-7411/com.nmssdmf.testmodule W/System.err:     at okhttp3.internal.http.Http1xStream$FixedLengthSource.read(Http1xStream.java:384)
02-22 13:37:43.007 7378-7411/com.nmssdmf.testmodule W/System.err:     at okio.RealBufferedSource$1.read(RealBufferedSource.java:386)
02-22 13:37:43.007 7378-7411/com.nmssdmf.testmodule W/System.err:     at java.io.InputStream.read(InputStream.java:101)

感觉这个bug是okHttp的,一开始我用直接用response.body.bytes的方式读取,没有遇到这个问题,因为直接获取流的byte数组,所需要的内存占用比较大,后改成从流中获取的方式,但是不进行线程阻塞,则会在最后一个线程读取中出现这个问题,经过各种资料查找,在OkHttpClient.Builder

        builder.connectTimeout(60, TimeUnit.SECONDS);
        builder.readTimeout(60, TimeUnit.SECONDS);
        builder.writeTimeout(60, TimeUnit.SECONDS);

大概是因为响应时间的问题,该问题得到解决,再后来把读写文件改成现在一样线程阻塞的方法,在公司网络下,依旧出现问题(必现),在4g热点下,没有该问题。目前还没有比较好的解决方法。

7. 读写文件可以用下面的方法,更方便

    /**
     * 文件分批写入
     *
     * @param fileName    文件路径
     * @param inputStream 需要写入的内容
     * @param start       写入的初始位置
     */
    public synchronized static void appendFileWithInstram(String fileName, InputStream inputStream, long start) {
        File file = new File(fileName);
        RandomAccessFile randomAccessFile = null;
        try {
            if (!file.exists()) {
                file.createNewFile();
            }
            randomAccessFile = new RandomAccessFile(file, "rw");
            final long M = 1024;
            byte[] bytes = new byte[(int) M];
            long seek = start;
            long total = 0;
            for (; ; ) {
                int readCount = inputStream.read(bytes);

                if (readCount == 0) {
                    continue;
                }
                if (readCount == -1) {
                    JLog.d(TAG, "readCount = " + readCount + "\n start = " + start + "\ntotal = " + total);
                    JLog.d(TAG, "fileLength = " + randomAccessFile.length()+ "\n seek = " + seek );
                    inputStream.close();
                    break;
                }
                total += readCount;
                randomAccessFile.seek(seek );
                randomAccessFile.write(bytes, 0, readCount);
                seek += readCount;
            }

        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,646评论 4 366
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,979评论 1 301
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,391评论 0 250
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,356评论 0 215
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,740评论 3 293
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,836评论 1 224
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,022评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,764评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,487评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,728评论 2 252
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,200评论 1 263
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,548评论 3 260
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,217评论 3 241
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,134评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,921评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,919评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,766评论 2 274

推荐阅读更多精彩内容