0#3 多线程下载相关

目录:
  |- wget
  |- mwget
  |- axel
  |- 百度云链接的下载方式

wget

参考资料:

man wget
wget -h
linux wget 命令用法详解(附实例说明)

指令格式

wget [OPTION]... [URL]...

简介

wget是Linux自带的下载工具,支持FTP和HTTP等,使用比较方便。

一些选项

-O  指定输出名称
-c  断点续传
-b  后台模式,使用‘tail -f wget-log’,查看过程
--user-agent  指定发送请求时,请求头header部分
-i  下载保存在文本中连接

演示

比如下载yolov3论文的pdf文件

https://pjreddie.com/media/files/papers/YOLOv3.pdf

直接下载

wget https://pjreddie.com/media/files/papers/YOLOv3.pdf

设置输出为yolov3.pdf

wget -O yolov3.pdf https://pjreddie.com/media/files/papers/YOLOv3.pdf

设置后台模式

wget -b https://pjreddie.com/media/files/papers/YOLOv3.pdf
tail -f wget-log

mwget

参考资料:

mwget -h
安装方法

指令格式

mwget [Options]... [URL]...

简介

  mwget是仿照wget,但是解决了wget只能单线程下载文件的尴尬局面,与wget使用的方法基本一致,只是多了 ’-n’ 指定多线程的选项。但是mwget并不是系统自带的,需要另外下载。

安装方式

  1. 下载mwget源文件
wge http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2

可能会报错,这个是外网,有可能连接不上,于是下载好,后上传文件。
  1. 进入相应目录
cd mwget_0.1.0.orig
  1. 进行环境确认
./configure

报错如下

configure: error: Your intltool is too old.  You need intltool 0.35.0 or later.
  1. 更新intltool
sudo apt-get install intltool
  1. 重新确认环境
./configure
  1. 进行编译
make
  1. 进行安装
sudo make install
  1. 测试是否能够使用
mwget -h

输出如下:

GNU MWget 0.1.0 ,一个非交互式多线程可移植的网络文件下载工具。
用法: mwget [选项]....[URL]
选项:
  -b,  --debug          调试模式,显示调试信息
  -c,  --count=num      设置重试次数为[num],不限制次数设置为“0“,默认设置为“99”。
  -d,  --directory=dir      设置本地目录为[dir],默认值为当前目录。
  -f,   --file=file         重命名下载后文件为[file]
  -h,   --help              显示帮助信息。
  -i,   --interval=num  设置FTP重试期限为[num]秒,默认为“5“。
  -n,  --number=num     设置下载的线程数,默认开4个线程。
  -r,  --referer=URL    使用“Referer: [URL]”在HTTP头中欺骗服务器。
  -t,  --timeout=num    设置超时时间为[num]秒,默认设置是“30”。
  -v,  --version        显示mwget的版本,然后退出。
  -x,  --proxy=URL      设置代理 [URL]

一些选项

-n   设置多线程的线程数(建议设置4/8,一般校园网最高速度为1.5M)

演示

  进行8线程下载

mwget -n 8 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.1-Linux-x86_64.sh
图片.png

  速度约为1.5M/s,图中的’>’表明把下载过程分为8个部分。
  上面的例子中下载文件位于国内,而且只有一个文件差别不大。
[coco的数据集]作为比较

mwget -n 1 https://pjreddie.com/media/files/instances_train-val2014.zip
图片.png

大约150k的速度,下载157M文件时间需要1天。

mwget -n 8 https://pjreddie.com/media/files/instances_train-val2014.zip

图片.png

大约1.5M的速度,下载157M文件时间需要3分钟。
mwget -n 16 https://pjreddie.com/media/files/instances_train-val2014.zip
图片.png

基本同上


axel

参考资料:

axel -h
Axel多线程下载工具使用详解
axel 命令用法详解

指令格式

axel [options] url1 [url2] [url...]

简介

  axel 是Linux下一个不错的HTTP/ftp高速下载工具。支持多线程下载、断点续传,且可以从多个地址或者从一个地址的多个连接来下载同一个文件。并且默认支持断点续传。
  默认linux中没有安装。
  安装方法:

apt-get install axel

测试方法:

axel -h

输出如下:

用法: axel [选项] 地址1 [地址2] [地址...]

--max-speed=x       -s x    指定最大速率(字节 / 秒)
--num-connections=x -n x    指定最大连接数
--output=f      -o f    指定本地输出文件
--search[=x]        -S [x]  搜索镜像并从 X 服务器下载
--no-proxy      -N  不使用任何代理服务器
--quiet         -q  使用输出简单信息模式
--verbose       -v  更多状态信息
--alternate     -a  文本式进度指示器
--help          -h  帮助信息
--version       -V  版本信息

一些选项

-n   设置多线程的个数
-o   指定输出文件
-a   文本式进度指示器
-q   静默模式

演示

  1. 多线程下载(-n 选项)
lee@lee:~/Desktop/anaconda$ axel -n 1 \
http://www.pjreddie.com/media/files/instances_train-val2014.zip

axel 出现 太多重定向 的问题
输出如下:(似乎是版本问题,清华源有2.16的版本,没有这个问题)


2.7版本.png

清华源


2.16版本.png
  1. 文本式进度指示器(-a 选项)
    指令如下:
axel -a http://www.pjreddie.com/media/files/instances_train-val2014.zip

输出如下:(输出不在刷屏)


图片.png
  1. 静默模式
    指令如下:
axel -d http://www.pjreddie.com/media/files/instances_train-val2014.zip

输出如下:(没有输出了)


图片.png

百度云链接的下载方式

参考资料:

这个资料使用的浏览器是chrome,但是Ubuntu默认的浏览器是firefox

简介

  百度云默认没有提供linux的安装包,所以linux默认不能安装百度云盘软件。当我们要从百度云盘下载文件的时候,似乎特别的麻烦,还要切换操作系统,但是这里提供了一种方式,不但可以下载百度云的资源,而且还可以不限速下载。

安装

  1. 打开firefox


    图片.png
  2. 添加组件
    快捷键[ctrl]+[shift]+A


    图片.png

演示

1.测试
以下的百度云链接为一次比赛的数据集
百度云链接:https://pan.baidu.com/s/1_N9v9UWWArPbq3h0oqhZ5Q
提取码:mj4a

图片.png

出现导出下载的按钮

  1. 点击,并生成aria的指令
图片.png

图片.png
  1. 将文本复制,在终端中粘贴执行(如下)
图片.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,458评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,454评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,171评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,062评论 0 207
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,440评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,661评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,906评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,609评论 0 200
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,379评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,600评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,085评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,409评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,072评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,088评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,860评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,704评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,608评论 2 270