配置AWS云计算平台

这是一个帮助文档,我们会一步一步讲解如何从0开始在AWS上申请CPU或者GPU机器进行使用。

申请账号并登陆

首先我们需要在aws官网上面注册账号,这里需要绑定一张信用卡,所以没有master或者VISA卡的同学可以开通一张,实在不熟悉的同学可以搜索一下"如何注册aws账号"。

然后我们进入到控制面板,可以看到下面的图片,点击"EC2"

1.png

然后我们就能够进入到下一个界面

2.png

这个界面只需要注意三个地方,一个是右上角的地区,需要选择一个离你比较近的地区,整个亚太地区可以选择韩国,日本,新加坡和孟买。然后是左边的一个方框"限制",如果你申请CPU的计算实例,那么不用管,如果你要申请GPU计算实例,就需要点击"限制"进行申请,因为GPU实例会产生费用,亚马逊需要和你确认这个事情,一般需要两到三个工作日。

接下面就可以开始启动实例了,点击中间的红框即可开始。

申请实例并启动

3.png

进入上面的界面之后,需要选择操作系统,这里我们一般都选择linux系统,当然还有很多社区AMI,也就是别人配置好的系统,这里先暂时不用管,我们一般就在上面两个红框中选择一个,第一个是一个空的系统,什么都没有,第二个是一个深度学习的系统,装好了CUDA以及很多框架,可以选择这一个,如果选择这个,那么需要的磁盘空间可能更大。

点击选择之后便可以进入下面的界面。

4.png

这里需要选择实例类型,如果新注册的用户可以免费使用一年的t2.mirco实例,这个实例是没有GPU的,如果要使用GPU的实例,那么从上面的实例类型中选择GPU计算,便可以快速跳转到下面这里。

5.png

这里有很多个实例,一般我们就选第一个p2.xlarge,这个实例包含一个Nvidia k40GPU,后面有8块GPU和16块GPU的版本,当然费用也更高。选择完成之后我们可以进入下一步配置实例信息。

6.png

这里我们只需要关注根目录的大小,也就是云端计算平台的硬盘大小,因为我们需要存放数据集,需要安装框架,所以需要大一点,新注册的用户可以免费试用30G的存储,我们可以设置为40G,一般费用比较便宜。然后点击审核和启动实例。

接着进入到下面这个界面,我们可以点击右下角的启动来启动实例了。

7.png

接着会跳出一个对话框如下。

9.png

这里需要你创建一个密钥对,因为现在aws不支持密码登录,所以需要密钥登录,你在名称那一栏取一个名字,然后点击下载密钥对就可以了。

然后你就可以看到你的实例正在启动,点击下图红框的地方进入具体的实例位置。

10.png

然后可以进入到下面的界面,可以看到实例正在启动,右键点击实例这一栏,然后点击连接。

11.png

接着便会出来下面的窗口,按着这个窗口的操作,如果使用windows系统,需要PuTTY连接,因为我的电脑是mac,所以这个部分没有尝试。在mac下打开终端,先进入刚才存放密钥的位置,然后输出chmod 400 yourkey.pem,这里我的密钥是'liao.pem',这个命令只需要第一次连接的时候输入,后面连接就不用管了,然后通过下面的命令连到你的远程linux服务器。

12.png

比如,这是我在终端中进行的输入,第一次连接会弹出一个问题,输入yes即可。

13.png

然后我们便进入到了系统,可以看到,红框就表示连接的远程服务器。

14.png

安装Anaconda

下面简单演示一下如何在远程环境下安装anaconda,这里需要一点bash命令的基础。首先使用自己的电脑进入到Anaconda的官网,然后右键点击Download,保存链接地址。

15.png

然后在刚刚连接的远程服务器上面输入

wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh

后面是刚刚复制的地址,然后输入回车,就开始下载了,下载完成之后是一个后缀为.sh的文件,输入sudo sh 文件名.sh就可以开始安装了。

16.png

安装完成之后,通过下面的命令配置环境变量。

echo 'export PATH="~/anaconda3/bin:$PATH"' >> ~/.bashrc

source ~/.bashrc

这样便完成了远程Anaconda的安装。

安装CUDA

【注意】只有CPU的实例可以跳过步骤。

我们去Nvidia官网下载CUDA并安装。选择正确的版本并获取下载地址。

【注意】目前CUDA默认下载9.0版,但mxnet-cu90的daily build还不完善。建议使用下面命令安装8.0版。

[图片上传失败...(image-afb059-1510476790914)]

然后使用wget下载并且安装

wget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda_8.0.61_375.26_linux-run
sudo sh cuda_8.0.61_375.26_linux-run

这里需要回答几个问题。

accept/decline/quit: accept
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?
(y)es/(n)o/(q)uit: y
Do you want to install the OpenGL libraries?
(y)es/(n)o/(q)uit [ default is yes ]: y
Do you want to run nvidia-xconfig?
(y)es/(n)o/(q)uit [ default is no ]: n
Install the CUDA 8.0 Toolkit?
(y)es/(n)o/(q)uit: y
Enter Toolkit Location
 [ default is /usr/local/cuda-8.0 ]:
Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y
Install the CUDA 8.0 Samples?
(y)es/(n)o/(q)uit: n

安装完成后运行

nvidia-smi

就可以看到这个实例的GPU了。最后将CUDA加入到library path方便之后安装的库找到它。

echo "export LD_LIBRARY_PATH=\${LD_LIBRARY_PATH}:/usr/local/cuda-8.0/lib64" >>.bashrc

运行Jupyter notebook

接下来在远程终端运行Jupyter notebook。

jupyter notebook

如果成功的话会看到类似的输出

[图片上传失败...(image-8b4d44-1510476790914)]

因为我们的实例没有暴露8888端口,所以我们可以通过ssh映射到本地

ssh -L8888:locallhost:8888 ubuntu@your-ip.amazonaws.com

然后把jupyter log里的URL复制到本地浏览器就行了。

【注意】如果本地运行了Jupyter notebook,那么8888端口就可能被占用了。要么关掉本地jupyter,要么把端口映射改成别的。例如,假设aws使用默认8888端口,我们可以通过ssh映射到本地8889端口:

ssh -N -f -L localhost:8889:localhost:8888 ubuntu@your-ip.amazonaws.com

然后在本地浏览器打开localhost:8889,这时会提示需要token值。接下来,我们将aws上jupyter log里的token值(例如上图里:...localhost:8888/?token=token值)复制粘贴即可。

后续

因为云服务按时间计费,通常我们不用时需要把样例关掉,到下次要用时再开。

17.png

如果是停掉(Stop),下次可以直接继续用,但硬盘空间会计费。如果是终结(Termination),我们一般会先把操作系统做镜像,下次开始时直接使用镜像(AMI)(上面的教程使用了Ubuntu 16.06 AMI)就行了,不需要再把上面流程走一次。

18.png

云虽然很方便,但是不便宜,所以在使用完GPU实例之后一定要记得关掉。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容