租用云GPU服务器

最近训练深度学习模型,CPU比GPU慢太多,一想又用不了太长时间,于是准备在网上租一个云,刚好看到百度云上GPU服务器双十一特价,比较便宜的NVIDIA Tesla T4,2560个CUDA核,双十一优惠726包月。

图片.png

别误会,这不是广告!!!

想了想,还是先买个按小时计费的体验一下吧。NVIDIA Tesla T4 8G最便宜的机型约4.73元/小时。下面来分享一下试用体验。主要根据以下入门文档操作:https://cloud.baidu.com/doc/GPU/s/2jwvxmkz8

创建虚拟机

第一步:注册用户(此处略过)。

第二步:创建实例:

  • 付费方式选择了后付费(先付费是包月/包年,后付费是按小时付费)

  • 配置方面,重点在选择机型,一开始选最便宜的就好,架构选择异构计算GPU、FPGA,型号如下所示。

  • 镜像选择GPU镜像中的16.04 LTS amd64 (64bit)-CUDA10.0镜像,我使用的PyTorch需要CUDA10.0以上才能支持。

  • 弹性资源中,选择“购买弹性公网IP”,否则,没有外网IP,无法使用ssh连接服务器,只能在网页上通过VNC连接。

配置完成后,远程虚拟机就直接被开启了,可以在浏览器中用VNC连接,效果如下图所示:

安装工具

连接之后,安装了一些深度学习相关的工具:

先用ssh连接远程服务器:

$ ssh root@公网IP地址

安装常用工具

$ apt install unzip
$ apt install python3-pip # python包管理工具

更换pip源(如不更换pip安装软件会非常慢)

$ mkdir ~/.pip
$ vi ~/.pip/pip.conf

输入以下内容:

[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com

安装深度学习工具pytorch

$ pip3 install torch
$ pip3 install torchvision

看一下torch是否可用,在Python程序中运行:

import torch
torch.cuda.is_available()

如果输入为True,则CUDA已经可以正常使用了。训练pytorch-example中的mnist,大概三五分钟跑完。

其它常用库(版本匹配,比较麻烦,也可以直接安装conda)

$ apt install libsm6
$ pip3 install opencv-python
$ pip3 install matplotlib==3.0
$ pip3 install pandas==0.22.0
$ pip3 install scikit-image==0.14.4
$ pip3 install Cython

安装Jupyter 有些镜像本身包含jupyter notebook,可跳过安装,直接运行即可。

$ pip3 install jupyter

启动jupyter notebook

$ jupyter notebook --allow-root --ip 0.0.0.0

注意设置--ip开启远程访问,否则可能无法连接;如果还连接不上,建议在安全组中查看8888端口是否允许访问。

查看GPU使用情况

$ nvidia-smi
$ nvcc-V

总结

  • 环境是Ubuntu 16.04加CUDA,系统比较干净,Apt软件源也已配好;使用Docker或者Python需要自行安装。

  • 用Ssh+Jupyter方式连接服务器,和本地开发几乎无差异。

  • 用百度智能云APP可以随时查看收费情况。

  • 最小计费单位为分钟,只要创建了实例(虚拟机),无论开机还是关机,只要不释放,都会计费,云磁盘CDS和弹性公网IP也一样。也就是说,如果释放了实例,之前搭建的环境就没有了,如果不释放就要收费。

  • 百度云支持用当前环境创建镜像,即使用40G的系统盘生成新镜像,一次生成时间大概十分钟左右。建议将常用的环境制作成镜像,这样既能保留开发环境,相对于不释放资源又便宜得多。

  • GPU服务器相对较贵,从攻略看,亚马逊、美团服务器用法都大同小异,主要看价格。

  • 对于熟悉Linux的程序员来说,租用服务器比使用别人搭建的Web服务(如SinaAppEngine)好用得多。

  • 如果某天你觉得租用的机器速度还不够快,可以申请一台顶配的服务器,用自己的镜像启动,挂上云盘的数据直接跑,就像运行在自家机器上一样,更换机型非常方便。

  • 最终找到的比较省钱的方式是:把开发环境做成镜像,数据存储在云盘上,每次使用前申请虚拟机,用完马上释放。这样不使用时,只需要支付镜像和云盘的存储费用,大概每100G每天一块多钱。

  • 如果长时间使用,用便宜的主机处理下载、转码、配置环境等日常事务,而GPU主机只做运算,通过挂载云磁盘CDS共享数据。

  • 虽然优惠时包月比按小时租用便宜很多也省心,不过还是建议新手一开始按小时租用,因为一开始不确定用多少,怎么用,按时租用可以随时调整机型策略,更加灵活。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容