Google Colab免费GPU使用攻略

穷学生学习神经网络一定体会过“等待”的痛苦。。。
循环一次epoch急死人,但是有几十个上百个循环等着你!
你盯着屏幕看着进度条像蜗牛一样推进,真是恨铁不成钢,心想等日后发达了一定要买一台好电脑...
只能先干干其他的事儿,但是心里又不放心,总是会来看,结果还是没训练完,算了,正事儿是干不了了,刷刷手机吧~

... ...(半小时过去)

终于训练完啦!看看结果:
woc...@#$&&**&

苦逼地重新训练一次....o(╥﹏╥)o

前几天看网上说Google推出了免费的GPU专门给机器学习的穷孩子们用!顿时让我激动了起来,马上去试用了一下。(哦,自备梯子...)

参考教程:
Google Colab Free GPU Tutorial
薅资本主义羊毛,用Google免费GPU

但是因为自己的项目跟教程中的不太一样,有一些细节没有说清楚,查了很多资料终于解决,决定这里把我自己的使用过程记录下来:

Google Colaboratory

直接Google一下:

点击进去看看:

发现是Colaboratory的简介,里面附有一些简单的代码告诉你怎么使用这个玩意儿。你会发现它跟Jupyternotebook很像,因为它就是在jupyter notebook基础上开发的:

所以很好理解,Google给你准备了一个云端的jupyter notebook,你把你的代码搬过来,在云端运行你的代码,耗费的不是你自己电脑的计算力,而是Google Colaboratory的计算力,而Google Colaboratory配备了Tesla K80 GPU!这可是贵族用的玩意儿呀,哎呀捡着大便宜了!

但是这个GPU不是默认开启的,需要你设置一下notebook,很简单:

点击笔记本上的“修改(edit)-->笔记本设置(notebook setting)”:

就出现了下面的窗口,在“硬件加速器”中选择“GPU”即可:

吼吼,就好了!

上面介绍的是Colaboratory的简单使用和怎么开启GPU,下面介绍怎么把本地的项目放到云端运行:

Google drive+Colaboratory 运行你的项目

Google Colaboratory是基于Google云端硬盘(drive)的,你的所有代码文件都会保存在Google Drive中,所有我们首先需要Google drive。

先说说我自己的是什么项目吧:

我在本地的notebook中有这样的一个做“神经网络风格迁移(neural style transfer)”的项目,目录如下:

.ipynb就是我的jupyter notebook文件,

imagenet-vgg-verydeep-19是我下载的VGG神经网络模型,

nst_utils.py里面有一些功能函数,也需要在.ipynb中调用。

什么是neural style transfer呢?就是做这个:

这个神经网络跑起来可是相当费时的,我自己的电脑,生成一个400×300大小的图片,跑200个epoch需要30分钟!所以虽然这个项目很激动人心,但是等一次结果真的很急人!

好了,现在我们开始把这个本地项目转移到Google drive上,并通过Colaboratory来运行!:

1.把文件夹上传到Google drive

图中的NST文件夹就是我上传的。目录结构跟我本地的一样:

image

文件不能直接打开,但是Google drive里面有Colaboratory插件,可以打开.ipybn文件:

右键选择打开方式:

我的这个文件里面,需要import我的NST文件夹中的nst_utils.py文件,因为里面写了很多重要函数,但运行一下程序,肯定会报错,说找不到nst_utils.py文件

为啥呢?因为Colaboratory并没有关联你的Google drive!所以,接着设置:

2.安装必要的库,授权,连接你的Google drive

这个Colaboratory很牛逼的一点就是,它不光是一个notebook,还可以当命令行用!

我们在所有代码前面,加一个单元格,粘贴如下命令:

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

运行!你应该看到类似下面这种结果:


点击结果里面的验证链接,会跳到一个网页,显示一长串验证码
将验证码复制粘贴到上面的框框中,回车!

好了,然后再在一个新单元格中输入下面命令:

!mkdir -p drive
!google-drive-ocamlfuse drive

再运行!就设置好了!

这样,Google drive就和Google Colaboratory连接好了,基本就可以像操作本地文件一样来操作云端的代码了。

3.如何导入Google drive中的文件

现在如果直接写:

from nst_utils import *

还是会报错,说找不到!这个地方折磨了我好久,不知道怎么回事儿。

后来发现,Colaboratory好像是单独创建了一个虚拟机,在虚拟机中只有我运行的ipybn文件,而没有NST文件夹中的其他文件。
我们在前一步的设置,只是让Colaboratory和drive连接了,也就是Colaboratory可以调用drive中的文件了,但是应该通过类似绝对路径的方式导入,所以正确的方法应该是写

from drive.NST.nst_utils import *

drive就是我们的根目录,通过“ . ”来进入下一层目录,这样就可以导入我们的drive文件了!

同样的,后面我们需要导入NST文件夹中的imagenet-vgg-verydeep-19.mat文件,也就是我们的神经网络模型,这样写是错误的:

model = load_vgg_model("imagenet-vgg-verydeep-19.mat")

正确的写法是:

model = load_vgg_model("drive/NST/imagenet-vgg-verydeep-19.mat")

同样的,只要是要导入drive中的文件,都按照类似的绝对路径的方法来导入就可以了。

4.看看这个GPU效果如何

具体代码就不展示了,只给大家看看模型运行的结果:


运行了200个epoch,共耗时46秒!
而我在本地运行,花了30分钟左右~
可见这个速度提升地多块!Google大法好啊~
下面附上每20次迭代的结果:

最开始的图片是这两张:
左边是陆家嘴照片,右边是现代派风格图片

最后生成的图片是:
现代派风格的陆家嘴

好了,关于Colaboratory的使用就先介绍到这里,主要我目前只知道这么多。。。日后有新的经验会继续更新!

8月1号更新:

这几天在使用中发现,挂载google drive的那两段命令,在每一次新建一个notebook时都需要运行一次,所以大家可以把那两段命令放在一个方便查看的地方,随时复制粘贴

而且,一个项目可能到了第二天就不能连接drive了,这个时候需要再运行一下命令。反正我的项目都是第二天早上起来就需要重新连接drive了。
所以还是稍微有些麻烦。。。

另外,第一次运行命令的时候,跳出来一个链接,点击然后输入验证码之后,可能它又会跳出来一个一模一样的链接,同时整个版面像被清空了一样,这个时候,只要再次点击链接,再次输入验证码然后回车,看到“Access token retrieved correctly.” 就说明可以了。
然后别忘了另起一行,运行:

!mkdir -p drive
!google-drive-ocamlfuse drive

然后就可以连接drive了。

欢迎关注我的“深度学习”专栏:
DeepLearning.ai学习笔记
和我一起一步步学习深度学习吧!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249

推荐阅读更多精彩内容