本文目的:

1.注册和安装Floyd命令行程序

2.将github项目部署到Floyd网站,并运行

3.在Floyd上启动TensorBoard

最近在研究TensorFlow&TensorBoard和神经网络的时候发现一些缺点:

• 尝试使用PIP安装TensorBoard之后，输入运行命令后发现出了一些莫名其妙的问题，很苦恼，后来用源码并使用Bazel编译，可以运行了，但是发现TensorBoard启动起来还是比较麻烦(用tf.summary.FileWriter写入汇总后，还要用命令行启动,输入汇总目录的绝对路径,而且神经网络程序运行和TensorBoard运行要分两步)
• TensorFlow的GPU版安装失败(nvidia网站上居然找不到mac的驱动程序,要安装一个软件还需要注册账号)，只能用cpu慢慢的训练神经网络,结果半天出不来。
  于是基于以上缺点（其实是我懒。。懒得折腾😝😝）,我就想寻找一个解决方案，可以快速出结果，而且直接能运行TensorBoard，结果还真发现了!那就是Floyd这个网站,相当于免费提供一个运行机器学习程序的Docker容器,而且是不需要接触Docker的配置，只需要输入几行命令就可以将你的机器学习程序上线运行，而且自动启动TensorBoard。

注册安装Floyd

1.注册一个Floyd账号

点击注册

2.安装Floyd-CLI

在命令行输入以下命令:

 pip install -U floyd-cli

如果使用Python3，输入：

 pip3  install -U floyd-cli

3.初始化项目

首先登陆刚刚创建的账号，进入设置界面中的安全设置
复制其中的token

获取token

从github抓取我建立的示例项目:

$ git clone https://github.com/ShyHornet/Floyd-Tutorial.git
  Cloning into 'Floyd-Tutorial'...
  ...
$ cd Floyd-Tutorial

使用Floyd命令初始化项目:
Floyd自动检测到你的账户中不存在该项目，就会自动启动项目创建网页

$ floyd init Floyd-Tutorial
Project name does not match your list of projects. Create your new project in the web dashboard:
    https://www.floydhub.com/projects/create

创建新项目

创建成功之后是这样的界面:

项目主页

之后初始化本地与云端的的链接，然后就可以直接操作云端的镜像:

$ floyd init floyd-tutorial
Project "floyd-tutorial" initialized in current directory

然后训练你的第一个MNSIT卷积神经网络,通过下面一条指令:

$ floyd run --gpu  --env tensorflow-1.3 --tensorboard "python3 mnist_cnn.py --steps 10000 --dropout 0.88"

我们来解释一下以上命令:
--gpu ：选择gpu来运行神经网络
--env : 选择构建神经网络所使用的框架,这里使用tensorflow版本1.3(Floyd还支持其他主流机器学习框架,如：Keras,PyTorch,Theano ,Caffe等)
--tensorboard 表示使用TensorBoard(使用时只需将汇总信息写入到"/output"目录即可，该目录为TensorBoard的监听目录,当然任意子目录也是可以，只需确保指定路径正确)
后面的指令就和我们在自己电脑上输入的命令一样了，就把云端镜像当做服务器来用就可以了，根据你自己的程序而定。

上面的命令运行之后，显示如下信息:

Creating project run. Total upload size: 17.5KiB
Syncing code ...
[================================] 19080/19080 - 00:00:03

JOB NAME
------------------------------------
codeglider/projects/floyd-tutorial/1

To view logs enter:
   floyd logs codeglider/projects/floyd-tutorial/1

在项目主页就能看的正在运行的任务:

运行界面1

点进去就能看的实时log:

运行界面2

还有最激动人心的功能:TensorBoard，记得要在程序运行起来有log信息出来再点，否则TensorBoard还没有启动，会出现404错误。
各种统计数据:

TensorBoard界面1

还有我们神经网络的数据流图:

TensorBoard界面2

如果不需要TensorBoard,只是想要运行结果,可以输入命令floyd logs your_username/projects/your_project/#,直接将log信息同步显示在你的命令行中

一些Floyd的其他功能

1.装载自定义的上传数据

为了方便演示，我们还使用MNIST数据集。首先将当前目录转到已经下载好的MNIST数据集目录:

$cd mnist-data

初始化Floyd数据集

$  floyd data init mnist-data
Data source "mnist-data" initialized in current directory

    You can now upload your data to Floyd by:
        floyd data upload
    

使用提示中的命令上传数据集到Floyd数据集项目:

$  floyd data upload
Compressing data...
Making create request to server...
Initializing upload...
Uploading compressed data. Total upload size: 11.1MiB
[================================] 11599076/11599076 - 00:00:55
Removing compressed data...
Upload finished.
Waiting for server to unpack data.
You can exit at any time and come back to check the status with:
    floyd data upload -r
Waiting for unpack....

NAME
--------------------------------
codeglider/datasets/mnist-data/1

然后查看我们的数据集:

上传成功结果

成功了！数据集已经准备就绪。

成功的结果会显示"Valid"，如果是其他提示，你就需要检查你的数据是不是有损坏了

再次运行我们的项目，只不过这次要指定数据集,所以原来读取数据的代码要做一些修改

    # mnist = mnist_data.read_data_sets("data", one_hot=True, reshape=False, validation_size=0)
    mnist = mnist_data.read_data_sets("mnist-data/", one_hot=True, reshape=False, validation_size=0)

注意数据的目录要和我们在命令中指定的数据目录一致

$ floyd run --gpu --env tensorflow-1.3 --data codeglider/datasets/mnist-data/1:/mnist-data --tensorboard "python3 mnist_cnn.py --steps 10000 --dropout 0.88"

--data 表示我们要手动指定数据位置
codeglider/datasets/mnist-data/1 我们刚刚创建的数据集名称,注意要写数据在Floyd网站上的完整地址
分号(:) 后面表示我们将数据装载在什么目录(同我们在程序中写的目录地址一样)
不在赘述运行过程,查看任务状态中的data,可以发现，该任务已经正在使用我们自己创建的数据集:

任务运行界面Data选项卡

2.在Floyd上运行Jupyter notebook

首先添加一个jupyter文件到我们的项目文件夹中:

jupyter文件

上传更改内容到Floyd项目

$ floyd init floyd-tutorial
Project "floyd-tutorial" initialized in current directory

然后运行:

$ floyd run --mode jupyter --gpu  --env tensorflow-1.3 
 Creating project run. Total upload size: 36.6KiB
Syncing code ...
[================================] 38771/38771 - 00:00:03

JOB NAME
------------------------------------
codeglider/projects/floyd-tutorial/3


Path to jupyter notebook: https://www.floydhub.com/codeglider/projects/floyd-tutorial/3

注意我们不需要指定文件名称，Floyd会自动识别，但是要加上"--mode jupyter"设置为jupyter运行模式。
进入任务的运行界面：

运行结果

点击jupyter notebook文件:

jupyter notebook文件

如果这些内容对你有帮助，请给一个赞或打赏😜😜😜~~