Transfer learning实例分析

文中的代码是用Keras写的，但是蛮简单的，很容易看懂

实例一、数据有限的图像分类

（一）主要目标

我们用的数据集是非常热门的Dogs vs. Cats Challenge。我们的主要目标是用深度学习模型去正确将图片归类为”猫“或”狗“。

（二）数据集的建立

从数据集网站上下载train.zip文件并解压缩为文件夹。这个文件夹包含了25000张猫和狗的图：每个类别有12500张。
我们所研究问题的情况是每个类别的数据有限，因此，我们取3000张来训练，1000张用于验证，1000张用于测试。

import glob
import numpy as np
import os
import shutil
np.random.seed(42)

# 取出所有的图并归类
files = glob.glob('train/*')
cat_files = [fn for fn in files if 'cat' in fn]
dog_files = [fn for fn in files if 'dog' in fn]

# 取训练集，验证集和测试集；注意这几个集合之间无交集
cat_train = np.random.choice(cat_files, size=1500, replace=False)
dog_train = np.random.choice(dog_files, size=1500, replace=False)
cat_files = list(set(cat_files) - set(cat_train))
dog_files = list(set(dog_files) - set(dog_train))

cat_val = np.random.choice(cat_files, size=500, replace=False)
dog_val = np.random.choice(dog_files, size=500, replace=False)
cat_files = list(set(cat_files) - set(cat_val))
dog_files = list(set(dog_files) - set(dog_val))

cat_test = np.random.choice(cat_files, size=500, replace=False)
dog_test = np.random.choice(dog_files, size=500, replace=False)

# 将刚刚取出的数据集猫狗类别混合，并存在硬盘上
train_dir = 'training_data'
val_dir = 'validation_data'
test_dir = 'test_data'

train_files = np.concatenate([cat_train, dog_train])
validate_files = np.concatenate([cat_val, dog_val])
test_files = np.concatenate([cat_test, dog_test])

os.mkdir(train_dir) if not  #建立数据集
os.path.isdir(train_dir) else None
os.mkdir(val_dir) if not os.path.isdir(val_dir) else None
os.mkdir(test_dir) if not os.path.isdir(test_dir) else None

for fn in train_files:#将图片存入文件夹
    shutil.copy(fn, train_dir)

for fn in validate_files:
    shutil.copy(fn, val_dir)
    
for fn in test_files:
    shutil.copy(fn, test_dir)

（三）数据预处理

IMG_DIM = (150, 150)

train_files = glob.glob('training_data/*')
train_imgs = [img_to_array(load_img(img, target_size=IMG_DIM)) for img in train_files]#循环地读入图片
train_imgs = np.array(train_imgs)#图片转化成矩阵
train_labels = [fn.split('\\')[1].split('.')[0].strip() for fn in train_files] #处理标签/类别，把string转化成number

validation_files = glob.glob('validation_data/*')
validation_imgs = [img_to_array(load_img(img, target_size=IMG_DIM)) for img in validation_files]
validation_imgs = np.array(validation_imgs)
validation_labels = [fn.split('\\')[1].split('.')[0].strip() for fn in validation_files]

print('Train dataset shape:', train_imgs.shape, 
      '\tValidation dataset shape:', validation_imgs.shape)

下一步是把这些（0，255）之间的像素值转化成（0，1）之间的像素值。这是因为”deep learning models work really well with small input values.“

train_imgs_scaled = train_imgs.astype('float32')
validation_imgs_scaled  = validation_imgs.astype('float32')
train_imgs_scaled /= 255
validation_imgs_scaled /= 255

print(train_imgs[0].shape)#打印第一张图的size
array_to_img(train_imgs[0])#这一步只是展示图片而已，没有其他作用

接下来我们设置一些基本参数，并把类别标签"cat/dog"转化成numeric value的形式"0/1"

batch_size = 30
num_classes = 2
epochs = 30
input_shape = (150, 150, 3)

# encode text category labels
from sklearn.preprocessing import LabelEncoder

le = LabelEncoder()
le.fit(train_labels)
train_labels_enc = le.transform(train_labels)
validation_labels_enc = le.transform(validation_labels)

print(train_labels[1495:1505], train_labels_enc[1495:1505])

['cat', 'cat', 'cat', 'cat', 'cat', 'dog', 'dog', 'dog', 'dog', 'dog'] [0 0 0 0 0 1 1 1 1 1]

可以看出，Keras的encoding自动把数字0分配给”猫“类别，数字1分配给”狗“类别。

（四）简单的从头开始的CNN

先建立CNN模型

from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout
from keras.models import Sequential
from keras import optimizers

model = Sequential()

model.add(Conv2D(16, kernel_size=(3, 3), activation='relu', 
                 input_shape=input_shape))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(128, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dense(1, activation='sigmoid'))


model.compile(loss='binary_crossentropy',
              optimizer=optimizers.RMSprop(),
              metrics=['accuracy'])

model.summary() #这一步是用来打印模型结构

Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_1 (Conv2D)            (None, 148, 148, 16)      448       
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 74, 74, 16)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 72, 72, 64)        9280      
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 36, 36, 64)        0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 34, 34, 128)       73856     
_________________________________________________________________
max_pooling2d_3 (MaxPooling2 (None, 17, 17, 128)       0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 36992)             0         
_________________________________________________________________
dense_1 (Dense)              (None, 512)               18940416  
_________________________________________________________________
dense_2 (Dense)              (None, 1)                 513       
=================================================================
Total params: 19,024,513
Trainable params: 19,024,513
Non-trainable params: 0
_________________________________________________________________

这个网络有3个卷积层用于特征提取。flatten layer用于把128个17*17的feature map平铺。平铺的结果送入dense layer（全连接层）以得到最终的分类结果：dog (1) or cat (0)。

下面进行训练。

history = model.fit(x=train_imgs_scaled, y=train_labels_enc,
                    validation_data=(validation_imgs_scaled, validation_labels_enc),
                    batch_size=batch_size,
                    epochs=epochs,
                    verbose=1)

这是训练结果

Train on 3000 samples, validate on 1000 samples
Epoch 1/30
3000/3000 - 10s - loss: 0.7583 - acc: 0.5627 - val_loss: 0.7182 - val_acc: 0.5520
Epoch 2/30
3000/3000 - 8s - loss: 0.6343 - acc: 0.6533 - val_loss: 0.5891 - val_acc: 0.7190

作出training和validation的趋势图：

image.png

验证集的准确率是72%，其实也不低，是一个好的开始。如何改进这个模型呢？

（五）带正则化（regularization）的CNN模型

为了改进基本的CNN，我们加了一个全连接层（也是一个卷积层），并且在每一个隐藏的全连接层（dense layer）后加了dropout=0.3。
Dropout的功能是”masks the outputs of a fraction of units from a layer by setting their output to zero“

model = Sequential()

model.add(Conv2D(16, kernel_size=(3, 3), activation='relu', 
                 input_shape=input_shape))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(128, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(128, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
# 这块是新增的卷积层和
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.3))
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.3))
model.add(Dense(1, activation='sigmoid'))


model.compile(loss='binary_crossentropy',
              optimizer=optimizers.RMSprop(),
              metrics=['accuracy'])
              
              
history = model.fit(x=train_imgs_scaled, y=train_labels_enc,
                    validation_data=(validation_imgs_scaled, validation_labels_enc),
                   batch_size=batch_size,
                    epochs=epochs,
                    verbose=1)

image.png

从上图可以看出，模型依旧存在过拟合的情况，但是验证集准确率提高到78%了。
过拟合的原因是：我们训练集明显减少，但是模型在每个epoch里对着同样的样例看了一遍又一遍。
缓解过拟合的方法是：data augmentation。

（六）CNN模型的数据扩增

进行数据扩增之后，我们减小学习率到原来的1/10以避免模型陷入局部最小值。

image.png

虽然验证集和数据集有一些峰值，但是总体来说，验证集和训练集的准确率很接近了。

（六）Pre-trained CNN Models下的迁移学习

Pre-trained models的主要用法有以下两种：

把Pre-trained models当作特征提取器
Finetuning Pre-trained models
这两种办法我们都进行尝试。
我们用的Pre-trained models是VGG-16 model，擅长建立很深的卷积网络去解决大范围视觉识别（large-scale visual recognition）

A pre-trained model like the VGG-16是在非常大的数据集下进行预训练的。因此这个模型有a robust hierarchy of features，比如空间不变性、旋转不变性、平移不变性。因此，对于计算机视觉里新的图片，这个模型能作为一个很好的特征提取器，因为这个模型已经学到了一百多万张图的特征的代表。
尽管这些新的图片不在ImageNet里甚至会属于完全不同的类别，但这个模型理应能从这些图片中提取相关特征。

（七）理解VGG16模型

VGG16模型是一个建立于ImageNet数据库之上的16层（包括卷积层和全连接层）的网络，网络提出于这篇论文 ‘Very Deep Convolutional Networks for Large-Scale Image Recognition’. 下图是VGG16的结构：

image.png

这个网络有13个卷积层，两个全连接层和一个dense layer。Dense layer有1000个units，每一个unit代表一个图片种类。
我们不需要最后三层，因为我们会用我们自己的全连接dense layer去预测这个图属于猫还是狗。我们更关心前面的feature extractor（即：the first five blocks）。

实验设计见如下框图：
实验1是把所有的卷积层的weights都freeze了，只finetune全连接层的参数。实验2是unfreeze后两个卷积层block和所有全连接层。

image.png

（八）把预训练的CNN作为特征提取器-实验一

from keras.applications import vgg16
from keras.models import Model
import keras

vgg = vgg16.VGG16(include_top=False, weights='imagenet',                               input_shape=input_shape)

output = vgg.layers[-1].output
output = keras.layers.Flatten()(output)
vgg_model = Model(vgg.input, output)

vgg_model.trainable = False
for layer in vgg_model.layers:
    layer.trainable = False
    
import pandas as pd
pd.set_option('max_colwidth', -1)
layers = [(layer, layer.name, layer.trainable) for layer in vgg_model.layers]
pd.DataFrame(layers, columns=['Layer Type', 'Layer Name', 'Layer Trainable'])