Keras 数据增强 ImageDataGenerator

https://keras-zh.readthedocs.io/preprocessing/image/
https://www.cnblogs.com/hutao722/p/10075150.html

一般来说,都会使用ImageDataGenerator.flow()方法构造一个迭代器,以提供给model.fit_generator()方法进行训练。然而缺点是需要一次提供所有数据到内存中,不适合大量图片训练集。因此可使用ImageDataGenerator.flow_from_directory()方法。但是该方法依旧限制较多。
因此我们可不使用ImageDataGenerator提供的构造迭代器方法,而是和之前文章中一样,自定义一个迭代器继承Sequence,然后在__getitem__()方法中仅仅加入ImageDataGenerator.random_transform()方法去进行图像增强。

注意

  1. 需要先从tfrecordDataset的Iterator中获取图像,之后对图像使用random_transform()方法:
    这个方法设计的是针对0-255原图而言的。从源码上来看,它会组合不同的线性变换矩阵,矩阵相乘后,最后应用于原图上,比起在大的原图上一步步做矩阵乘法的效率高。
  2. 再对图像使用preprocess预处理函数:
    根据预训练模型的配置不同,预处理preprocess函数是不同的。比如from keras.applications.resnet50 import preprocess_input
    from keras.applications.inception_v3 import preprocess_input这两个,虽然本质最后都会调用keras.application.imagenet_utils.preprocess_input()函数,但是参数不同。
    具体来说,Resnet50的预处理中,imagenet_utils.preprocess_input()的mode参数为默认的"caffe"因此处理为调整为BGR后减去imagenet的通道均值。而Inception_v3中则会缩放到-1~1,这与预训练有关。因此需要将图像增强置于该步骤之前。以下代码,图像增强和预处理的步骤就反了:
from keras.preprocessing.image import ImageDataGenerator
import tensorflow as tf
import keras
import keras.backend as K
from keras.preprocessing import image
from keras.applications.resnet50 import preprocess_input
# from keras.applications.inception_v3 import preprocess_input
import numpy as np
import matplotlib.pyplot as plt

def main():
    img = image.load_img('Data_sets/s_IMG_3488.jpg', target_size=(224, 224))

    x = image.img_to_array(img)
    print(x.shape)  # (224, 224, 3)
    print(x[0, 0])  # [238. 255. 251.]

    x = preprocess_input(x)  # 默认Resnet使用caffee模式,inception使用tf模式
    print(x[0, 0])  # [147.061   138.22101 114.32   ] 使用的是resnet的预处理配置
    plt.imshow(x.astype(np.uint8))  # float默认为0-1显示,int默认为0-255显示
    plt.show()

    datagen = ImageDataGenerator(
        rescale=1. / 255,
        rotation_range=20,
        width_shift_range=0.2,
        height_shift_range=0.2,
        horizontal_flip=True)
    x2 = datagen.random_transform(x)
    print(x2[0, 0])  # 每次随机组合:[114.885315 105.54411  110.899704]
    plt.imshow(x2.astype(np.uint8))
    plt.show()

    # 必须在图像增强之后,random_transform只接受3D tensor
    x2 = np.expand_dims(x2, 0)

    # ...model.predict(x2)...

if __name__ == '__main__':
    main()

推荐阅读更多精彩内容