https://keras-zh.readthedocs.io/preprocessing/image/
https://www.cnblogs.com/hutao722/p/10075150.html
一般来说，都会使用ImageDataGenerator.flow()方法构造一个迭代器，以提供给model.fit_generator()方法进行训练。然而缺点是需要一次提供所有数据到内存中，不适合大量图片训练集。因此可使用ImageDataGenerator.flow_from_directory()方法。但是该方法依旧限制较多。
因此我们可不使用ImageDataGenerator提供的构造迭代器方法，而是和之前文章中一样，自定义一个迭代器继承Sequence，然后在__getitem__()方法中仅仅加入ImageDataGenerator.random_transform()方法去进行图像增强。
注意：
- 需要先从tfrecordDataset的Iterator中获取图像，之后对图像使用random_transform()方法：
这个方法设计的是针对0-255原图而言的。从源码上来看，它会组合不同的线性变换矩阵，矩阵相乘后，最后应用于原图上，比起在大的原图上一步步做矩阵乘法的效率高。 - 再对图像使用preprocess预处理函数：
根据预训练模型的配置不同，预处理preprocess函数是不同的。比如from keras.applications.resnet50 import preprocess_input与
from keras.applications.inception_v3 import preprocess_input这两个，虽然本质最后都会调用keras.application.imagenet_utils.preprocess_input()函数，但是参数不同。
具体来说，Resnet50的预处理中，imagenet_utils.preprocess_input()的mode参数为默认的"caffe"因此处理为调整为BGR后减去imagenet的通道均值。而Inception_v3中则会缩放到-1~1，这与预训练有关。因此需要将图像增强置于该步骤之前。以下代码，图像增强和预处理的步骤就反了：
from keras.preprocessing.image import ImageDataGenerator
import tensorflow as tf
import keras
import keras.backend as K
from keras.preprocessing import image
from keras.applications.resnet50 import preprocess_input
# from keras.applications.inception_v3 import preprocess_input
import numpy as np
import matplotlib.pyplot as plt
def main():
img = image.load_img('Data_sets/s_IMG_3488.jpg', target_size=(224, 224))
x = image.img_to_array(img)
print(x.shape) # (224, 224, 3)
print(x[0, 0]) # [238. 255. 251.]
x = preprocess_input(x) # 默认Resnet使用caffee模式，inception使用tf模式
print(x[0, 0]) # [147.061 138.22101 114.32 ] 使用的是resnet的预处理配置
plt.imshow(x.astype(np.uint8)) # float默认为0-1显示，int默认为0-255显示
plt.show()
datagen = ImageDataGenerator(
rescale=1. / 255,
rotation_range=20,
width_shift_range=0.2,
height_shift_range=0.2,
horizontal_flip=True)
x2 = datagen.random_transform(x)
print(x2[0, 0]) # 每次随机组合：[114.885315 105.54411 110.899704]
plt.imshow(x2.astype(np.uint8))
plt.show()
# 必须在图像增强之后，random_transform只接受3D tensor
x2 = np.expand_dims(x2, 0)
# ...model.predict(x2)...
if __name__ == '__main__':
main()
