最近在看U-Net处理医学图像时,用到了弹性变换等,因为变异组织本身就是弹性变换的,可以通过这种方法进行数据扩增。
对于图像而言,常用的增加训练样本的方法主要有对图像进行旋转、移位等仿射变换,也可以使用镜像变换等等。
(1)弹性变换
这里介绍弹性变换(Elastic Distortion)。对原图像进行弹性变换的操作扩充样本以后,对于手写体数字的识别效果有明显的提升。
首先来详细介绍一下算法流程:
(1)首先需要对图像中的每个像素点(x,y)产生两个-1~1之间的随机数,Δx(x,y)和Δy(x,y),分别表示该像素点的x方向和y方向的移动距离;
(2)生成一个以0为均值,以σ为标准差的大小为n*n的高斯核k_nn,并用前面的随机数与之做卷积,并将结果作用于原图像。
作者在这里提出σ的大小与弹性变换的处理结果息息相关,如果σ过小,则生成的结果类似与对图像每个像素进行随机移动,而如果σ过大,则生成的结果与原图基本类似。不同的σ效果如下
可以看出来,只有在n足够大(与要处理的图像相比),且σ大小合适时才能够到合适的扭曲图像,如图所示,这里n = 105且σ=8时比较合适。
部分参考:https://blog.csdn.net/lhanchao/article/details/54234490
(2)其他变换
沿坐标轴缩放
沿任意方向缩放
正交投影
镜像
切变:切变是坐标系的变换,非均匀的拉伸。切变时候,角度变化,但是面积或体积不变。也可以理解为坐标轴间的角度变化,造成的扭曲。
以上变换均属于矩阵变换。
(3)图像变换的一些代码
x = 1150
y = 15
w = 150
h = 30
region = im.crop((x, y, x+w, y+h))
region#图像裁剪
#图像resize
import cv2
im1 = cv2.imread('1.jpg')
im2 = cv2.resize(im1, (1024,1024), interpolation=cv2.INTER_CUBIC)
cv2.imwrite('3.jpg', im2)
#图像批量操作
import os
fpath = "D:/Data/CAG/No"
dpath = "D:/Data/CAG/1"
for filename in os.listdir(fpath):
im1 = cv2.imread(fpath+"/"+filename)
im2 = cv2.resize(im1, (1024,1024), interpolation=cv2.INTER_AREA)
filename.replace('.jpg','.bmp')
cv2.imwrite(dpath+'/'+filename, im2)
print("1")
#水平翻转
import cv2
import os
fpath = "D:/Data/CAG/train1"
dpath = "D:/Data/CAG/h_flip"
for filename in os.listdir(fpath):
im1 = cv2.imread(fpath+"/"+filename)
h_flip = cv2.flip(im1, 1)
strlist = filename.split('.')
m = int(strlist[-2])+600
filename1 = strlist[0]+'.'+str(m)+'.bmp'
cv2.imwrite(dpath+'/'+filename1, h_flip)
print("1")
#垂直翻转
import cv2
import os
fpath = "D:/Data/CAG/train1"
dpath = "D:/Data/CAG/v_flip"
for filename in os.listdir(fpath):
im1 = cv2.imread(fpath+"/"+filename)
h_flip = cv2.flip(im1, 0)
strlist = filename.split('.')
m = int(strlist[-2])+1200
filename1 = strlist[0]+'.'+str(m)+'.bmp'
cv2.imwrite(dpath+'/'+filename1, h_flip)
print("1")
#水平垂直翻转
import cv2
import os
fpath = "D:/Data/CAG/train1"
dpath = "D:/Data/CAG/hv_flip"
for filename in os.listdir(fpath):
im1 = cv2.imread(fpath+"/"+filename)
h_flip = cv2.flip(im1, -1)
strlist = filename.split('.')
m = int(strlist[-2])+1800
filename1 = strlist[0]+'.'+str(m)+'.bmp'
cv2.imwrite(dpath+'/'+filename1, h_flip)
print("1")