pytorch_bannar.png
import numpy as np
import torch
甜点
在学习神经网时，我们总是喜欢将时间花在如何通过用代码实现模型上，而往往对 tensor 在网络每一层的变化似乎不那么在意，可能觉得观察 tensor 形状比较简单和枯燥。
pytorch 改变 tensor 形状的 Api
- view/reshape 改变形状
- Squeeze/unsqueeze 增加维度/删减维度
- transpose/permute 变换维度
- Expand/repeat 维度扩展
高维 tensor
对于高纬 tensor，我们主要理解好后 2 个维度，可以理解为平面，3 维表示立体形状，随着维度增加我们就可以将每一个维度理解为容器或者盒子，更高维可以理解为装着低纬的容器或盒子。
改变形状
在 numpy 中使用 reshape 对 tensor 的形状进行改变，而在 pytorch 我们可以用 view 和 reshape 方法对 tensor 形状进行改变，他们除了名字不同，其他并没有什么区别，所以这里就以 view 为例来说一说如何改变 tensor 形状。如果大家写过几个图片分类简单网络，这个形状 tensor 应该不会陌生，表示 4 张 1 个通道高度和宽度分别为 28 的图片。如果我们要用全连接网络进行识别，需要将高度和宽度拉平再输入到全连接神经网。这是就会用 view ，通过调用 tensor 的 view 然后传入要转换的形状的即可。
a = torch.rand(4,1,28,28)
a.view(4,28*28)
tensor([[0.6980, 0.3745, 0.9242, ..., 0.0148, 0.1390, 0.5306],
[0.5350, 0.2231, 0.6127, ..., 0.3930, 0.1939, 0.8876],
[0.3861, 0.1119, 0.3781, ..., 0.1558, 0.6248, 0.4389],
[0.3650, 0.8685, 0.7593, ..., 0.9291, 0.0493, 0.5362]])
# 总的维度数是不变的
a.view(4,28*28).shape
torch.Size([4, 784])
a.view(4*28,28)
tensor([[0.6980, 0.3745, 0.9242, ..., 0.8922, 0.5229, 0.4496],
[0.0137, 0.8016, 0.1643, ..., 0.1254, 0.4681, 0.6502],
[0.4278, 0.9356, 0.3542, ..., 0.5995, 0.4755, 0.6840],
...,
[0.9431, 0.3490, 0.0361, ..., 0.5326, 0.4426, 0.3506],
[0.6691, 0.0943, 0.7266, ..., 0.6576, 0.3677, 0.4801],
[0.2223, 0.3585, 0.4722, ..., 0.9291, 0.0493, 0.5362]])
a.view(4*28,28).shape
torch.Size([112, 28])
b = a.view(4,784)
b.shape
torch.Size([4, 784])
b.view(4,28,28,1).shape
torch.Size([4, 28, 28, 1])
# 值得注意得是 view 将通道从 1 位置变为 3 位置
a.shape
torch.Size([4, 1, 28, 28])
增加和删除维度
squeeze 和 unsqueeze 分别是对 tensor 进行删除维度和增加维度。
| Pos.Idx | 0 | 1 | 2 | 3 |
|---|---|---|---|---|
| Neg.Idx | -4 | -3 | -2 | -1 |
在 Pos.Idx(正向)指定维度前插入一个维度，在 Neg.Idx(负向)指定维度之后插入维度
# 在 0 前插入维度，那么 (4,1,28,28) 0 维前添加 （1,4,1,28,28）
a.unsqueeze(0).shape
torch.Size([1, 4, 1, 28, 28])
# 在 -1（3） 后插入维度，那么 (4,1,28,28) 0 维前添加 （4,1,28,28,1）
a.unsqueeze(-1).shape
torch.Size([4, 1, 28, 28, 1])
# 在 -4（0） 后插入维度，那么 (4,1,28,28) 0 维前添加 （4,1,1,28,28）
a.unsqueeze(-4).shape
torch.Size([4, 1, 1, 28, 28])
# 在 -5 后插入维度就相当在 0 维度前添加维度，那么 (4,1,28,28) 0 维前添加 （1,4,1,28,28）
a.unsqueeze(-5).shape
torch.Size([1, 4, 1, 28, 28])
a = torch.tensor([1.2,2.2])
a
tensor([1.2000, 2.2000])
a.unsqueeze(-1)
tensor([[1.2000],
[2.2000]])
a.unsqueeze(0)
tensor([[1.2000, 2.2000]])
# 是列
b = torch.rand(32)
f = torch.rand(4,32,14,14)
b = b.unsqueeze(1).unsqueeze(2).unsqueeze(0)
b.shape
torch.Size([1, 32, 1, 1])
b.squeeze().shape
torch.Size([32])
b.squeeze(0).shape
torch.Size([32, 1, 1])
b.squeeze(-1).shape
torch.Size([1, 32, 1])
# 没有报错
b.squeeze(1).shape
torch.Size([1, 32, 1, 1])
b.squeeze(-4).shape
torch.Size([32, 1, 1])
维度扩展
Expand 返回当前 tensor 在某维扩展更大后的 tensor expand不会分配新的内存，只是在存在的 tensor 上创建一个新的视图 view.
Repeat: 沿着特定的维度重复这个 tensor ，和 expand()不同的是，这个函数拷贝 tensor 的数据。
a = torch.rand(4,32,14,14)
b.shape
torch.Size([1, 32, 1, 1])
# 将原有维度进行扩展
b.expand(4,32,14,14).shape
torch.Size([4, 32, 14, 14])
# -1 表示在该维度上并不改变形状
b.expand(-1,32,-1,-1).shape
torch.Size([1, 32, 1, 1])
b.expand(-1,32,-1,-4).shape
torch.Size([1, 32, 1, -4])
# 对 0 和 1 维进行扩展维
b.repeat(4,32,1,1).shape
torch.Size([4, 1024, 1, 1])
b.repeat(4,1,1,1).shape
torch.Size([4, 32, 1, 1])
b.repeat(4,1,32,32).shape
torch.Size([4, 32, 32, 32])
tensor 转置
转置只能适用于 2 维 tensor,通过交换行列来实现 tensor 维度变换。
a = torch.randn(2,3)
a.t().shape
torch.Size([3, 2])
# 交换的操作 [bcHW] 交换后变为 [bWHc]
a = torch.rand(4,3,32,32)
# transpose 操作交换了 1 轴和 3 轴 view 操作就是改变 a 的形状(reshape),
# [b,c,W,H],
# 原来存储数据顺序结构也改变了
a1 = a.transpose(1,3).view(4,3*32*32).view(4,3,32,32)
---------------------------------------------------------------------------
RuntimeError Traceback (most recent call last)
<ipython-input-60-262e84a7fdcb> in <module>
----> 1 a1 = a.transpose(1,3).view(4,3*32*32).view(4,3,32,32)
RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
a1 = a.transpose(1,3).contiguous().view(4,3*32*32).view(4,3,32,32)
a2 = a.transpose(1,3).contiguous().view(4,3*32*32).view(4,32,32,3).transpose(1,3)
torch.all(torch.eq(a,a1))
tensor(False)
torch.all(torch.eq(a,a2))
tensor(True)
# 创建表示图片
a = torch.rand(4,3,28,28)
# 对 tensor 1 和 3 轴进行交换
a.transpose(1,3).shape
torch.Size([4, 28, 28, 3])
b = torch.rand(4,3,28,32)
b.transpose(1,3).shape
torch.Size([4, 32, 28, 3])
b.transpose(1,3).transpose(1,2).shape
torch.Size([4, 28, 32, 3])
# permut
# [b c H W] 变为 [b H W c] [0 1 2 3] 变为 [0 2 3 1]
b.permute(0,2,3,1).shape
torch.Size([4, 28, 32, 3])
