图解Numpy精翻版,一文带你入门Python数据处理

(关注'AI新视野'公众号,发送‘资料’二字,免费获取50G人工智能视频教程!)

本文精心翻译自Jay Alammar的博客:https://jalammar.github.io/visual-numpy/,其用图解的方式详细介绍了 NumPy的功能和使用示例。

image

NumPy 是 Python 生态中数据分析、机器学习和科学计算的基础。它极大地简化了向量和矩阵的操作处理。Python 的一些主要软件包(如 scikit-learn、SciPy、pandas 和 tensorflow)都以 NumPy 作为其架构的基础部分。除了能对数值数据进行切片(slice)和切块(dice)之外,使用 NumPy 还能为处理和调试上述库中的高级实例带来极大的便利。

本文将介绍 NumPy 的一些主要方法,以及在将数据送入机器学习模型之前,numpy是如何表示不同类型数据(表格、图像、文本等)的。

import numpy as np

创建数组

通过传递一个 python 列表,并使用 np.array()来创建 NumPy 数组。python 创建的数组如下图右所示:

image

NumPy 提供了一些初始化数组的方法,例如 ones()、zeros() 和 random.random() 等方法。只要传递希望 NumPy 生成的元素维数即可:

image

一旦创建了数组,就可以随意操作啦。

数组运算

下面创建两个 NumPy 数组来展示数组运算功能。下图两个数组分别为 data 和 ones:

image

将它们按位置相加(即每行对应相加),直接输入 data + ones 即可:

image

除了,还可以进行如下操作:

image

数组和单个数字之间也可以进行运算操作(即向量和标量之间的运算)。比如说,数组表示以英里为单位的距离,希望将其单位转换为千米。只需输入 data * 1.6 即可:

image

NumPy 是通过广播机制(broadcasting)来实现的,通过判断维数,来推测要进行的运算。

索引

可以像对 python 列表进行切片一样,对 NumPy 数组进行任意的索引和切片:

image

聚合

NumPy 还提供聚合功能:

image

除了 min、max 和 sum 之外,还可以使用 mean 得到平均值,使用 prod 得到所有元素的乘积,使用 std 得到标准差等等。

更多维度

上述的例子都是在一个维度上处理向量。NumPy 优雅的关键在于能够将上述所有方法应用到任意数量的维度。

创建矩阵

可以传递下列形状的 python 列表,使 NumPy 创建一个矩阵来表示它:

np.array([[1,2],[3,4]])

也可以使用上面提到的方法(ones()、zeros() 和 random.random()),只要传入一个描述创建的矩阵维数的元组即可:

image

矩阵运算

如果两个矩阵大小相同,可以使用算术运算符(+-*/)对矩阵进行加和乘。NumPy 将其视为 position-wise 运算:

image

也可以对不同大小的两个矩阵执行此类算术运算,但前提是某一个维度为 1(如矩阵只有一列或一行),在这种情况下,NumPy 使用广播规则执行算术运算:

点乘

算术运算和矩阵运算的一个关键区别是矩阵乘法使用点乘。NumPy 为每个矩阵赋予 dot() 方法,可以用它与其他矩阵执行点乘操作:

image

在上图的右下角添加了矩阵维数,来强调这两个矩阵的临近边必须有相同的维数。可以把上述运算视为:

image

矩阵索引

当处理矩阵时,索引和切片操作将更加有用:

image

矩阵聚合

可以像聚合向量一样聚合矩阵:

image

不仅可以聚合矩阵中的所有值,还可以使用 axis 参数执行跨行或跨列聚合:

image

转置和维度重塑

处理矩阵时的一个常见需求是旋转矩阵。当需要对两个矩阵执行点乘运算并对齐它们共享的维度时,通常需要进行转置。NumPy 数组有一个方便的方法 T 来求得矩阵转置:

image

在某些应用中,需要对特定矩阵的变换维度。在机器学习应用中,经常会有当某个模型对输入形状的要求与的数据集不同。NumPy 中的 reshape() 方法就可以发挥作用。只需将矩阵所需的新维度赋值给它即可。可以为维度赋值-1,NumPy 可以根据的矩阵推断出正确的维度:

image

更多维度

NumPy 可以在任意维度实现上述提到的所有内容。其中心数据结构被叫作 ndarray(N 维数组)。

image

在很多情况下,处理一个新的维度只需在 NumPy 函数的参数中添加一个逗号:

image

实际用法

以下是 NumPy 可实现的有用功能的实例演示。

公式

均方差公式,它是监督机器学习模型处理回归问题的核心:

image

在 NumPy 中实现该公式很容易:

image

这样做的好处在于,NumPy 并不关心 predictions 和 labels 包含一个值还是一千个值(只要它们大小相同)。可以通过一个示例依次执行上面代码行中的四个操作:

image

预测和标签向量都包含三个值,也就是说 n 的值为 3。减法后,得到的值如下:

image

然后将向量平方得到:

image

对这些值求和:

image

得到的结果即为该预测的误差值和模型质量评分。

数据表达

电子表格、图像、音频等需要处理和构建模型所需的数据类型,其中很多都适合在 n 维数组中表示:

表格

电子表格就是二维矩阵。电子表格中的每个工作表都可以是它自己的变量。python 中最流行的表格抽象是 pandas 数据帧,其在 NumPy 之上构建。

image

音频

音频文件是样本的一维数组。每个样本都是一个数字,代表音频信号的一小部分。CD 质量的音频每秒包含 44,100 个样本,每个样本是-65535 到 65536 之间的整数。这意味着如果有一个 10 秒的 CD 质量 WAVE 文件,可以将它加载到长度为 10 * 44,100 = 441,000 的 NumPy 数组中。如果想要提取音频的前一秒,只需将文件加载到 audio 的 NumPy 数组中,然后获取 audio[:44100]。

下面是一段音频文件:

image

其他时间序列数据也可以同样表示(如股票随时间变化的价格)。

图像

图像是尺寸(高度 x 宽度)的像素矩阵。

如果图像是黑白(即灰度)的,则每个像素都可以用单个数字表示(通常在 0(黑色)和 255(白色)之间)。

下图是一个图像文件的部分:

image

如果图像是彩色的,则每个像素由三个数字表示------红、绿和蓝。在这种情况下,需要一个三维数组(因为每个单元格只能包含一个数字)。因此彩色图像由尺寸为(高 x 宽 x3)的 ndarray 表示:

image

欢迎关注全平台AI自媒体 “AI新视野”,第一时间获取人工智能学术、产业前沿!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 156,423评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,339评论 1 289
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,241评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,503评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,824评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,262评论 1 207
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,615评论 2 309
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,337评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,989评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,300评论 2 240
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,829评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,193评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,753评论 3 230
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,970评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,708评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,295评论 2 267
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,207评论 2 258

推荐阅读更多精彩内容

  • NumPy包是python生态系统中数据分析、机器学习和科学计算的主力。 它极大地简化了向量和矩阵的操作。Pyth...
    statr阅读 839评论 0 2
  • 基础篇NumPy的主要对象是同种元素的多维数组。这是一个所有的元素都是一种类型、通过一个正整数元组索引的元素表格(...
    oyan99阅读 5,049评论 0 18
  • 我们每个人都可以思考,而我们思考的来源在哪了!我想众所周知大家的第一个回答就是大脑,没错我们在进行一件事情的时候都...
    moon_dark阅读 359评论 0 0
  • 非是它楼起高阁 危寒凌云不可攀 自少曾睹此矗隅 忘却湖海空天时 一缕清风 洗净 惶惶的奔狂 我在画楼上 观望你...
    牛谷河畔阅读 298评论 2 1
  • 请不要在最能吃苦的时候选择潇洒,没有人的青春是在红地毯上走过,既然梦想成为那个别人无法企及的自我,就应该选择一条属...
    止于灯下阅读 223评论 0 0