不要把归一化和标准化混为一谈

长期以来一直没有清楚的弄明白标准化和归一化的问题,都当作同一件事情对待。知道是数据特征在进行模型运算之前去量纲、转换到小区间的一种Feature scaling(特征缩放)方法。

本文将更进一步了解归一化、标准化,解答以下问题:

  • 标准化和归一化的差异
  • 为什么要归一化/标准化
  • 归一化和标准化的处理公式分别是什么
  • 什么场景使用哪种归一化方法
  • 什么时候用标准化?什么时候用归一化
  • 不是所有模型都要求输入数据经过标准化/归一化处理

一、标准化和归一化的差异

大的层面而言,归一化和标准化是差不多的,都是模型运算器对数据进行处理,从而使数值都落入到统一的数值范围,从而在建模过程中,各个特征量没差别对待。

但归一化和标准化并不是同一个东西,存在以下差异:

(1)转换区间

归一化(Normalization):把数据转换到(0,1)或者(-1,1)区间的数据映射方式
标准化(Standardization):把数据转换到均值为0,标准差为1的数据映射方式

(2)数据分布

归一化:对数据的数值范围进行特定缩放,但不改变其数据分布的一种特征变换。



标准化:对数据的分布的进行转换,使其符合某种分布(比如正态分布)的一种特征变换。


(3)处理方式

归一化的缩放是“拍扁”统一到区间(仅由极值决定);
而标准化的缩放是更加“弹性”和“动态”的,和整体样本的分布有很大的关系[3]

二、为什么要归一化/标准化?

(1)梯度下降的需要,加速算法收敛速度

在使用梯度下降的方法求解最优化问题时, 归一化/标准化后可以加快梯度下降的求解速度,即提升模型的收敛速度。

所以像之前提到的线性回归、逻辑回归、神经网络等使用梯度下降法求解最优参数的算法,输入数据需要做归一化/标准化处理,提升模型收敛速度。

(2)距离计算的需要,保障算法准确度

一些算法需要计算样本之间的距离(如欧氏距离),例如KNN、kmeans等聚类算法。如果一个特征值域范围非常大,那么距离计算就主要取决于这个特征,从而与实际情况相悖。

(3)消除量纲和数量级影响

各个指标之间由于计量单位和数量级不尽相同,从而使得各指标间不具有综合性,不能直接进行综合分析,这时就必须采用某种方法对各指标数值进行无量纲化处理,解决各指标数值不可综合性问题。

什么是量纲?

物理量按照其属性分为两类:
1.物理量的大小与度量所选用的单位有关,称为有量纲量
2.物理量的大小与度量所选的单位无关,称为无量纲量

去量纲指的的去除数据单位之间的不统一,将数据统一变换为无单位(统一单位)的数据集。

三、归一化和标准化的处理公式

(1)常见的归一化方法

rescaling(极值归一化)

x' = \frac{x-min(x)}{max(x)-min(x)}

mean normalization(平均归一化)

x' = \frac{x-mean(x)}{max(x)-min(x)}

线性比例缩放法

x' = \frac{x_i}{max(x)}

对数函数转换

x'=\frac{log_{10}(x)}{log_{10}(xmax)}
处理后数据范围为[0,1]

sigmoid法

x' = \frac{1}{1 +e^{-x}}

(2) 标准化方法

standardization(Z-score规范化/标准差标准化)

x' = \frac{x-E(x)}{\sigma}

四、什么场景使用哪种归一化方法?

在阅读《基于神经网络的个人信用评分模型研究》一文的时候发现文章对定性指标使用极值归一化方法,对定量指标使用线性比例缩放法。因此提出问题:什么场景使用哪种归一化方法?毕竟我们有那么多种归一化的方法。

目前没找到解答该疑问的相关资料(暂放)

五、什么时候用标准化?什么时候用归一化?

(1)一般建议优先使用标准化,在机器学习中,标准化是更常用的手段,归一化的应用场景是有限的。
(2)如果数据不为稳定,存在极端的最大最小值,不要用归一化。
(3)在分类、聚类算法中,需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候,标准化(Z-score standardization)表现更好[6]
(4)在不涉及距离度量、协方差计算、数据不符合正太分布的时候,可以使用归一化方法。比如图像处理中,将RGB图像转换为灰度图像后将其值限定在[0 255]的范围[6]

标准化的隐含假设是数据符合正态分布的

六、不是所有模型都要求输入数据经过标准化/归一化处理

不是所有的模型都需要做归一的,比如模型算法里面有没关于对距离的衡量,没有关于对变量间标准差的衡量。

(1)比如decision tree 决策树,他采用算法里面没有涉及到任何和距离等有关的,所以在做决策树模型时,通常是不需要将变量做标准化的[7]

(2)概率模型不需要归一化,因为它们不关心变量的值,而是关心变量的分布和变量之间的条件概率。

参考资料

写本文是为了解答一些疑问,参考并整理了各种资料,感谢各种简友、知友、博主的分享。

[1] 归一化、标准化和中心化/零均值化:https://www.jianshu.com/p/95a8f035c86c
[2] 知乎-标准化和归一化的差别:https://www.zhihu.com/question/20467170
[3] https://www.zhihu.com/question/20455227/answer/370658612
[4] https://maristie.com/blog/differences-between-normalization-standardization-and-regularization/
[5] 如何理解Normalization,Regularization 和 standardization?https://www.zhihu.com/question/59939602
[6] 归一化方法总结:https://blog.csdn.net/young951023/article/details/78389445
[7] https://blog.csdn.net/u010947534/article/details/86632819

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,829评论 1 331
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,603评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,846评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,600评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,780评论 3 272
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,695评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,136评论 2 293
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,862评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,453评论 0 229
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,942评论 2 233
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,347评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,790评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,293评论 3 221
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,839评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,448评论 0 181
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,564评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,623评论 2 249

推荐阅读更多精彩内容

  • 一、概念 归一化(Normlization)数据归一化就是将训练集中某一列数值特征的值缩放到0和1之间。1、把数变...
    井底蛙蛙呱呱呱阅读 1,977评论 0 4
  • 一. 为什么需要特征缩放 对于大多数的机器学习算法和优化算法来说,将特征值缩放到相同区间可以使得获取性能更好的模型...
    美美May_阅读 1,146评论 0 3
  • 一. 为什么需要特征缩放 对于大多数的机器学习算法和优化算法来说,将特征值缩放到相同区间可以使得获取性能更好的模型...
    躺在稻田里的小白菜阅读 3,409评论 0 0
  • 高三的最后一个寒假,冒着风寒,走在家访的路上。 在这次家访过程中,我深刻体会到,作为教师我们要积极的指导家长,同时...
    93de00e16b38阅读 346评论 0 0
  • 雾霾——旧时光 坠落沉静的雾霭,总要有勇气握着你的手 浅蓝色微笑融化你的眸光 渴望呼吸一点新绿,温暖一丝冰凉 摇曳...
    莜面山药蛋阅读 139评论 0 0