NLP笔记Day3:逻辑回归模型

逻辑回归模型

目标:数据可视化,构建逻辑回归模型

步骤

  • 使用散点图表示正向/负向推特的统计
  • 可视化线性回归模型的输出结果

导入库

跟上两篇笔记一样,首先需要导入库,包括NLTK,pandas,matplot,numpy,关于这些库都有官方文档可查:

import nltk
from os import getcwd
import pandas as pd
from nltk.corpus import twitter_samples
import matplotlib.pyplot as plt
import numpy as np

from utils import process_tweet, build_freqs

加载NLTK样本数据集

如果不知怎么那到数据集请翻看前文:

跟之前的加载步骤有所不同的是,这一次我们把数据集区分为 训练集 和 测试集。

这是有监督学习的基本操作,更多相关概念请参考:

all_positive_tweets = twitter_samples.strings('positive_tweets.json')
all_negative_tweets = twitter_samples.strings('negative_tweets.json')

tweets = all_positive_tweets + all_negative_tweets
labels = np.append(np.ones((len(all_positive_tweets),1)), np.zeros((len(all_negative_tweets),1)), axis = 0)

train_pos = all_positive_tweets[:4000]
train_neg = all_negative_tweets[:4000]

train_x = train_pos + train_neg

print("Number of tweets: ", len(train_x))
Number of tweets:  8000

加载提取特征

本周任务的一部分是创建Logistic回归模型所需的数字特征。 为了不干扰它,我们之前已经针对整个训练集计算并存储了这些功能到CSV文件中。

因此,请加载为推文示例创建的这些功能。

data = pd.read_csv('logistic_features.csv');
data.head(10)

把 data frame 转换成 numpy 数组

X = data[['bias', 'positive', 'negative']].values  # 大家可以自行测试一下如果用一个中括号会发生什么? 使用type()函数去看不同的调用方式有助于理解
Y = data['sentiment'].values;  # 为什么要使用分号?如果不用会怎么样?

print(X.shape)
print(X)
(8000, 3)
[[  1.00000000e+00   3.02000000e+03   6.10000000e+01]
 [  1.00000000e+00   3.57300000e+03   4.44000000e+02]
 [  1.00000000e+00   3.00500000e+03   1.15000000e+02]
 ..., 
 [  1.00000000e+00   1.44000000e+02   7.83000000e+02]
 [  1.00000000e+00   2.05000000e+02   3.89000000e+03]
 [  1.00000000e+00   1.89000000e+02   3.97400000e+03]]

加载训练好的逻辑回归模型

同样的,作为这周作业的一部分,逻辑回归模型必须训练。下一个单元包含这样的训练产生的模型。注意,一个包含3个数值的列表代表整个模型,我们将其称为theta𝜃θ。

theta = [7e-08, 0.0005239, -0.00055517]

样本数据可视化

向量theta代表一个将特征空间分为两部分的平面。位于该平面上方的样本被视为正,而位于该平面下方的样本被视为负。
请记住,我们有一个3D特征空间,即每个推特都表示为一个由三个值组成的向量:[bias,positive_sum,negative_sum],始终具有bias = 1。

如果忽略异常值,则可以使用positive_sum和negative_sum在笛卡尔平面中绘制每个tweet。
在下面的单元格中,我们正是这样做的。
此外,根据类别,我们为每个tweet上色。 正面推文将为绿色,负面推文将为红色。

fig, ax = plt.subplots(figsize = (8,8))

colors = ['red', 'green']

ax.scatter(X[:,1], X[:,2], c=[colors[int(k)] for k in Y], s = 0.1) # positive列为散点图的x轴,negative列为y轴
plt.xlabel("Positive")
plt.ylabel("Negative")
Text(0,0.5,'Negative')

如图,正向和负向的特征向量几乎完美分离。因此,可以期望此模型具有很高的准确性。

在数据旁绘制模型

画一条灰线作为正负区域的界限。灰线标记的线为 z = \ theta * x = 0。

要画这条线,我们必须根据一个自变量来求解上述方程式。

z = \theta * x = 0
x = [1, pos, neg]
z(\theta, x) = \theta_0+ \theta_1 * pos + \theta_2 * neg = 0
neg = (-\theta_0 - \theta_1 * pos) / \theta_2

指向相应情感方向的红线和绿线是使用与在先前方程式(负函数)中计算出的分离线垂直的线来计算的。 它必须指向与Logit函数的导数相同的方向,但是幅度可能会有所不同。 它仅用于模型的可视化表示。

direction = pos * \theta_2 / \theta_1

def neg(theta, pos):
    return (-theta[0] - pos * theta[1]) / theta[2]

def direction(theta, pos):
    return pos * theta[2] / theta[1]

图表中的绿线指向z> 0的方向,红线指向z <0的方向。这些线的方向由权重𝜃1θ1和𝜃2给出

fig, ax = plt.subplots(figsize = (8,8))

colors = ['red', 'green']

ax.scatter(X[:,1], X[:,2], c=[colors[int(k)] for k in Y], s = 0.1)
plt.xlabel("Positive")
plt.ylabel("Negative")

maxpos = np.max(X[:,1])

offset = 5000

ax.plot([0, maxpos], [neg(theta, 0), neg(theta, maxpos)], color = 'gray')

ax.arrow(offset, neg(theta, offset), offset, direction(theta, offset), head_width=500, head_length=500, fc='g', ec='g')
ax.arrow(offset, neg(theta, offset), -offset, -direction(theta, offset), head_width=500, head_length=500, fc='r', ec='r')

plt.show()

请注意,比逻辑回归本身更关键的是从推文中提取的特征,这些特征允许在此练习中获得正确的结果。

ChangeLog

  • 2021/2/3 14:57:15 完成整体代码复现

推荐阅读更多精彩内容