逻辑回归算法

逻辑回归是经典的二分类算法
机器学习算法选择:先逻辑回归再用复杂的,能简单还是用简单的
逻辑回归的决策边界:可以是非线性的

1 Sigmoid函数

公式:g(z)=\frac{1}{1+e^{-z}}
自变量取值为任意实数,值域为[0,1]
解释:将任意的输入映射到了[0,1]区间,我们在线性回归中可以得到一个预测值,再将该值映射到Sigmoid函数中这样就完成了由值到概率的转换,也就是分类任务

2 预测函数

h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}
分类任务:

  • p(y=1|x;\theta)=h_\theta(x)
  • p(y=0|x;\theta)=1-h_\theta(x)
    整合:
    p(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y}

3 似然函数

L(\theta)=\prod_{i=1}^mp(y_i|x_i;\theta)=\prod_{i=1}^m(h_{\theta}(x_i))^{y_i}(1-h_\theta(x_i))^{1-y_i}

4 对数似然

l(\theta)=logL(\theta)=\sum_{i=1}^mp(y_i|x_i;\theta)=\sum_{i=1}^m(y_ilogh_{\theta}(x_i)+(1-y_i)log(1-h_\theta(x_i)))
此时应用梯度上升求最大值,引入J(\theta)=-\frac{1}{m}l(\theta)转换为梯度下降任务。

5 求导

J(\theta)求导:
\frac{\delta}{\delta_{\theta_j}}J(\theta)=\frac{1}{m}\sum_{i=1}^m(h_\theta(x_i)-y_i)x_i^j

6 参数更新

picture.PNG

推荐阅读更多精彩内容

  • 逻辑回归原理推导 目的:分类还是回归? (经典的二分类算法) 什么是回归:比如说我们有两类数据,各有50个点组成,...
    python机器学习学习笔记阅读 202评论 3 2
  • 逻辑回归算法梳理 1、 逻辑回归的原理 逻辑回归就是这样的一个过程:面对一个回归或者分类问题,建立代价函数,然后通...
    敬标阅读 1,011评论 0 1
  • 一、从线性回归到逻辑回归 首先从线性回归模型出发,线性回归模型的输出值是连续型变量,值域为;逻辑回归的输出值是离散...
    阿ashang阅读 17,122评论 0 6
  • 参考资料 chapter3A Tour of Machine LearningClassifers Using S...
    灵玉真人阅读 7,632评论 4 6
  • 我又来发公式了。用行动推动简书支持 MathJax。万一你真想看这篇文章,请移步 逻辑回归算法获得完整地阅读体验。...
    kamidox阅读 3,214评论 9 23