首页 Logistic Regression(逻辑回归)原理及公式推导

Logistic Regression(逻辑回归)原理及公式推导

举报
开通vip

Logistic Regression(逻辑回归)原理及公式推导Logistic Regression(逻辑回归)原理及公式推导 版权声明:本文为原创文章: (逻辑回归)是机器学习中一个非常非常常见的模型,在实际生产环境中也常常被使用,是一种经典的分类模型(不是回归模型)。本文主要介绍了Logistic Regression(逻辑回归)模型的原理以及参数估计、公式推导方法。 模型构建 在介绍Logistic Regression之前我们先简单说一下线性回归,,线性回归的主要思想就是通过历史数据拟合出一条直线,用这条直线对新的数据进行预测,线性回归可以参考我之前的一篇文...

Logistic Regression(逻辑回归)原理及公式推导
Logistic Regression(逻辑回归)原理及公式推导 版权声明:本文为原创文章: (逻辑回归)是机器学习中一个非常非常常见的模型,在实际生产环境中也常常被使用,是一种经典的分类模型(不是回归模型)。本文主要介绍了Logistic Regression(逻辑回归)模型的原理以及参数估计、公式推导方法。 模型构建 在介绍Logistic Regression之前我们先简单说一下线性回归,,线性回归的主要思想就是通过历史数据拟合出一条直线,用这条直线对新的数据进行预测,线性回归可以参考我之前的一篇文章。 我们知道,线性回归的公式如下: z=θ0+θ1x1+θ2x2+θ3x3...+θnxn=θTx 而对于Logistic Regression来说,其思想也是基于线性回归(Logistic Regression属于广义线性回归模型)。其公式如下: hθ(x)=11+e?z=11+e?θTx 其中,y=11+e?x被称作sigmoid函数,我们可以看到,Logistic Regression算法是将线性函数的结果映射到了sigmoid函数中。 sigmoid的函数图形如下:我们可以看到,sigmoid的函数输出是介于(0,1)之间的,中间值是0.5,于是之前的公式h θ(x) 的含义就很好理解了,因为hθ(x) 输出是介于(0,1)之间,也就 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明了数据属于某一类别的概率,例如: hθ(x)0.5 则说明当前数据属于B类。 所以我们可以将sigmoid函数看成样本数据的概率密度函数。 有了上面的公式,我们接下来需要做的就是怎样去估计参数θ了。 首先我们来看,θ函数的值有特殊的含义,它表示hθ(x) 结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为: P(y=1|x;θ)=hθ(x) P(y=0|x;θ)=1?hθ(x) 极大似然估计 根据上式,接下来我们可以使用概率论中极大似然估计的方法去求解损失函数,首先得到概率函数为: P(y|x;θ)=(hθ(x))y?(1?hθ(x))1?y 因为样本数据(m个)独立,所以它们的联合分布可以表示为各边际分布的乘积,取似然函数为: L(θ)=∏i=1mP(y(i)|x(i);θ) L(θ)=∏i=1m(hθ(x(i)))y(i)?(1?hθ(x(i)))1?y(i) 取对数似然函数: l(θ)=log(L(θ))=∑i=1mlog((hθ(x(i)))y(i))+log((1?hθ (x(i)))1?y(i)) l(θ)=log(L(θ))=∑i=1my(i)log(hθ(x(i)))+(1?y(i))log(1?hθ(x(i))) 最大似然估计就是要求得使l(θ) 取最大值时的θ,这里可以使用梯度上升法求解。我们稍微变换一下: J(θ)=?1ml(θ) 因为乘了一个负的系数?1m,然后就可以使用梯度下降算法进行参数求解了。梯度下降具体就不在这里多说了,可以参考之前的文章。 参考文章:
本文档为【Logistic Regression(逻辑回归)原理及公式推导】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
is_314871
暂无简介~
格式:doc
大小:14KB
软件:Word
页数:3
分类:
上传时间:2019-02-12
浏览量:194