【机器学习基础】Logistic回归基础

jopen 7年前

soft binary classification

Logistics回归模型要解决的是分类问题,在之前的二元分类问题中,我们将数据分成正例和负例,但是像PLA算法一样,用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是,我们希望能得到正例的概率值是多少。

【机器学习基础】Logistic回归基础

logistic regression的假设

我们在PLA和线性回归算法中都用数据的加权来计算一个分数s,在logistic回归中,我们用sigmoid函数来将这个分数s转化成0到1的概率值。

【机器学习基础】Logistic回归基础

所以,用下面的h(x)来表示一个假设,而这个logistic函数θ(x)就是θ(x)=1/[1+exp(-x)](该函数平滑且处处可微)。

【机器学习基础】Logistic回归基础

logistic regression的训练误差函数

我们设想目标函数f(x) = P(+1|x),这里数据的正例和负例的概率分布其实是一个伯努利分布。那么,如果我们的假设h(x)要逼近f(x)函数,那么对于训练数据D,由h构成的似然度应该近似等于从这个伯努利分布中抽取数据的概率。

【机器学习基础】Logistic回归基础

那么我们要求的最终假设g就是使得这个似然度最大的h。

【机器学习基础】Logistic回归基础

接下来,我们来衡量这个可能性(likelihood),这里将数据的先验概率P(xi)化成灰色,因为它对于所有的数据来说都是一样的,所以相当于是一 个常数,整理一下,我们可以看到这个可能性正比于所有的h乘起来的结果(其中h(ynxn)包含了h(xi)和h(-xi)的情形)。

【机器学习基础】Logistic回归基础

cross entropy error

下面的图片告诉了我们,如何将这个可能性的式子进行化简,使得我们在后面的计算变得容易。我们用θ(·)函数代替了h,将式子取对数使得乘积的形式变成求和的形式,最后再添一个负号,将最大似然函数的形式变成了求解最小值的最优化问题。

【机器学习基础】Logistic回归基础

这里,我们定义了交叉熵误差来衡量我们的训练误差。

【机器学习基础】Logistic回归基础

最小化误差函数

我们得到了训练误差的具体形式,由于这个训练误差函数是可微并且是凸函数,所以依照之前的思路,对这个函数求梯度。

【机器学习基础】Logistic回归基础

我们要使得梯度为0,这里虽然我们得到了求取w的数学式子,但是这个式子并不是一个闭合的公式,无法像线性回归一样直接求解一个矩阵来得到解,那么如何找到满足这个条件的w呢?

梯度下降法

让我们回想一下PLA演算法中求w的过程,是通过错分的数据来一步一步修正的,从而得到最终的w。
这里,我们可以按照类似的思路,一步一步的去修正w,使得Ein的结果越来越小。
在logistic回归中,Ein的式子是平滑的。现在我们可以将这个Ein想象成一个山谷,我们要到达山谷的最低点,就是要沿着当前的梯度最大的方向每次迈出一小步,直到到达谷底,使得Ein最小,得到最佳解w。

线性近似

要确定一个w使得Ein最小,不可能一步到位,指导思路还是由繁化简,用线性近似(linear approximation)的方式来解决问题,我们用多维度的泰勒展开公式来近似Ein,只要给定一个小的η,就可以近似这个Ein。

【机器学习基础】Logistic回归基础

这里Ein(wt)和η都是已知的,Ein的梯度表示了下降的方向,也可以求出来,唯一要考虑的就是最好的向量v该如何选择。

【机器学习基础】Logistic回归基础

梯度下降

对于v和Ein的梯度这两个向量,使得其值是最小的方法就是让v向量的方向和Ein的梯度的方向想法,这样使得两个向量的内积是最小的,另外由于v的模是1,还需要有个归一化的步骤。

【机器学习基础】Logistic回归基础

由于η和▽Ein(wt)的模都是一个常数,可以将其化简成为一个新的η',也可以用常数η来表示。

【机器学习基础】Logistic回归基础

这样我们就得到了logistic回归求解最优化解的步骤。

【机器学习基础】Logistic回归基础

随机梯度下降法(Stochastic Gradient Descent)

在上一小节的梯度下降法的介绍中,我们知道在每一轮迭代中,计算梯度时要把所有的点对梯度的共享都要计算出来m,如下图所示:

【机器学习基础】Logistic回归基础

这里在每一轮的时间复杂度都是O(N),这样看起来是有些麻烦费时的。那有没有一种方法可以将每一轮的时间复杂度降为O(1)呢?
如上一节,我们每一次的要更新的v都是要和所算的梯度是反方向的,但是我们能不能通过一个点(xn,yn)而不是N个点来得到这个v呢?
我们可以将求和再除以N的过程想象成一个随机过程的平均,将这个期望用随机的一个抽样来代替。所以这里不是一个真正的梯度,而是在一个点上对err函数做偏微分,把整体的梯度看做是这个随机过程的期望值。

【机器学习基础】Logistic回归基础

这样,我们可以将随机梯度看做是真正的梯度减去随机的噪声,但是从期望值来说,可能和之前想要走的方向没有太大差别。

【机器学习基础】Logistic回归基础

所以我们得到了随机梯度下降的方法,这种方法的优点是比较简单,适合在线学习和大量的数据的情形,缺点是稳定性不好,尤其是η太大的话,可能情况很糟糕,所以这里的η经验上取0.1会比较好。

【机器学习基础】Logistic回归基础

其最终的表达式如下:

【机器学习基础】Logistic回归基础

参考资料

机器学习基石课程,林轩田,台湾大学

转载请注明作者Jason Ding及其出处
Github主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)