逻辑斯蒂回归另一种loss

统计学习方法最后一章讲到了逻辑斯蒂回归的loss func为$log[1 + exp^{-yf(x)}]$一时难以理解，找波叔帮忙看了下，给了这篇 http://pages.cs.wisc.edu/~jerryzhu/cs769/lr.pdf 参考，瞬间理解了。

这里主要将类别的符号变换从之前的0，1转变成了-1和1，那么最大似然估计可以统一写成：

$ \prod_{i=1}^n\frac{1}{1+e^{-y_i(wx_i+b)}}$

因为：
$p(y=1|x) = \frac{1}{1+e^{-(wx+b)}}$
$p(y=-1|x) = 1- p(y=1|x)= \frac{1}{1+e^{wx+b}}$

将两个概率统一，即为最终的最大似然

将上面式子转换成-log形式即为loss，

$L(w,b) = -\sum_{i=1}^{n}log(\frac{1}{1+e^{-y_i(wx+b)}}) = \sum_{i=1}^{n}log(1+e^{-y_i(wx+b)})$