统计学习方法第一章习题

习题1.1

问题：假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或者贝叶斯估计来估计结果为1的概率

极大似然估计法

$L(\theta) = \theta^k(1-\theta)^{n-k}$

对$\theta$求导

$L’(\theta) = k\theta^{k-1}(1-\theta)^{n-k} + \theta^{k}(n-k)(1-\theta)^{n-k-1}(-1) = 0$

=> $k(1-\theta) = \theta(n-k)$

=> $k = \theta n$

=>$\theta = \frac{k}{n}$