(常用算法2)矩估计与最大似然估计

估计：即是通过已知样本求出未知的整体参数；

一、矩估计

矩的概念

设有自然数k，常数a，随机变量x，则$E(x-a)^k$称之为随机变量x基于常数a的k阶矩；当常数a = 0时，则称之为原点矩；

矩估计方法

即通过上述k阶矩的方法估计整体的范围。

例：通过一阶矩与二阶矩估计整体

设总体X服从区间[a,b]的均均分布，a、b未知，$x_1、x_2...x_n$是X的样本值，求a，b;
上述中，欲求两个未知参数，则至少需有两个方程，我们采用一阶原点矩与二阶原点矩来估计a与b;

$$E(X) = \frac{a+b}{2} = \frac{x_1+x_2+...+x_n}{n}$$
$$E(X^2) = D(X)+[E(X)]^2 = \frac{(b-a)^2}{12}+\frac{(b+a)^2}{4}$$
$$= \frac{x_1^2+x_2^2+...+x_n^2}{n}$$
因为$x_1、x_2...x_n$为已知参数，则联立上述两个公式，可求得a与b;

二、最大似然估计

最大似然估计方法

若总体X的分布律P{X=x}=p(x;$\theta$),当样本值为$x_1、x_2...x_n$时的概率为

$$L(\theta) = \prod _{i=1}^{n}p(x_i,\theta)$$
最大似然估计，即是求当$L(\theta)$为最大值为，$\theta$的值;
最大似然估计的求解步聚：
1、求出分布率公式p(x;$\theta$)
2、求出$L(\theta) = \prod _{i=1}^{n}p(x_i,\theta)$
3、求出$\frac{dln(L(\theta))}{d\theta}=0$
注：第3步求解的目的是$L(\theta)$的最大值点在极值点上，因需$L(\theta)$的导数为0的点；又因为$L(\theta)$直接求极值较复杂，而$ln(L(\theta))$不会影响函数的单调性，因此用$ln(L(\theta))$来求$\theta$

例

设X~b(1,p),$x_1、x_2...x_n$是X的样本值,求参数p的最大似然估计；
1、可知P(X=x) = $p^x(1-p)^{1-x}$
2、求$L(\theta)$

$$L(\theta) = \prod _{i=1}^{n}p^{x_i}*(1-p)^{1-x_i}$$
3、求$\frac{dln(L(\theta))}{d\theta}=0$
通过该方法则可求出p值；