问题

假设有N个样本$x^{(1)},x^{(2)}\cdot \cdot \cdot \cdot \cdot x^{(N)}$服从正态分布$N(\mu ,{\sigma }^2)$,其中$\mu$未知，

（1）使用最大似然估计来求解最优参数${\mu }^{ML}$
(2)若参数$\mu$为随机变量，并服从正态分布$N({\mu }_0,{\sigma }_0^2)$,使用最大后验估计来计算求解最优参数${\mu }^{MAP}$。

解析

（1）$x$服从均值为$\mu$,方差为${\sigma }^2$的高斯分布：$p\left(x;\mu ,{\sigma }^2\right)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\left(-\frac{{\left(x-\mu \right)}^2}{2{\sigma }^2}\right)}$，参数$\mu$在样本$X$上的似然函数为$$p\left(x|\mu ,{\sigma }^2\right)=\prod _{n=1}^{N}p\left(x^{\left(n\right)};\mu ,{\sigma }^2\right)=\prod _{n=1}^{N}N\left(x^{\left(n\right)};\mu ,{\sigma }^2\right)$$
为了方便计算，随似然函数取对数得到对数似然函数$$\log p\left(x|\mu ,{\sigma }^2\right)=\log \prod _{n=1}^{N}p\left(x^{\left(n\right)};\mu ,{\sigma }^2\right)=\sum _{n=1}^N\log N\left(x^{\left(n\right)};\mu ,{\sigma }^2\right)$$
$$=\log \frac{e}{\sqrt{2\pi }\sigma }\sum _{n=1}^N-\frac{{\left(x^{\left(n\right)}-\mu \right)}^2}{2{\sigma }^2}$$
上式函数对$\mu$求导并令其为零得到下结果：

$$\sum _{n=1}^N-\frac{x^{\left(n\right)}-\mu }{{\sigma }^2}=0$$
我们要想找到的是一组$\mu$使得似然函数最大，等价于对数似然函数最大。上式求解得到如下结果：$$\mu =\frac{1}{N}\sum _{n=1}^N{x}^{\left(n\right)}$$
上述的$\mu$为样本均值。
（2）根据题目知参数$\mu$服从正态分布$N\left({\mu }_0,{\sigma }_0^2\right)$
参数$\mu$的后验分布(Posterior Distribution)为$$p\left(\mu |x;{\mu }_0,{\sigma }_0^2\right)=\frac{p\left(\mu ,x;{\mu }_0,{\sigma }_0^2\right)}{\sum {}_{\mu }p\left(\mu ,x;{\mu }_0,{\sigma }_0^2\right)}$$
$$\propto p\left(x|\mu ;{\sigma }^2\right)p\left(\mu ;{\mu }_0,{\sigma }_0^2\right)$$
令似然函数$p\left(x|\mu ;{\sigma }^2\right)$为高斯密度函数，对后验分布取对数得：$$\propto \log p\left(x|\mu ;{\sigma }^2\right)+\log p\left(\mu ;{\mu }_0,{\sigma }_0^2\right)$$
$$\propto -\frac{1}{2{\sigma }^2}\sum _{n=1}^N{\left(x^{\left(n\right)}-\mu \right)}^2-\frac{1}{2{\sigma }_0^2}{\left(\mu -{\mu }_0\right)}^2$$
对上式对$\mu$求偏导并令其为零得：$$\mu =\frac{\frac{1}{{\sigma }^2}{\sum }_{n=1}^N{x}^{\left(n\right)}+\frac{{\mu }_0}{{\sigma }_0^2}}{\frac{1}{{\sigma }_0^2}+\frac{N}{{\sigma }^2}}$$