浅谈点估计

—— 最大似然估计和贝叶斯估计

分享人：熊志伟

2017.8.9
CONTENTS
目录
0. 预备

1. 最大似然估计

2. 贝叶斯估计

3. 讲一个例子
 预备
理论体系
统计学

统计推断 统计描述

抽样分布 参数估计 假设检验

区间估计 点估计

最大似 贝叶斯
矩估计 ……
然估计 估计
 预备
基本概念
 参数
参数（ parameter ）是用来描述总体特征的概括性数字度量，它是研究者想要
了解的总体的某种特征值。

 统计量
统计量（ statistic ）是用来描述样本特征的概括性数字度量。它是根据样本数
据计算出来的一个量，由于抽样是随机的，因此统计量是样本的函数。

 参数估计
参数估计（ parameter estimation ）就是用样本统计量去估计总体的参数。

 点估计
点估计（ point estimation ）就是用样本统计量的某个取值直接作为总体参数
的估计值。
 最大似然估计
最大似然估计
 问题
总体 X 的概率密度函数为 f  x | θ，观测到一组样本
 X , X 1 2 ,..., X n    x1 , x2 ,...,，估计参数
xn  。
 θ统计量
构造样本统计量，似然函数（ likelihood function ）：

n
L θ | x   f  x | θ   f  x1 , x2 ,..., xn | θ    f  xi | θ 
 求解 i 1

最优化问题

^
θ mle  arg max L θ | x 
 直观解释
假定参数 固定且未知，找到估计值 ，使得事件发生的可能性最大，换言之，
当 时，该组观测样本更容易取到。
^
θ θ mle

 θ难点
^
θ mle

a). 全局最大值 b). 数值敏感性

 贝叶斯估计
贝叶斯统计
 源起
18 世纪，英国牧师托马斯•贝叶斯在《论有关机遇问题的求解》中提出一种
归纳推理的理论，后被一些统计学者发展为贝叶斯统计。

 本质
总体参数 已知，服从一个先验分布（
θ prior distribution ），从以θ为指标的总体
中抽取一个样本，根据样本信息去校正先验分布，得到后验分布（ posterior
distribution ）。
后验分布 先验分布
 贝叶斯公式
P  Bi  P  A | Bi  P  Bi  P  A | Bi 
P  Bi | A   
P  A n

 P B  P  A | B 
j 1
j j

 质疑
a). 先验分布，带有主观意愿，丧失客观性；
b). 后验分布，计算过于复杂，无显式结果
 贝叶斯估计
贝叶斯估计
 问题
总体 X 的概率密度函数为 f  x | θ，观测到一组样本
  X , X ,..., X    x , x ,...,，估计参数
x  。 1 2 n 1 2 n

 后验分布
选取参数 的先验分布 ，根据贝叶斯公式计算参数 的后验分布：
θ  θ  θ

f  x | θ   θ  f  x | θ   θ 
 θ | x   
 求解  f  x | θ    θ  dθ m x
后验分布是一个条件分布，利用后验分布来作出对 的估计：
θ
^
θbayes  E θ | x 
 最大后验估计

^ f  x | θ   θ 
θ map  arg max θ  θ | x   arg max θ  arg max θ f  x | θ   θ 
m x
 讲一个例子
掷硬币
 问题
投掷硬币 10 次，观测到 3 次正面， 7 次反面，问：掷硬币出现正面的概率多
大？

 答案
a).p=0.3
b).p=0.5
c).p=?

 建模
掷硬币 n 次，出现正面 k 次，正面出现概率为 p 的二项分布：
n  
P  X  k     p k 1  p 
nk

k 

n=10 ，观测到 k=3 ，估计参数 p 。

 讲一个例子
最大似然估计
 似然函数
n
L θ | x   f  x | θ   f  x1 , x2 ,..., xn | θ    f  xi | θ 
i 1

n nk 
L  p | x   f  x | p   P  X  k | p     p k 1  p 
k 
 求解
n
l  ln L  p | x   ln    k ln p   n  k  ln 1  p 
k 
l k n  k
 
p p 1  p

^ k n1 k
p mle   1 0   0.3
nk k n n n
 讲一个例子
最大后验估计
 先验分布
选取 Beta 分布作为参数 p 的先验分布：
p ~ Beta  ,  

      1
Beta  p |  ,    p 1  p 
 1

      
 求解
^ f  x | θ   θ 
θ map  arg max θ  θ | x   arg max θ  arg max θ f  x | θ   θ 
m x

n  n  k        1 
l  ln  f  x | θ   θ   ln    p k 1  p  p 1 1  p  
k         
n     
 ln    k ln p   n  k  ln 1  p   ln    1 ln p     1 ln 1  p 
k        

l k    1 n  k    1
 
p p 1 p

^ k   1 n1    1 3  4 1
p map   1 0   0.39
n  k  k     2 n  n     2 3 7  5 5 2
 讲一个例子
贝叶斯估计
 Beta 分布

E  Beta  p |  ,   
 

Beta  p |  ,    BinomCount  k , n  k   Beta  p |   k ,   n  k 

 后验分布

f  x | θ   θ  f  x | θ   θ 
 θ | x   
m x  f  x | θ    θ  dθ

  p | x  ~ Beta  p |   k ,   n  k 

^  k n1   35
p bayes  E  p | x    1 0   0.4
  k    n  k n  n    3 7  5 5
Reference
[1] http://blog.csdn.net/dyllove98/article/details/9385559
[2] http://blog.csdn.net/zouxy09/article/details/8537620
[3] http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html
[4] https://www.zhihu.com/question/40797593
[5] http://www.tuicool.com/articles/Av6NVzy
[6] http://blog.csdn.net/hechenghai/article/details/41896213
[7] https://www.zhihu.com/question/22371861
[8] https://www.zhihu.com/question/24614401
[9] http://blog.csdn.net/lihaitao000/article/details/51894496
[10] http://bbs.pinggu.org/thread-746887-1-1.html
[11] http://blog.csdn.net/wsj998689aa/article/details/46792543
[12] http://blog.csdn.net/manji_lee/article/details/41335307
[13] http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006924.html
[14] http://irwenqiang.iteye.com/blog/1552680
[15] http://blog.pluskid.org/?p=39
[16] https://www.zhihu.com/question/49972233?sort=created
[17] http://blog.csdn.net/llp1992/article/details/47058109
[18] http://www.csdn.net/article/2012-07-03/2807073-k-means
The End
谢谢