Exponential Family Distribution 02

Chen Gong

23 October 2019

本节的主要内容是演示 Guassian Distribution 的指数族表达形式，将高斯函数的形式转换为指数

族分布的通用表达形式。
指数族分布的基本形式可以表示为：
{ }
p(x|y) = h(x)exp η T φ(x) − A(η) (1)

η：参数向量 parameter，η ∈ Rp 。
A(η)：log partition function (配分函数)。
φ(x)：充分统计量 sufficient statistics magnitude。

1 思路分析
高斯分布的概率密度函数可表示为：
{ }
1 (x − µ)2
p(x|µ, σ ) = √
2
exp − (2)
2πσ σ2
观察指数族分布的表达形式，高斯分布的参数向量是有关于 θ = (µ, σ) 的。首先观察指数部分的
第一部分 η T φ(x)，只有这个部分和 x 相关。那么把这个部分搞定，系数就是参数矩阵，剩下的就是配
分函数了，而且配分函数是一个关于 η 的函数。

2 将 Guassian Distribution 改写为指数族分布的形式

具体推导过程如下所示：
{ }
1 (x − µ)2
p(x|θ) = √ exp − (3)
2πσ 2σ 2
{ }
1 1
=√ exp − 2 (x2 − 2µx + µ2 ) (4)
2πσ 2σ
{ }
1 x2 µx µ2
= √ exp − 2 + 2 − 2 (5)
2πσ 2σ σ 2σ
{( ) }
1 µ ( ) µ 2
=√ x x2 − 2
σ 2
exp (6)
2πσ − 2σ1 2 2σ
{( ) }
1 µ ( ) µ2
=exp log √ exp σ2
x x − 2
2 (7)
2πσ − 2σ1 2 2σ

1
 {( ) ( )}
µ ( ) µ2 1
=exp σ2
x x2 − − log 2πσ (8)
− 2σ1 2 2σ 2 2

令: ( ) ( ) { {
η1 µ
σ2
η1 = µ
σ2
µ = − 2η
η1
η= = =⇒ =⇒ 2
(9)
η2 − 2σ1 2 η2 = − 2σ1 2 σ 2 = − 2η12
到了现在，我们离最终的胜利只差一步了，
( ) ( )
η1 x
η= φ(x) = (10)
η2 x2

η12 1 1 η2 1 π
A(η) = − + log(2π · − ) = − 1 + log(− ) (11)
4η2 2 2η2 4η2 2 η2
{ }
于是，Guassian Distribution 成功的被我们化成了指数族分布的形式 exp η T φ(x) − A(η) 。