随机向量和多元正态

分布
多元概率分布函数
• 一个向量，若它的分量都是随机变量，则称之为
随机向量。
• 随机变量x的分布函数：

F (a) = P( x  a)

• 随机向量 x = ( x1 , x2 , , x p ) 的分布函数：

F ( a1 , a2 , , a p ) = P ( x1  a1 , x2  a2 , , xp  ap )

2
多元概率密度函数
• 一元的情形：
d F ( x)
F ( a ) =  f ( x ) d x, f ( x) =
a

− dx
• 多元的情形：
a1 ap
F ( a1 , ,ap ) =   f ( x1 , , x p )d x1 d xp
− −

• 多元密度f (x1,⋯,xp)的性质：
(1) f ( x1 , , x p )  0，对一切实数x1 , , xp ；
 
(2)   f ( x1 , , x p )d x1 d x p = 1。
− −
3
边缘分布
• 设x是p维随机向量，由它的q(<p) 个分量组成的
向量x(1)的分布称为x的关于x(1)的边缘分布。
• 不妨设 x(1) = ( x1 , , x， 则对连续型的分布，有
q)

 
f(1) ( x1 , , xq ) =   f ( x1 , , x p )d xq +1 d xp
− −

4
条件分布
• 设 x = ( x1 , , x p ) 是p维连续型的随机向量，在给

定 x( 2 ) = ( xq +1 ,  ( )
, x p )  f ( 2 ) x( 2 )  0 的条件下，


x(1) = ( x1 , , xq ) 的条件密度定义为
f ( x1 , , x p )
f ( x1 , , xq | xq +1 , , x p ) =
f( 2) ( xq +1 , , x p )
或表达为
f ( x)
( )
f x(1) | x( 2) =
( )
f( 2) x( 2)
5
独立性
• 两个连续型随机向量的独立
f ( x, y ) = f x ( x ) f y ( y )
• n个连续型随机向量的独立
f ( x1 , , xn ) = f1 ( x1 ) f n ( xn )
• 在实际应用中，若随机向量之间的取值互不影响，
则认为它们之间是相互独立的。

6
数字特征
数学期望（均值）
• 随机向量 x = ( x1 , x2 , , x p ) 的数学期望

E ( x ) =  E ( x1 ) , E ( x2 ) , , E ( x p )
 
记为μ=(μ1,μ2,⋯,μp)′。
• 随机矩阵X=(xij)的数学期望
 E ( x11 ) E ( x12 ) E ( x1q ) 
 
 E ( x21 ) E ( x22 ) E ( x2 q ) 
( )
E ( X ) = E ( xij ) =  
 
 
 E ( x p1 ) E ( x p 2 ) E ( x pq ) 
7
随机矩阵X的数学期望的性质
• (1)设a为常数，则
E(aX)=aE(X)
• (2)设A,B,C为常数矩阵，则
E(AXB+C)=AE(X)B+C
➢特别地，对于随机向量x，有
E(Ax)=AE(x)
• (3)设X1,X2,⋯,Xn为n个同阶的随机矩阵，则
E(X1+X2+⋯+Xn)=E(X1)+E(X2)+⋯+E(Xn)

8
协方差矩阵
• 协方差定义为
Cov ( x, y ) = E  x − E ( x )  y − E ( y )
• 若Cov(x,y)=0，则称x和y不相关。
• 两个独立的随机变量必然不相关，但两个不相关的
随机变量未必独立。
• 当x=y时，协方差即为方差，也就是
Cov ( x, x ) = V ( x )

(
• x = x1 , x2 , , x p ) 和y = ( y1 , y2 , , yq ) 的协方差矩阵
定义为

9
  Cov ( x1 , y1 ) Cov ( x1 , y2 ) Cov ( x1 , yq ) 
 
 Cov ( x2 , y1 ) Cov ( x2 , y2 ) Cov ( x2 , yq ) 
Cov ( x , y ) =  
 
 
 Cov ( x p , y1 ) Cov ( x p , y2 ) Cov ( x p , yq ) 
 E  x1 − E ( x1 )   y1 − E ( y1 )  E  x1 − E ( x1 )   yq − E ( yq )  
    
= 
 
 E  x p − E ( x p )   y1 − E ( y1 )  E  x p − E ( x p )   yq − E ( yq ) 
   
 x − E(x ) 
 1 1

= E (
 y1 − E ( y1 ) , , yq − E ( yq ) )
 
 xp − E ( xp ) 
= E  x − E ( x )   y − E ( y ) 

10
 Cov ( x, y ) = Cov ( y, x ) 
• 若Cov(x,y)=0，则称x和y不相关。
• 两个独立的随机向量必然不相关，但两个不相关的随机向量未必独
立。
V ( x ) = Cov ( x , x ) = E  x − E ( x )   x − E ( x )  
•   
 V ( x1 ) Cov ( x1 , x2 ) Cov ( x1 , x p ) 
 
 Cov ( x2 , x1 ) V ( x2 ) Cov ( x2 , x p ) 
= 
 
 Cov x , x V ( x p ) 
 ( p 1 ) Cov ( x p , x2 )
• V(x)亦记作Σ=(σij)，其中σij=Cov(xi,xj)，σii=σi 2=V(xi)。
• 协差阵Σ既包含了x各分量的方差，也包含了每两个分量之间的协
方差。显然，Σ是一个对称矩阵。

11
协方差阵的性质
• (1)Σ≥0。
➢推论 若|Σ|≠0，则Σ>0。
• (2)设A为常数矩阵，b为常数向量，则
V ( Ax + b ) = AV ( x ) A
当p=1时，退化为熟知的 V ( ax + b ) = a 2V ( x )
• (3)设A和B为常数矩阵，则

Cov ( Ax , By ) = A Cov ( x , y ) B

12
三、相关矩阵
• 随机变量x和y的相关系数定义为
Cov ( x, y )
 =  ( x, y ) =
V ( x )V ( y )
• x = ( x1 , x2 , , x p )和y = ( y1 , y2 , , yq ) 的相关阵

  ( x1 , y1 )  ( x1 , y2 )  ( x1 , yq ) 
 
  ( x2 , y1 )  ( x2 , y2 )  ( x2 , y q ) 
 ( x, y ) =  
 
 x , y 
 ( p 1 )  ( x p , y2 )  ( x p , yq ) 
13
• 若ρ(x,y)=0，则表明x和y不相关。
• x=y时的相关阵ρ(x,x)称为x的相关阵，记作R=(ρij)，这里
ρij=ρ(xi,xj), ρii=1。即
 1 12 1 p 
 1  
R=  21 2p 

 
 
  p1  p2 1 

• R=(ρij)和Σ =(σij)之间有关系式：R=D−1ΣD−1

( )
其中
D = diag  11 ,  22 , ,  pp

14
R和Σ的相应元素之间的关系式为
 ij
ij =
 ii  jj
R=D−1ΣD−1即
 1 12 1 p 
 1  2 p 
 21
 
 
  p1  p 2 1 
 1   1 
  0 0   0 0 
 11   11
 12 1 p   
 1   11   1 
 0 0    21  22 2p  0 0 
=  22   22
    

   p1  p 2 
  pp   
 1   1 
 0 0
 pp   0 0
 pp 
   
15
标准化变换
• 最常用的标准化变换是令
xi − i
xi =
*
, i = 1,2, ,p
 ii

16
  1 
  0 0 
 x1 
*  11
 x −  
 *  0  1 1
1 
 x2   0  2
x − 
x =
*
=  22 2

   
 *   
 xp    p
x −  p
 0 1 
0
  pp 
 
= D −1 ( x − μ )

E ( x * ) = D −1  E ( x ) − μ = 0
V ( x * ) = V  D −1 ( x − μ ) = D −1 ΣD −1 = R
• 可见，相关阵R也是一个非负定阵。

17
多元正态分布的定义
• 一元正态分布N(μ,σ2)的概率密度函数为
−
( x− )
2

1
f ( x) = e 2 2

2
 1 
= ( 2 ) ( ) exp  − ( x −  ) ( ) ( x −  )  , −   x  
2 −1 2 2 −1
−1 2

 2 
• 若随机向量 x = ( x , x , , x ) 的概率密度函数为
1 2 p
 1 
f ( x ) = ( 2 ) exp  − ( x − μ ) Σ −1 ( x − μ ) 
−p 2 −1 2
Σ
 2 
则称x服从p元正态分布，记作x~Np(μ, Σ)，其中，参数μ和Σ分别为x
的均值和协差阵。

18
例： 二元正态分布
• 设x~N2(μ, Σ)，这里
 x1   1    12  1 2  
x =  , μ =  , Σ =  
 2
x 
 2   1 2  2 
2

易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的概
率密度函数为
1
f ( x1 , x2 ) =
2 1 2 1 −  2

 1   x1 − 1 
2
 x1 − 1  x2 − 2   x2 − 2   
2

 exp −    − 2    +
   
 (
 2 1 −  )   1 
2
  1   2    2    
19
显然 当ρ=0时，f(x1, x2)=f1(x1)·f2(x2)，即X1与X2相
互独立.

当|ρ|=1时，|Σ|=0 (Σ退化,即Σ的列向量或行向量
线性相关)，则存在非零向量t =(t1, t2) ,使得
Σt =0, 从而tΣ t =0，故而随机变量
ξ=t (X-μ)的方差为
Var[t (X-μ)］= tΣ t =0,
这表示 P{t (X-μ)=0}=1.
20
即
t1(X1-μ1)+t2(X2-μ2)=0
以概率1成立；
反之，若X1与X2以概率1存在线性相关关
系，则|ρ|=1.
当ρ＞0时,我们称X1与X2存在正相关;
当ρ＜0时,我们称X1与X2存在负相关.

21
二元正态密度函数的图形及等高线的图形
我们把具有等密度的点的轨迹称为等高线(面).

显然当 p=2 时

f ( x1 , x2 ) = C (C  0) 
2 2
 x1 − 1   x1 − 1  x2 −  2   x2 −  2 
  − 2     +   = a 2
 1    1   2    2 

它是一族中心在(μ1,μ2 )′的椭圆.
22
一般的p维正态密度等高面为

( x −  ) ( x −  ) = a
−1 2
(a  0)

取μ1 =0,μ2 =0,以下绘制三组参数下二元正态密

度函数及密度等高线图形：

（1）当  2
1 = 1,  2 = 1,  = 0 时
2

（2）当 12 = 1,  22 = 1,  = 0.75 时

（3）当 12 = 4,  22 = 1,  = −0.75 时
23
 2
1 = 1,  2
2 = 1,  = 0

24
 = 1,  = 1,  = 0.75
2
1
2
2

25
 = 4,  = 1,  = −0.75
2
1
2
2

26
多元正态分布的性质
• (1) x N p (*,*)  任一a，ax N (*,*) 。
➢该性质常可用来证明随机向量服从多元正态分布。
• (2)设x~Np (μ, Σ)，y=Cx+b，其中C为r×p 常数矩阵，
•则
r ( )
y N Cμ + b, CΣC 

➢该性质表明,（多元）正态变量的任何线性变换仍为
（多元）正态变量。

27
• 例 设x~Np(μ, Σ)，a为p维常数向量，则由上述性质
(1)或(2)知，
ax N ( aμ, aΣa )
• (3) 设x~Np(μ, Σ)，则x的任何子向量也服从（多元）
正态分布，其均值为μ的相应子向量，协方差矩阵为
Σ的相应子矩阵。
➢该性质说明了多元正态分布的任何边缘分布仍为
（多元）正态分布。
➢需注意，随机向量的任何边缘分布皆为（多元）正
态分布⇏该随机向量服从多元正态分布。

28
• (4)设x1,x2,⋯,xn相互独立，且xi~Np(μi, Σi) ，i=1,2,⋯,n，则对任
意n个常数k1,k2,⋯,kn，有
n
 n n

k x
i =1
i i N p   ki μi ,  ki Σ i 
 i =1 i =1
2


➢此性质表明，独立的多元正态变量（维数相同）的任意线性
组合仍为多元正态变量。
• (5)设x~Np(μ, Σ)，对x, μ, Σ(>0)作如下的剖分：
 x1  k  μ1  k  Σ11 Σ12  k
x =  , μ=  , Σ = p−k
 2
x p − k μ
 2 p − k Σ
 21 Σ 22 

k p−k

则子向量x1和x2相互独立，当且仅当Σ12=0。
(6)设x~Np(μ, Σ), Σ>0，则 ( x − μ ) Σ −1 ( x − μ )  2 ( p)
29
条件分布

30
31
32
• （简单）相关系数度量了一个随机变量x与另一个随机变量y
之间线性关系的强弱。
• 复相关系数度量了一个随机变量y与一组随机变量x1,x2,…,xp
之间线性关系的强弱。

33
34
35
随机矩阵的正态分布

设X(i)=(Xi1,…, Xip )′(i＝1,…,n)

为来自p维正态总体Np(μ,Σ)的随机样本(独立同分布),
记随机矩阵 X＝(Xij)n×p ，利用拉直运算及直积的定义
和性质,可算出np维长向量Vec(X′)的联合密度函数，从
而可知

Vec( X ) ~ N np (1n   , I n  ),

36
定义：当随机阵X按行拉直后，如果有

Vec( X ) ~ N np (1n   , I n  ),

则称随机阵X服从矩阵正态分布，记作

X ~ N n p  M , I n   , 其中
n p  n p 
Vec( M ) = 1n   = ( 1 ,  ,  p ,  , 1 , ,  p )

37
也就是：

X ~ N n p ( M , I n  ) 
n p n p

Vec( X ) ~ N np (Vec( M ), I n  ),

其中
 1   p  1
   
M =      =   ( 1 ,  ,  p ) = 1n  .
n p
     1
 1 p  
38