Professional Documents
Culture Documents
Chapter_3
Chapter_3
3.0 서론
3.1 기대값
3.2 모멘트
3.3 모멘트를 구하는 함수들
3.4 랜덤변수의 변환
3.5 컴퓨터에 의한 단일 랜덤변수의 생성
3.6 요약
2
3장. 단일 랜덤변수의 연산-기대값
3
2장의 주요 내용
◦ 랜덤변수
표본 공간에서 정의된 사건을 체계적으로 나타내는 수단
실제 일어나는 확률적인 물리현상의 특성을 규정하는 수학적
모형을 제시
3장의 주요 내용
◦ 랜덤변수의 주요 연산: 기대값(expectation)
4
3장. 단일 랜덤변수의 연산-기대값
5
기대값(expectation)
◦ 랜덤변수와 관계하여 평균을 구하는 과정
◦ 랜덤변수 𝑋𝑋에 대한 기대값
�
𝑬𝑬 𝑿𝑿 = 𝑿𝑿
𝑿𝑿의 산술적 기대값(expectation)
𝑋𝑋의 기대값(expected value)
𝑿𝑿의 평균(mean)
𝑋𝑋의 통계적 평균(statistical average)
6
EXAMPLE 3.1-1
7
랜덤변수의 기대값
◦ 임의의 랜덤변수 𝑋𝑋에 대한 기대값의 정의
∞
� = � 𝒙𝒙𝒇𝒇𝑿𝑿 𝒙𝒙 𝒅𝒅𝒅𝒅
𝑬𝑬 𝑿𝑿 = 𝑿𝑿
−∞
𝑋𝑋가 확률 𝑃𝑃(𝑥𝑥𝑖𝑖 )를 갖는 𝑁𝑁개의 가능한 값 𝑥𝑥𝑖𝑖 를 갖는 이산
랜덤변수인 경우
𝐸𝐸 𝑋𝑋 = ∑𝑁𝑁 𝑁𝑁
𝑖𝑖=1 𝑥𝑥𝑖𝑖 𝑃𝑃(𝑥𝑥𝑖𝑖 ); 𝑓𝑓𝑋𝑋 𝑥𝑥 = ∑𝑖𝑖=1 𝑃𝑃 𝑥𝑥𝑖𝑖 𝛿𝛿(𝑥𝑥 − 𝑥𝑥𝑖𝑖 )
𝑓𝑓𝑋𝑋 (𝑥𝑥)가 𝑥𝑥 = 𝑎𝑎인 직선에 대칭인 경우
𝐸𝐸 𝑋𝑋 = 𝑎𝑎; 𝑓𝑓𝑋𝑋 𝑥𝑥 + 𝑎𝑎 = 𝑓𝑓𝑋𝑋 (−𝑥𝑥 + 𝑎𝑎)
8
EXAMPLE 3.1-2
9
랜덤변수 함수의 기대값
◦ 랜덤변수 𝑋𝑋의 함수 𝑔𝑔(⋅)
◦ 𝑔𝑔(𝑋𝑋)의 기대값
∞
𝑬𝑬 𝒈𝒈 𝑿𝑿 = � 𝒈𝒈 𝒙𝒙 𝒇𝒇𝑿𝑿 𝒙𝒙 𝒅𝒅𝒅𝒅
−∞
𝐸𝐸 𝑔𝑔 𝑋𝑋 = ∑𝑁𝑁
𝑖𝑖=1 𝑔𝑔 𝑥𝑥𝑖𝑖 𝑃𝑃(𝑥𝑥𝑖𝑖 ); 이산 랜덤변수 𝑋𝑋인 경우
10
EXAMPLE 3.1-3
11
EXAMPLE 3.1-4
12
조건 기대값(conditional expectation)
◦ 표본 공간에서 정의된 어떤 사건 𝐵𝐵에 대한 조건 밀도함수
𝑓𝑓𝑋𝑋 (𝑥𝑥|𝐵𝐵)에 대한 랜덤변수 𝑋𝑋의 조건 기대값
∞
𝐸𝐸 𝑋𝑋 𝐵𝐵 = � 𝑥𝑥𝑓𝑓𝑋𝑋 𝑥𝑥 𝐵𝐵 𝑑𝑑𝑑𝑑
−∞
𝐵𝐵 = {𝑋𝑋 ≤ 𝑏𝑏}; −∞ < 𝑏𝑏 < ∞
𝑓𝑓𝑋𝑋 𝑥𝑥
𝑏𝑏 𝑥𝑥 < 𝑏𝑏
𝑓𝑓𝑋𝑋 𝑥𝑥 𝐵𝐵 = � ∫−∞ 𝑥𝑥𝑓𝑓𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑
0 𝑥𝑥 ≥ 𝑏𝑏
𝑋𝑋가 집합 {𝑋𝑋 ≤ 𝑏𝑏}로 한정될 때 𝑋𝑋의 평균값
𝑏𝑏
∫−∞ 𝑥𝑥𝑓𝑓𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑
𝐸𝐸 𝑋𝑋 𝑋𝑋 ≤ 𝑏𝑏 = 𝑏𝑏
∫−∞ 𝑓𝑓𝑋𝑋 (𝑥𝑥) 𝑑𝑑𝑑𝑑
13
3장. 단일 랜덤변수의 연산-기대값
14
원점에 관한 모멘트(moments about the origin)
◦ 𝑛𝑛차 모멘트, 𝑚𝑚𝑛𝑛
∞
𝒎𝒎𝒏𝒏 = 𝑬𝑬 𝑿𝑿𝒏𝒏 = � 𝒙𝒙𝒏𝒏 𝒇𝒇𝑿𝑿 (𝒙𝒙) 𝒅𝒅𝒅𝒅
−∞
𝑔𝑔 𝑋𝑋 = 𝑋𝑋 ; 𝑛𝑛 = 0, 1, 2, …
𝑛𝑛
15
중심 모멘트(central moment)
◦ 𝑋𝑋의 평균에 관한 모멘트, 𝜇𝜇𝑛𝑛
∞
�
𝝁𝝁𝒏𝒏 = 𝑬𝑬 𝑿𝑿 − 𝑿𝑿 𝒏𝒏
=� �
𝒙𝒙 − 𝑿𝑿 𝒏𝒏 𝒇𝒇
𝑿𝑿 𝒙𝒙 𝒅𝒅𝒅𝒅
−∞
𝑔𝑔 𝑋𝑋 = 𝑋𝑋 − 𝑋𝑋�𝑛𝑛
16
분산과 비틀림
◦ 분산(variance)
∞
𝝈𝝈𝟐𝟐𝑿𝑿 �
= 𝝁𝝁𝟐𝟐 = 𝑬𝑬 𝑿𝑿 − 𝑿𝑿 𝟐𝟐
=� 𝑥𝑥 − 𝑋𝑋� 2 𝑓𝑓𝑋𝑋 (𝑥𝑥) 𝑑𝑑𝑑𝑑
−∞
표준 편차(standard deviation), 𝜎𝜎𝑋𝑋2 = 𝜎𝜎𝑋𝑋
평균에 관하여 𝑓𝑓𝑋𝑋 (𝑥𝑥)가 퍼진 정도
� + 𝑋𝑋� 2 = 𝐸𝐸 𝑋𝑋 2 − 2𝑋𝑋𝐸𝐸
𝝈𝝈𝟐𝟐𝑿𝑿 = 𝐸𝐸 𝑋𝑋 2 − 2𝑋𝑋𝑋𝑋 � 𝑋𝑋 + 𝑋𝑋� 2
� 𝟐𝟐 = 𝒎𝒎𝟐𝟐 − 𝒎𝒎𝟐𝟐𝟏𝟏
= 𝑬𝑬 𝑿𝑿𝟐𝟐 − 𝑿𝑿
◦ 비틀림(skew)
�
𝝁𝝁𝟑𝟑 = 𝑬𝑬 𝑿𝑿 − 𝑿𝑿 𝟑𝟑
17
EXAMPLE 3.2-1
18
EXAMPLE 3.2-2
19
체비셰프 부등식(Chebychev’s inequality)
� 분산 𝜎𝜎𝑋𝑋2 인 랜덤 변수 𝑋𝑋에 대하여,
◦ 평균 𝑋𝑋,
◦ 임의의 수 𝜖𝜖 > 0에 대한 체비셰프 부등식
𝝈𝝈𝟐𝟐𝑿𝑿
� ≥ 𝝐𝝐 ≤
𝑷𝑷 𝑿𝑿 − 𝑿𝑿
𝝐𝝐𝟐𝟐
𝑋𝑋−𝜖𝜖 � ∞ ∞
𝑃𝑃 𝑋𝑋 − 𝑋𝑋� ≥ 𝜖𝜖 = ∫−∞ 𝑓𝑓𝑋𝑋 (𝑥𝑥) 𝑑𝑑𝑑𝑑 + ∫𝑋𝑋+𝜖𝜖
� 𝑓𝑓
𝑋𝑋 (𝑥𝑥) 𝑑𝑑𝑑𝑑 = ∫ 𝑓𝑓 (𝑥𝑥) 𝑑𝑑𝑑𝑑
𝑥𝑥−𝑋𝑋� ≥𝜖𝜖 𝑋𝑋
∞ ∞
𝜎𝜎𝑋𝑋2 = ∫−∞ 𝑥𝑥 − 𝑋𝑋� 2 𝑓𝑓𝑋𝑋 (𝑥𝑥) 𝑑𝑑𝑑𝑑 ≥ ∫ 𝑥𝑥−𝑋𝑋� ≥𝜖𝜖 𝑥𝑥 − 𝑋𝑋� 2 𝑓𝑓𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑
∞
≥ 𝜖𝜖 2 � 𝑓𝑓𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 = 𝜖𝜖𝜖𝜖{ 𝑥𝑥 − 𝑋𝑋� ≥ 𝜖𝜖}
𝑥𝑥−𝑋𝑋� ≥𝜖𝜖
20
EXAMPLE 3.2-3
21
3장. 단일 랜덤변수의 연산-기대값
22
특성 함수(characteristic function)
𝚽𝚽𝑿𝑿 𝝎𝝎 = 𝑬𝑬[𝒆𝒆𝒋𝒋𝒋𝒋𝒋𝒋 ]
𝑗𝑗 = −1; 𝜔𝜔~angle frequency, −∞ < 𝜔𝜔 < ∞
23
특성 함수(characteristic function)
𝚽𝚽𝑿𝑿 𝝎𝝎 = 𝑬𝑬[𝒆𝒆𝒋𝒋𝒋𝒋𝒋𝒋 ]
𝑗𝑗 = −1; 𝜔𝜔~angle frequency, −∞ < 𝜔𝜔 < ∞
𝜔𝜔의 부호만 바뀐 𝑓𝑓𝑋𝑋 (𝑥𝑥)의 푸리에 변환(Fourier transform)
∞ 1 ∞
Φ𝑋𝑋 𝜔𝜔 = ∫−∞ 𝑓𝑓𝑋𝑋 (𝑥𝑥) 𝑒𝑒 𝑗𝑗𝑗𝑗𝑗𝑗 𝑑𝑑𝑑𝑑 ↔𝑓𝑓𝑋𝑋 𝑥𝑥 = ∫ Φ 𝜔𝜔 𝑒𝑒 −𝑗𝑗𝑗𝑗𝑗𝑗 𝑑𝑑𝑑𝑑
2𝜋𝜋 −∞ 𝑋𝑋
24
EXAMPLE 3.3-1
25
모멘트 생성 함수(moment generating function)
∞
𝑴𝑴𝑿𝑿 𝝂𝝂 = 𝑬𝑬 𝒆𝒆𝝂𝝂𝝂𝝂 = � 𝒇𝒇𝑿𝑿 𝒙𝒙 𝒆𝒆𝝂𝝂𝝂𝝂 𝒅𝒅𝒅𝒅
−∞
𝜈𝜈는 실수, −∞ < 𝜔𝜔 < ∞
26
EXAMPLE 3.3-2
27
체르노프 부등식과 한계
◦ 랜덤변수 𝑋𝑋의 체르노프 부등식
∞
𝑃𝑃 𝑋𝑋 ≥ 𝑎𝑎 ≤ ∫−∞ 𝑓𝑓𝑋𝑋 𝑥𝑥 𝑒𝑒 𝜈𝜈 𝑥𝑥−𝑎𝑎
𝑑𝑑𝑑𝑑 = 𝑒𝑒 −𝜈𝜈𝜈𝜈 𝑀𝑀𝑋𝑋 𝜈𝜈
임의의 실수 𝜈𝜈 > 0과 𝑎𝑎
28
EXAMPLE 3.3-3
29
3장. 단일 랜덤변수의 연산-기대값
30
랜덤변수 𝑋𝑋를 다른 랜덤변수 𝑌𝑌로 변환하는 경우
◦ 𝑋𝑋에 대한 𝑓𝑓𝑋𝑋 (𝑥𝑥) 혹은 𝐹𝐹𝑋𝑋 (𝑥𝑥)를 알 때,
◦ 𝑌𝑌에 대한 𝑓𝑓𝑌𝑌 𝑦𝑦 혹은 𝐹𝐹𝑌𝑌 (𝑦𝑦)를 구하는 문제
◦ 𝑋𝑋는 이산, 연속, 또는 혼합 랜덤변수일 수 있음
◦ 𝑇𝑇는 선형, 비선형, 계단형 등이 될 수 있음
① 𝑿𝑿가 연속이고, 𝑻𝑻가 연속이며, 𝑋𝑋에 따라서 단조 증가 또는
감소하는 경우
② 𝑿𝑿가 연속이고, 𝑻𝑻가 연속이나 단조성이 아닌 경우
③ 𝑿𝑿가 이산이고, 𝑻𝑻가 연속인 경우
31
FIGURE 3.4-2
32
① 연속 랜덤함수의 단조 변환, 𝑇𝑇(⋅)
◦ 단조 증가(monotonically increasing) 변환
𝑥𝑥1 < 𝑥𝑥2 𝑇𝑇 𝑥𝑥1 < 𝑇𝑇(𝑥𝑥2 ), 𝑥𝑥1 과 𝑥𝑥2 는 임의의 실수
◦ 단조 감소(monotonically decreasing) 변환
𝑥𝑥1 < 𝑥𝑥2 𝑇𝑇 𝑥𝑥1 < 𝑇𝑇(𝑥𝑥2 ), 𝑥𝑥1 과 𝑥𝑥2 는 임의의 실수
33
① 연속 랜덤함수의 단조 변환, 𝑇𝑇(⋅) (계속)
◦ 단조 증가 변환
(가정) 𝑇𝑇는 𝑓𝑓𝑋𝑋 𝑥𝑥 ≠ 0인 모든 𝑥𝑥값에 대해 연속이며, 미분 가능
𝑌𝑌는 𝑥𝑥의 특정한 값 𝑥𝑥0 에 대응하는 특정한 값 𝑦𝑦0 를 가질 때
𝑦𝑦0 = 𝑇𝑇(𝑥𝑥0 ) 또는 𝑥𝑥0 = 𝑇𝑇 −1 𝑦𝑦0 ; 𝑇𝑇 −1 (⋅)은 𝑇𝑇(⋅)의 역변환
𝑋𝑋와 𝑌𝑌는 일대일 대응이므로 다음 관계가 성립함
𝐹𝐹𝑌𝑌 𝑦𝑦0 = 𝑃𝑃 𝑌𝑌 ≤ 𝑦𝑦0 = 𝑃𝑃 𝑋𝑋 ≤ 𝑥𝑥0 = 𝐹𝐹𝑋𝑋 (𝑥𝑥0 )
𝑦𝑦0 𝑥𝑥0 =𝑇𝑇 −1 (𝑦𝑦0 )
∫−∞ 𝑓𝑓𝑌𝑌 (𝑦𝑦) 𝑑𝑑𝑑𝑑 = ∫−∞ 𝑓𝑓𝑋𝑋 (𝑥𝑥) 𝑑𝑑𝑑𝑑
−1 𝑑𝑑𝑇𝑇 −1 (𝑦𝑦0 ) 라이프니쯔 규칙을 사용해 양 변을 𝑦𝑦0 에 관해 미분
𝑓𝑓𝑌𝑌 𝑦𝑦0 = 𝑓𝑓𝑋𝑋 𝑇𝑇 𝑦𝑦0
𝑑𝑑𝑦𝑦0
임의 𝑦𝑦0 에 대해 적용되므로 아래첨자 생략
𝑑𝑑𝑇𝑇 −1 (𝑦𝑦) 𝒅𝒅𝒅𝒅
𝒇𝒇𝒀𝒀 𝒚𝒚 = 𝑓𝑓𝑋𝑋 𝑇𝑇 −1 𝑦𝑦 = 𝒇𝒇𝑿𝑿 𝒙𝒙
𝑑𝑑𝑑𝑑 𝒅𝒅𝒅𝒅
34
① 연속 랜덤함수의 단조 변환, 𝑇𝑇(⋅) (계속)
◦ 단조 감소 변환
(가정) 𝑇𝑇는 𝑓𝑓𝑋𝑋 𝑥𝑥 ≠ 0인 모든 𝑥𝑥값에 대해 연속이며, 미분 가능
𝑋𝑋와 𝑌𝑌는 일대일 대응이므로 다음 관계가 성립함
−1 𝑑𝑑𝑇𝑇 −1 𝑦𝑦 𝒅𝒅𝒅𝒅
𝒇𝒇𝒀𝒀 𝒚𝒚 = 𝑓𝑓𝑋𝑋 𝑇𝑇 𝑦𝑦 − = 𝒇𝒇𝑿𝑿 𝒙𝒙 −
𝑑𝑑𝑑𝑑 𝒅𝒅𝒅𝒅
◦ 단조 변환
−𝟏𝟏
𝒅𝒅𝑻𝑻−𝟏𝟏 𝒚𝒚 𝒅𝒅𝒙𝒙
𝒇𝒇𝒀𝒀 𝒚𝒚 = 𝒇𝒇𝑿𝑿 𝑻𝑻 𝒚𝒚 = 𝒇𝒇𝑿𝑿 (𝒙𝒙)
𝒅𝒅𝒅𝒅 𝒅𝒅𝒚𝒚
35
EXAMPLE 3.4-1
36
FIGURE 3.4-3
37
② 연속 랜덤변수의 비단조 변환
◦ 사건 {𝑌𝑌 ≤ 𝑦𝑦0 }에 대응하는 𝑋𝑋 값이 구간이 하나 이상인
경우
◦ 사건 {𝑌𝑌 ≤ 𝑦𝑦0 }의 확률은 사건 {𝑥𝑥|𝑌𝑌 ≤ 𝑦𝑦0 }의 확률
◦ 𝐹𝐹𝑌𝑌 𝑦𝑦0 = 𝑃𝑃 𝑌𝑌 ≤ 𝑦𝑦0 = 𝑃𝑃 𝑥𝑥 𝑌𝑌 ≤ 𝑦𝑦0 = ∫{𝑥𝑥|𝑌𝑌≤𝑦𝑦 } 𝑓𝑓𝑋𝑋 (𝑥𝑥) 𝑑𝑑𝑑𝑑
0
𝒅𝒅
𝒇𝒇𝒀𝒀 𝒚𝒚𝟎𝟎 = � 𝒇𝒇𝑿𝑿 (𝒙𝒙) 𝒅𝒅𝒅𝒅
𝒅𝒅𝒚𝒚𝟎𝟎 {𝒙𝒙|𝒀𝒀≤𝒚𝒚𝟎𝟎 }
38
EXAMPLE 3.4-2
39
EXAMPLE 3.4-2 (continued)
40
FIGURE 3.4-4
41
③ 이산 랜덤변수의 변환
◦ 𝑋𝑋가 이산 랜덤변수이고, 𝑌𝑌 = 𝑇𝑇(𝑋𝑋)가 연속 변환인 경우
◦ 𝑓𝑓𝑋𝑋 𝑥𝑥 = ∑𝑛𝑛 𝑃𝑃 𝑥𝑥𝑛𝑛 𝛿𝛿(𝑥𝑥 − 𝑥𝑥𝑛𝑛 )
◦ 𝐹𝐹𝑋𝑋 𝑥𝑥 = ∑𝑛𝑛 𝑃𝑃 𝑥𝑥𝑛𝑛 𝑢𝑢(𝑥𝑥 − 𝑥𝑥𝑛𝑛 )
단조성(𝑋𝑋와 𝑌𝑌 간 일대일 대응) 𝑇𝑇(⋅)에 대하여
𝑓𝑓𝑌𝑌 𝑦𝑦 = ∑𝑛𝑛 𝑃𝑃 𝑦𝑦𝑛𝑛 𝛿𝛿(𝑦𝑦 − 𝑦𝑦𝑛𝑛 )
𝐹𝐹𝑌𝑌 𝑦𝑦 = ∑𝑛𝑛 𝑃𝑃 𝑦𝑦𝑛𝑛 𝑢𝑢(𝑦𝑦 − 𝑦𝑦𝑛𝑛 )
비단조성 𝑇𝑇(⋅)에 대하여, 𝑥𝑥𝑛𝑛 이 여러 𝑦𝑦𝑛𝑛 에 대응
𝑃𝑃(𝑦𝑦𝑛𝑛 )은 𝑦𝑦𝑛𝑛 = 𝑇𝑇(𝑥𝑥𝑛𝑛 )에서 구한 여러 개의 𝑥𝑥𝑛𝑛 에 대한 확률 값들을
합한 것과 같음
42
EXAMPLE 3.4-3
43
3장. 단일 랜덤변수의 연산-기대값
44
아는 분포를 갖는 𝑋𝑋를 원하는 분포를 갖는 𝑌𝑌로
변환(𝑇𝑇(⋅))하는 문제
시스템을 실제 구현하기 전에 잡음 등 확률적인 오차요소를
고려하여 성능을 추정하기 위해 컴퓨터를 사용한 모의실험을
수행하는 사례가 많음 모든 프로그래밍 언어에서 다양한
랜덤변수 생성을 위한 라이브러리를 갖고 있으나 모든
랜덤변수에 대응하지 않음 (0, 1)에서 균일 분포를 갖는
𝑋𝑋는 거의 대부분의 랜덤변수 관련 라이브러리에서 제공함
(가정)𝑇𝑇(𝑋𝑋)는 단조비감소함수(monotonically
nondecreasing function)
𝐹𝐹𝑌𝑌 𝑦𝑦 = 𝑇𝑇 𝑥𝑥 = 𝐹𝐹𝑋𝑋 𝑥𝑥
균일분포이므로 0 < 𝑥𝑥 < 1에서 𝐹𝐹𝑋𝑋 𝑥𝑥 = 𝑥𝑥
𝒚𝒚 = 𝑻𝑻 𝒙𝒙 = 𝑭𝑭−𝟏𝟏 (𝒙𝒙); 0 < 𝑥𝑥 < 1
45
EXAMPLE 3.5-1
46
EXAMPLE 3.5-2
47
EXAMPLE 3.5-3
48
FIGURE 3.5-1
49
FIGURE 3.5-2
50
FIGURE 3.5-3
51
3장. 단일 랜덤변수의 연산-기대값
52
기대값(expectation)은 일반적으로 랜덤변수나 랜덤변수의 함수에
대해 정의된다.
모멘트(moment)는 랜덤변수의 특성을 나타내는 중요한 척도이다.
이들 중 특별한 경우가 평균값(mean), 분산(variance),
비틀림(skew) 등이다.
모멘트를 구하기 위한 편리한 방법으로써 특성함수(characteristic
function)와 모멘트 생성함수(moment generating function)가
있다.
한 랜덤변수를 다른 변수로 변환할 수 있고, 새로운 랜덤변수의
분포함수와 밀도함수를 얻을 수 있다.
컴퓨터로 특정한 랜덤변수를 생성할 수 있다.
53