통신공학

제6장 확률변수와 랜덤 프로세스

 목표:
▷ 확률 변수, 베이즈 규칙, 중심 극한 정리, 가우시안 분포
▷ 랜덤 프로세스, 정상 프로세스, 에르고딕 프로세스
▷ 자기 상관, 전력 밀도 스펙트럼
▷ 백색 잡음

6.1 확률의 개념
용어
 불규칙 실험(Random Experiment) 또는 시행(Trial)
▷ 예: 주사위 던지기

 결과(Outcome), 1 ,  2 ,  3 ,  4 ,  5 ,  6
 표본공간(Sample Space), S

▷ 가능한 모든 결과의 집합, 예: 1~6까지 눈 S  1 ,  2 ,  3 ,  4 ,  5 ,  6 

 사건(Event), A

▷ 샘플 공간의 부분집합, 예: 짝수 눈이 나오는 경우 A   2 ,  4 ,  6 

사건의 연산
 두 사건의 합집합(Union of two events)
▷ 표기: A  B 또는 A  B
 두 사건의 교집합(Intersection of two events): 결합사건(joint event)
▷ 표기: AB 또는 A  B
 상호 배반 (mutually exclusive) 사건
▷ A와 B는 서로소 집합(disjoint set)

확률의 정의
 상대 도수(Relative Frequency)에 의한 정의 (frequency probability)
N(A) : 불규칙 실험을 n 번 독립 시행하여 특정 사건 A 가 나온 횟수
사건 A 의 상대 도수(relative frequency)
N ( A)
f ( A) 
n
사건 A 의 확률
N ( A)
P( A)  lim
n  n

1
 통신공학

 공리(Axiom)에 의한 정의 (axiomatic probability)

다음과 같은 확률의 공리(axioms of probability)를 만족하는 함수로 정의
(i) P( S )  1
(ii ) 0  P( A)  1
(iii ) If A and B are mutually exclusive, P( A  B)  P( A)  P( B)

참고:
 주관적 확률(subjective probability)
자신의 주장에 대한 자신감의 정도
그 여자애가 나를 사랑하게 될 확률은 99% 이상이야.
이번 선거에서 A후보가 이길 확률은 90% 이상이야.
 경험적 확률(empirical probability)
과거 실적에서 관심 있는 사건의 비율
오늘 서울 지역에 비올 확률은 80%입니다.
심장 발작을 겪은 사람들 중 3분의 1일 이로 인해 사망합니다.

확률의 성질
두 사건 A 또는 B 가 일어날 확률
P( A  B)  P( A  B)  P( A)  P(B)  P( AB)
A 와 B 가 배반사건인 경우
P( A or B)  P( A  B)  P( A)  P(B)
여사건의 확률

P( Ac )  1  P( A)

베이즈 규칙(Bayes’ rule)

 조건 확률(Conditional Probability)
P( AB)
P( B | A) 
P( A)
P( AB)
P( A | B) 
P( B)
P( AB)  P(B)P( A | B)  P( A)P(B | A)
 베이즈 규칙(Bayes’ rule)
P( A | B) P( B) P( B | A) P( A)
P( B | A)  , P( A | B) 
P( A) P( B)
 의미: 어떤 조건부 확률은 역 조건부 확률(reversed conditional probability)을 사
용하여 표현할 수 있다.

2
 통신공학

 전체 확률(Total Probability)

샘플 공간 S가 상호 배반인 { A1 , A2 , , AN } 사건의 합으로 A1

A5
A4

표현할 수 있다고 가정하자.

B
N
S   A n with Ai  A j   for all i  j
n 1 A3
A2

그러면 어떤 사건 B는 다음과 같이 표현할 수 있다.

N
B   (B  An )
n 1

사건 B의 확률은

N N
P( B)   P( B  A n )   P( B | A n ) P( A n )
n 1 n 1

 베이즈 규칙(Bayes’ Rule)

Bayes 법칙을 이용하여 다음을 얻을 수 있다.
P( B | A m ) P( A m ) P( B | A m ) P( A m )
P( A m | B)   N
 P( B | A n ) P( A n )
P( B)
n 1

이 식의 의미는 사건 B가 일어난 조건하에서 사건 Am 이 일어날 확률을 구하는데 있어

역 조건확률, 즉 사건 Am 이 일어난 조건하의 사건 B 의 확률들을 사용하여 표현할 수

있다는 것이다.

독립 사건 (Independent Event)
한 사건의 발생이 다른 사건의 발생 확률에 영향을 주지 않으면 두 사건은 서로 독립
(independent)이라 한다.
즉 다음을 만족하면 사건 B는 사건 A에 독립이다.
P(B | A)  P(B)
사건 B가 사건 A에 독립이면 사건 A는 사건 B에 독립이다. 즉
P( A | B)  P( A)
따라서 사건 A와 B가 서로 독립이면 다음 식이 성립한다.
P( AB)  P( A)P(B)
비교: 배반사건, A B    P( AB)  0

3
 통신공학

예제 6.1

두 개의 동전을 던지는 실험을 한다고 하자. 사건 A는 두 개의 동전 중 최소한 한 개가

앞면이 나오는 경우라 하고, 사건 B는 두 개가 모두 같은 면이 나오는 경우라고 하자.
(a) 사건 A와 사건 B의 확률을 구하라.
(b) P(A|B)와 P(B|A)를 구하라.
(c) 두 사건은 서로 독립인가?
풀이)
동전을 던져서 앞면이 나오면 H, 뒷면이 나오면 T로 표기하도록 하자.
S  {HH, HT, TH, TT}, A  {HH, HT, TH}, B  {HH, TT}
(a) P( A)  3 / 4, P(B)  2 / 4  1/ 2
(b)
P( AB) 1 / 4
P( B | A)    1/ 3
P( A) 3/ 4
P( AB) 1 / 4
P( A | B)    1/ 2
P( B) 2/4
(c) 1/ 4  P( AB)  P( A)  P(B)  3 / 4 1/ 2  3 / 8
따라서 독립적이지 않다.

예제 6.2 이진 디지털 통신 시스템

송신측에서 전송할 정보가 0인 사건을 A0로, 전송할 정보가 1인 사건을 A1으로 나타내고,
수신측에서 0으로 판단하는 사건을 B0로, 1로 판단하는 사건을 B1으로 나타내자. 송신측
에서 데이터가 0일 확률과 1일 확률이 각각 P ( A0 )  p0  0.8 과 P( A1 )  p1  1  p0  0.2 로 사
전에 주어졌다고 하자. 송신기에서 0을 전송하였는데 수신기가 1로 오판할 확률이 α=0.1
이며, 반대로 1을 전송하였는데 수신기가 0으로 오판할 확률도 동일하게 α=0.1이라고 가
정하자.
(a) 수신기의 오류 확률을 구하라.
(b) 수신측에서 신호를 1로 판단하였는데 실제로 송신측에서 1을 전송하였을 확률을 구
하라.
1
A0 B0



A1 B1
1

4
 통신공학

풀이)
주어진 통신 채널의 특성은 다음과 같이 조건부 확률로써 표현된다.
P( B1 | A0 )  P( B0 | A1 )    0.1
P( B0 | A0 )  P( B0 | A1 )  1    0.9
(a) 수신기의 오류 확률
P(error)  P( A0 B1 )  P( A1 B0 )  P( B1 | A0 ) P( A0 )  P( B0 | A1 ) P( A1 )
 p0  p1    0.1
P( B | A m ) P( A m ) P( B | A m ) P( A m )
(b) P( A m | B)   N
 P( B | A n ) P( A n )
P( B)
n 1

P( B1 | A1 ) P( A1 ) (1   ) p1 0.9  0.2
 P( A1 | B1 )     0.69
P( B1 | A1 ) P( A1 )  P( B1 | A0 ) P( A0 ) (1   ) p1  p0 0.9  0.2  0.1 0.8

만일 p0  p1  0.5 라면 P( A1 | B1 ) 1   가 되어 α의 함수가 된다.

Example: An urn contains 5 red, 12 green, and 8 yellow balls. Three are drawn without
replacement.

(a) What is the probability that a red, a green, and a yellow ball will be drawn?
E={rgy, ryg, gry, gyr, yrg, ygr}
P(rgy)=5/25×12/24×8/23, P(ryg)=5/25×8/24×12/23
All 6 outcomes have the same probability.
Therefore P(E)=6×5/25×12/24×8/23=24/115
(b) What is the probability that the last ball to be drawn will be green?
F={NNg, Ngg, gNg, ggg}
P(F)=13/25×12/24×12/23+13/25×12/24×11/23+12/25×13/24×11/23+12/25
×11/24×10/23=12/25
This is the probability of drawing a green on the first draw.
(c) Supposing that the drawing is with replacement, what is the probability that a red,
a green, and a yellow ball will be drawn?
P(E)=6×P(rgy)=6×5/25×12/25×8/25

Example: Determine whether events A and B are independent.

Dice tossing (1):

A={1,3,5}, B={2,4,6}
P[A]=1/2, P[B]=1/2, P[AB]=0  Not independent (If A has occurred, B never
happens.)

5
 통신공학

Dice tossing (2):

A={홀수}={1,3,5}, B={6의 약수}={1,2,3,6}
P[A]=1/2, P[B]=2/3, P[AB]=1/3  Independent!
Dice tossing (3):
A={3이하}={1,2,3}, B={6의 약수}={1,2,3,6}
P[A]=1/2, P[B]=2/3, P[AB]=1/2  Not independent!

몬티 홀 문제(Monty Hall problem)

몬티 홀 TV쇼 “Let’s Make a Deal”에서 제시된 문제. 문이 3개

가 있다. 그 중 하나의 문은 행운의 문으로 문 뒤에는 자동차가
있고, 나머지 두 문은 염소가 들어 있다. 출연자는 세 개의 문
중에서 하나를 선택하면 그 뒤에 물건을 가질 수 있다.
예를 들어 출연자가 1번 문을 선택했다고 생각하자. 각각의 문
뒤에 무엇이 있는지 미리 알고 있는 사회자 몬티 홀이 남은 2번,
3번 문 중에서 염소가 들어있는 문 하나를 열어 보인다(3번이라
고 가정하자).
그리고 나서 사회자는 출연자에게 “지금 2번 문으로 선택을 바꾸셔도 됩니다. 바꾸시겠
습니까?” 이렇게 묻는다. 이 상황에서 어떤 선택을 하는 것이 좋을까요?
참고: http://en.wikipedia.org/wiki/Monty_Hall_problem

풀이)
변경하는 것이 유리하며, 당첨 확률은 2/3로 증가한다.
최초 선택한 문이 1이라고 생각하자.
경우 차가 있는 문 사회자가 알려준 문 바꾸지 않을 경 바꿀 경우
우
1 1 2 또는 3 당첨 꽝
2 2 3 꽝 2번 선택 – 당첨
3 3 2 꽝 3번 선택 – 당첨

실제 사람들은 선택은 대부분 바꾸지 않는 것이었다.

출연자의 선택 바꾼다 안 바꾼다
당첨 만세 만세
꽝 아이고! 뭐, 할 수 없지 뭐
* 사람들의 선택을 지배하는 것은 당첨 확률이 아니라, 안 되었을 경우의 비난이나 자괴
감이다.

러시안 룰렛 게임

6
 통신공학

6개의 탄창 중에 총알을 1개가 아니라, 2개를 연달아 넣어 생존확

1
률을 4/6, 즉 2/3로 낮추고 게임을 시작하자. 당신의 상대방이 먼
6 2
저 발사한 후 ‘그대로’ 당신에게 총을 넘겨주었다. 그렇다면, 당신
5 3
은 이 총의 방아쇠를 그대로 당기겠는가? 아니면 다시 회전시킨 후
4
방아쇠를 당기겠는가?
풀이)
그대로 당기는 것이 유리하다. 생존확률은 3/4으로 증가한다.
1,2번에 총알이 들어 있다고 생각하자. 상대방이 살아남았다면, 상대방은 3~6 중의 하나
를 고른 것이다. 그러므로 방아쇠를 그대로 당길 때 상대방이 3~5를 골랐으면, 당신은
생존하고, 상대방이 6을 골랐으면 운이 없다. 그러므로 생존 확률은 3/4가 된다.

퀴즈영웅이 되려면?

예선을 통과한 최종 후보는 다음과 방식을 통과한 사람에게 퀴즈영웅 칭호를 준다.
문제 수는 500만원 문제 3개, 1000만원 문제 3개, 2000만원 문제 3개가 있다. 상금에 따
라 문제 난이도는 다르다. 상금이 많을수록 문제가 어렵다. 기회는 3번이 주어진다. 문제
를 3개 선택하여 맞힌 문제의 상금의 합이 2000만원이 넘어야 퀴즈영웅이 될 수 있다.
문제를 맞출 확률이 500만원 40%, 1000만원 20%, 2000만원 10%이라고 가정하자. 이
경우에 당신의 전략은 무엇인가?
① 500만원을 먼저 선택한 후, 실패하면 2000만원에 도전한다. 맞출 때는 500만원을 선
택하고, 이때 둘 다 맞추면 1000만원에 도전하고, 아니면 2000만원에 도전한다.
② 1000만원에 도전하고 처음 두 번에 실패하면 2000만원에 도전한다.
③ 2000만원에 3번 도전한다.
풀이)
각 경우에 대한 기대값은 다음과 같다.
①17%
500실패 x 2000성공 = 0.6x0.1=6%
500실패 x 2000실패 x 2000성공 = 0.6x0.9x0.1 = 5.4%
500성공 x 500성공 x 1000성공 = 0.4x0.4x0.2 = 3.2%
500성공 x 500실패 x 2000성공 = 0.4x0.6x0.1 = 2.4%
②11.04%
1000성공 x 1000성공 = 0.2x0.2=4%
1000성공 x 1000실패 x 2000성공 = 0.2x0.8x0.2 = 3.2%
1000실패 x 1000성공 x 1000성공 = 0.8x0.2x0.2 = 3.2%
1000실패 x 1000실패 x 2000성공 = 0.8x0.8x0.1 = 0.64%
③27.1%
2000성공 = 0.1 = 10%
2000실패 x 2000성공 = 0.9x0.1 = 9%

7
 통신공학

2000실패 x 2000실패 x 2000성공 = 0.9x0.9x0.1 = 8.1%

따라서 ③번 전략이 가장 좋다.
주: 실제로는 2000만원 문제를 맞출 확률에 따라 전략이 달라져야 한다. 2000만원 문제
를 맞출 확률이 3% 이하라면, 2번 전략이 가장 좋다.

동전 던지기

철수, 영희, 지훈이 모여서 동전 던지기를 했다. 10번을 계속 던졌는데 앞면이 9번, 뒷면
이 1번 나왔다. 11번째 던지기 전에 내기를 걸었다. 각자 앞뒤 면에 내기를 걸면서 이유
를 달았다. 가장 합리적인 주장은?
▷ 철수: 10번 동진을 던진다면 앞뒷면이 각각 대략 5번 정도씩 나와야 하는데,
지금까지 뒷면이 너무 나오지 않았어. 따라서 나는 뒷면에 1만원을 걸거야.
▷ 영희: 동전은 과거를 기억하지 못한다고. 그렇기 때문에 다시 한번 던지더라도
앞이나 뒤가 나올 확률은 여전히 반반이야. 나는 앞뒷면 아무것이나 선택할래.
▷ 지훈: 동전을 던져서 앞뒤 면이 나올 확률은 각각 2분의 1일이야. 그런데 그간
앞면이 지나치게 많이 나온 것으로 보아 이 동전은 분명히 앞면이 나올 경향이
매우 큰 이상한 동전이야. 그래서 다음에 던져도 앞면이 나올거야. 나는 앞면에
내기를 걸겠어.
풀이)
정상정인 동전(p=1/2)에서 동전을 10번 던져서 9번 이상 앞면이 나올 확률은

(10 C1  1) / 210  0.01 이다. 가설 검증 이론에 따라서 p=1/2 이라는 가정에서 정상인 동전

이 9번 이상 앞면이 나올 확률은 1%이므로, 이 동전은 정상적인 동전이 아닐 가능성이

높다. 그러므로 지훈의 주장이 가장 합리적이다.

수학동아 2009년 10월호

① 일본 토쿄과학대 미츠이 요시자와 교수, 2000년 일반인 725명, 11,567번 실제 실험

바위 35.0%, 보 33.3%, 가위, 31.7%
바위가 해부학적으로 에너지를 가장 적게 소모하고 가장 취하기 쉬운 손 모양이기 때문
연속해서 같은 손 모양을 내는 경우는 22.8%

② ‘페이스북’ 가위바위보 게임 ‘로샴불(Roshambull)’ 통계

바위 36%, 가위 34%, 보 31%
인터넷 클릭 방식이기 때문에 위 결과와 차이가 있음

③ 가위바위보협회 필승 전략
1) 초보자에게는 ‘보’를 내라.

8
 통신공학

2) 숙련자에게는 ‘가위’를 내라.

3) 상대방이 같은 모양을 두 번 연속 냈다면 세 번째 판에는 상대방이 냈던 모양에 지는
손 모양을 내라.
4) 자기가 낼 것을 미리 말한 뒤 똑같은 것을 내라.
5) 상대가 생각할 틈을 주지 마라.
6) 상대에게 한 가지 손 모양을 제시해 줘라.
7) 가위바위보가 정신 없이 계속 될 때는 ‘보’를 내라.

6.2 확률 변수 (Random Variable)

확률 변수(Random Variable)

확률변수는 샘플 공간에 속한 각 원소  i (i  1,2, ) 에 대하여 대응하는 실수 xi (i  1,2,) 를

매핑시키는 함수이다.

따라서 X ( i )  xi (i  1,2, ) 와 같은 관계를 가지며, 대문자로 표현된 X () 는 확률변수를 나

타내며 소문자로 표현된 x i 는 확률변수가 갖는 값을 나타낸다.

확률변수를 사용한 사건과 확률의 표현

A  {  S : X ( )  x}
P( X  x)  P( A)  P({  S : X ( )  x})

예:

주사위 던지기에서 나오는 눈의 순자를 확률 변수 X로 정하면, X=1,2,3,4,5,6 값을 가짐

동전 던지기 앞1, 뒤0

누적분포 함수(cumulative distribution function: cdf)

확률분포 함수(probability distribution function)
FX ( x)  P[ X  x]

FX ( x)
cdf의 성질
1
i ) 0  FX ( x )  1
ii ) FX ()  1
iii ) FX ()  0
x
iv ) FX ( x1 )  FX ( x 2 ) for x1  x 2 0

확률과의 관계
P( x1  X  x2 )  FX ( x2 )  FX ( x1 )

9
 통신공학

예제 6.3

주사위를 던져서 나온 눈의 개수를 확률변수의 값으로 취하는 실험을 고려하자. 이 확률

변수의 cdf를 구하라.

P( X  1)  P( X  2)   P( X  6)  1/ 6
x  1, FX ( x)  0
1  x  2, FX ( x)  P( X  x)  P( X  1)  1/ 6

6 6
1
 FX ( x)   P( X  i )u ( x  i )   u ( x  i )
i 1 i 1 6

FX ( x)

5
f X ( x)
6
4
6
3
6 1
2 6
6
1
6

x x
0 1 2 3 4 5 6 0 1 2 3 4 5 6

예: 주사위 2개 던져서 나오는 눈의 최대값 Z=max(X,Y)

Z 1 2 3 4 5 6
p 1/36 3/36 5/36 7/36 9/16 11/36

예: 원판 다트 던지기
 x2
P( R  x)   x2
x

 1
f X ( x)  2 x

확률밀도 함수(probability density function: pdf)

dFX ( x)
f X ( x) 
dx
확률밀도 함수의 성질

i) f X ( x)  0 0보다 같거나 크다.


ii)  f X ( x)dx  1 전체 면적은 1이다.


x
iii) P[ X  x]  FX ( x)   f X (ξ )dξ 적분하면 cdf가 된다.


10
 통신공학

FX ( x)
f X ( x)
1

x x
0 0

예제 6.4

어떤 확률변수 X의 pdf가 다음과 같이 주어진다고 하자.

f X ( x)  ae  b| x|
(a) 확률분포함수 FX ( x) 를 구하라.
(b) 상수 a와 b는 어떤 관계를 가지는가?
(c) 확률변수 X가 1과 2 사이의 값을 가질 확률을 구하라.
풀이)
(a) 확률분포함수
 a bx
 e , x0
b
FX  x    f X s ds  
x


 a (2  e bx ), x  0
b

 a 2a
(b) 전체 면적은 1:  f X  s  ds  (2  0)   1  b  2a
 b b
(c) 확률변수 X가 1과 2 사이의 값을 가질 확률
x2 1 b
P( x1  X  x 2 )   f X ( x)dx  FX (2)  FX (1)  (e  e  2 b )
x1 2

결합 cdf (joint cdf)와 결합 pdf (joint pdf)

결합 분포 함수(joint distribution function)
FZ ( z )  FX ,Y ( x, y )  P[ X  x, Y  y ]
결합 확률 밀도 함수(joint pdf)
 2 FX ,Y ( x, y)
f Z ( z )  f X ,Y ( x, y) 
xy

11
 통신공학

f X ( x)

면적  f X ( x)dx

x
0 dx

결합 pdf (joint pdf)의 성질

i) FX ,Y (, )  1
x 
ii ) FX ( x)    f X ,Y ( x, y )dydx
 

iii ) f X ( x)   f X ,Y ( x, y )dy


 두 확률변수 X와 Y가 서로 독립이라면
FX ,Y ( x, y)  P( X  x, Y  y)  P( X  x) P(Y  y)  FX ( x) FY ( y)
f X ,Y ( x, y)  f X ( x) f Y ( y)

1  (| x|| y|)
예제: f XY ( x, y )  e
a

(a) 서로 독립인가?
1 1 | x| 1 | y|
f XY ( x, y)  e(| x|| y|)  e e  f X ( x ) fY ( y )
a a a
 독립이다.
(b) 상수 a를 구하시오.
4
 f XY ( x, y )dxdy  1 
a
 a  4

(c) P(0  X  1, Y  0) 을 구하시오.

1 0 1
P(0  X  1, Y  0)   f X ( x)dx  fY ( y )dy  (1  e 1 )
0  4
(d) P(1  X  2) 을 구하시오.
2 1
P(1  X  2)   f X ( x)dx  (2  e1  e 2 )
1 2

12
 통신공학

6.3 통계적 평균(Statistical Averages)

평균값(mean value)

E[ X ]   X   xf X ( x)d x


이산 확률변수의 경우

E[ X ]   X   xk P[ X xk ]
k

확률변수의 함수인 Y=g(X)의 평균


E[Y ]  Y   yf Y ( y)d y


E[Y ]  Y   g ( x) f X ( x)d x


모멘트(moment)
확률변수 X의 n차 모멘트

E[ X n ]   x n f X ( x)d x


n  1 mean
n  2 mean square value
확률변수 X의 n차 중심 모멘트

E[( X   X )n ]    x  X  f X  x  dx
n


분산: n=2인 경우

 X2  E[( X   X )2 ]    x  X  f X  x  dx
2


 X2  E[ X 2 ]   X2

예제 6.6

확률변수 X의 평균과 분산을 각각  X 와  X2 라고 하자. 상수 a와 b에 대하여 Y=aX+b

로 표현되는 확률변수 Y의 평균과 분산을 구하라.

풀이)

Y  E[aX  b]  

 ax  b  f X  x  dx  a X  b
 Y2  E[(Y  Y )2 ]  E[(aX  b  a X  b) 2 ]
 E[a 2 ( X   X ) 2 ]
 a 2 X2

13
 통신공학

예제: 평균과 분산을 구하시오.

fX (x )
1

0 x
2 2

 1  /2
 X   xf X ( x)dx 
  /2
xdx  0


 1  /2 2 11 3 1 2
 X2  E[( X   X )2 ]   x 2 f X ( x)dx   x dx  x  /2
 /2  
   /2 3 12

결합 모멘트
 결합 모멘트(Joint Moment)
두 확률변수 X와 Y의 jk차 결합 모멘트
 
E[ X jY k ]    x j y k f X ,Y  x, y  dxdy
 

 상관(Correlation)
j = k = 1인 경우 E[XY]를 X와 Y의 상관(correlation)이라고 한다.
 
E[ XY ]    xyf X ,Y  x, y  dxdy
 

비교: 자기 상관

RXY ( )   x(t ) y* (t   )dt


특히 두 확률변수가 독립이라면
f X ,Y ( x, y)  f X ( x) fY ( y)
E[ XY ]  E[ X ]E[Y ]

 결합 중심 모멘트(Joint Central Moment)

두 확률변수 X와 Y의 jk차 joint central moment
 
E[( X   X ) j (Y  Y ) k ]    ( x   X ) j ( y  Y ) k f X ,Y  x, y  dxdy
 

 공분산(Covariance)
j = k = 1 인 경우, cov(X , Y )   XY  E[( X   X )(Y  Y )] 를 X와 Y의 공분산이라고 한다.
상관과의 관계

14
 통신공학

 XY  E[ XY ]   X Y
만일 두 확률변수가 독립이라면, E[ XY ]  E[ X ]E[Y ] 이므로

 XY  0

상관계수(Correlation Coefficient)
상관을 -1과 1사이 값으로 정규화한 값

 XY E[ X   X Y  Y ]
 
 X Y E[ X   X ]2 E[Y  Y ]2

두 확률변수가 독립적이라면, ρ= 0
두 확률변수가 완전히 종속되어 Y=aX 와 같은 관계를 가지는 경우
 XY a X2
  1
 X Y a 2 X2

상관계수의 범위
1    1

상관계수(Correlation Coefficient)
 상관계수가 0인 경우, 두 확률변수가 무상관(uncorrelated) 되었다고 한다.
 두 확률변수가 독립이면, 무상관이다.
 그러나 역은 반드시 성립하지는 않음
 즉 무상관 확률변수들의 joint pdf는 분리가능하지 않음
 특수한 경우: 가우시안 확률변수의 경우 무상관이면 독립이고, 독립이면 무상관

두 확률변수의 합 Z = X + Y
평균
Z  E[ X  Y ]  E[ X ]  E[Y ]   X  Y
분산
 Z2  E[( X  Y   X   Y ) 2 ]  E[{( X   X )  (Y   Y )}2 ]
 E[( X   X ) 2  (Y   Y ) 2  2( X   X )(Y   Y )]
  X2   Y2  2 XY
확률변수들이 서로 독립적이라면
 Z2   X2   Y2

15
 통신공학

분포 특성
FZ ( z )  P( Z  z )  P(  x  , y  z  x)
 zx
  f XY ( x, y )dydx
 
 zx
 dx  f XY ( x, y )dy
 

dFZ ( z ) 
f Z ( z)    f XY ( x, z  x)dx Superposition integral
dz 

두 확률변수가 서로 독립적이라면,
f XY ( x, z  x)  f X ( x) fY ( z  x)

f Z ( z )   f X ( x) fY ( z  x)dx Convolution integral


중심 극한 정리 (Central Limit Theorem)

확률변수 X 1 , X 2 , . . . ,X n 이 서로 독립적이면서 동일한(independent and identical; iid) 확률
밀도함수를 가진다고 가정하자. 그러면 Z  X 1  X 2   X n 의 확률밀도 함수는 X 의 확률
밀도 함수를 N 번 컨볼루션한 모양을 갖게 된다. 함수의 모양에 관계 없이 동일한 함수
를 계속 컨볼루션 하게 되면 그 결과는 가우시안 pdf (종 모양)에 근접하게 된다.

동전던지기

n번 동전을 던져서 k번 앞면이 나올 확률

P[kH]=nCk / 2n  이항분포(Binomial distribution)
nCk=n!/(k!(n-k)!)

Saint-Petersburg Paradox

여기 동전던지기가 있다. 동전던지기의 앞면과 뒷면이 나올 확률은 각각 1/2이다. 가령

동전의 앞면이 나오면 2원을 받고, 뒷면이 나오면 계속 던진다. 두번째에 앞면이 나오면
4원을 받고 경기가 끝난다. 즉, N번째에 처음 앞면이 나올 확률은 1/2^n이 되고, 받는 돈
은 2^n (2의 n승)이 된다. 결국 이 놀이의 수학적 기대값은 무한대가 된다.
1 1 1
E[ X ]  2   4  8   
2 4 8
만약 당신이 이 놀이에 참여한다면 어느 정도의 참가비를 지급하겠는가?

16
 통신공학

기대값에 근접하려면 무한대의 시간이 필요하다.

랜덤워크(Random walk)

 술 취한 사람의 발걸음. 브라운 운동(기체 분자의 확산), 주가, 동물 움직임 모델링

에 활용.
 주식 투자에서 아무 종목이나 막 찍어도 수익률에서 손해 볼 일이 없다. 1970년대
미국 증시에서는 다트게임(화살던지기)으로 선정된 포트폴리오가 시장 평균보다 10%
이상 높았다. 지난해에는 월스트리트저널 주관으로 원숭이, 펀드매니저, 아마추어
투자자가 수익률게임을 벌였는데 원숭이가 1등을 했다. 올해에도 영국에서 5세난
어린이와 증권전문가 점성술사의 수익률 게임이 있었는데 주식과 막대사탕도 잘 구
분 못하는 어린이가 압도적인 수익률로 1위를 차지했다.

랜덤워크(Random walk) 확률 분포

 초기에 0에 있다. 동전을 던져서 앞면이 나오면 우로 1만큼 움직이고, 뒷면이 나오

면 좌로 1만큼 움직일 때, 시간 n에서의 분포는?
풀이)
x=1인 확률이 1/2, x=-1의 확률이 1/2인 랜덤변수 X k 를 생각하자.
1/ 2 x  1
f X k ( x)  
1/ 2, x  1
시간 n에서의 위치는 독립인 랜덤변수 X k , k=1,…,n의 합이므로, pdf는 콘볼류션으로 주어
진다.
n
Zn   X k
k 1

f Z n ( x )  f X1 ( x ) * f X 2 ( x ) * * f X n ( x )
따라서, 시간 n에서는 이항분포를 가지며, n∞이면 중심극한 정리에 의하여 가우시안
분포를 갖게 된다.

1차원 랜덤 워크 2차원 랜덤 워크

17
 통신공학

6.4 주요 확률분포
가우시안 분포(Gaussian distribution)
평균이 μ이고 분산이 σ2인 가우시안 확률변수의 pdf

  x  X  
 2
1 
fX  x  exp  
2 X  2 X 
2
 
f X ( x)

x
0 

Q 함수(Q Function)
정규분포: 평균이 0이고 분산이 1인 가우시안 확률변수의 pdf

N (0,1):  X  0,  X2  1
1  x2 
f X ( x)  exp   
2π  2 

cdf

x 1 x
FX ( x)   f X (s)ds   exp(s 2 / 2)ds

2 

Q 함수

1 
Q  x   exp( s 2 / 2)ds
2 x

Q 함수의 성질

Q  x   P ( X  x)  1  FX ( x)
Q (0)  0.5
Q( x)  1  Q( x)

에러 함수 (Error Function)
Error Function

18
 통신공학

2
erf  x  
x

 
0
exp( s 2 )ds

Complementary Error Function

2 
erfc  x   1  erf ( x)   exp(s 2 )ds
 x

Complementary error function과 Q function과의 관계

erfc  x   2Q( 2 x)

19