CHƯƠNG 1-2

Bài 1: Giả sử 52 quân bài tạo thành nguồn tin rời rạc:

a.      Tính entropy 1 quân đc rút ngẫu nhiên( có xét chất)

b.     Xét tập X = {A, 2, 3, 4, 5, 6, 7, 8, 9, 10, J, Q, K}. (không xét chất). Tính Entropy của
một lá bài được rút ngẫu nhiên trong trường hợp này

c.      Tính Entropy trong trường hợp X = {bài có hình, bài không có hình}.

BÀI LÀM

a. TH rút ngẫu nhiên 1 quân bài có xét cả chất thì xác suất là p(xi) = 1/52

 b. X= {A,2,3,4,5,6,7,8,9,10,J,Q,K}

Vì k xét chất nên xác suất rút ngẫu nhiên 1 quân là 4/52=1/13

c. X= {bài có hình, bài không có hình}

Gọi xh là tin quân bài có hình (J,Q,K) thì  

Gọi Xoh là tin quân bài 0 có hình (A,2,3,4,5,6,7,8,9,10) thì 

  

Bài 2:    Cộng ngang dọc của bảng

    ½  ¼  ⅛    ⅛
a. H(X), H(Y).

H(X)= =H(½,¼,⅛,⅛)

=- 1/2log1/2  - 1/4log1/4  - 1/8log1/8 - 1/8log1/8

=-1/2log2(½) -1/4log2(¼ ) -1/8log2(⅛ ) -1/8log2(⅛ )

=½+½+⅜+⅜ =7/4 bit

H(Y) tương tự H(X) suy ra H(Y)=2bit

         b.   H(X | Y), H(Y | X).

H(X | Y)= =1/4H(½,¼,⅛,⅛)+1/4H(¼ ,½ ,⅛,⅛)+ 

1/4H(¼ ,¼ ,¼ ,¼ )+1/4H(1,0,0,0)=11/8bit
 tương tự ta có H(Y | X)=1/2H(¼ ,⅛ ,⅛ ,½ )+1/4H(¼ ,½ ,¼ ,0)+
1/8H(¼ ,¼ ,½ ,0)+1/8H(¼ ,¼ ,½ ,0)=13/8bit
         c. H(X,Y).

= =7/4 + 13/8 =27/8bit

         d. H(X) − H(X|Y), H(Y) − H(Y|X), H(X) + H(Y) − H(X,Y), H(X,Y) − H(X | Y) − H(Y |
X), I(X; Y) Những kết quả này cho thấy điều gì

I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)=H(X,Y)−H(X|Y)−H(Y|X)=H(X)+H(Y)− 
H(X,Y)=3/8bit

   e.  Vẽ biểu đồ Venn   

                               

Bài 3: Nếu cho tôi biết chuyên ngành của một sinh viên thì tôi có thể dự đoán được sinh viên đó
thích trò chơi trên máy tính hay không.

         Tính: a) H(X), H(Y).

                     b) H(Y|X=Toán học), H(Y|X=Lịch sử), H(Y|X=Vật lý)

                     c) H(Y|X)

Bài làm

a. H(X) = -0,5log0,5 - 0,25log0,25 = 1,5 bits

H(Y) = -0,5log0,5 - 0,5log0,5 = 1 bits 

b. Ta có p(Y=có | X= toán) = 0,25/0,5 = 0,5

Ta có p(Y=không | X= toán) = 0,25/0,5 = 0,5

H(Y|X= toán) = -0,5log0,5 - 0,5log0,5 = 1 bit 

 Ta có p(Y=có | X= sử) = 0/0,25 = 0

Ta có p(Y=không | X= sử ) = 0,25/0,25 = 1 

H(Y|X= sử ) = -0log0 - 1 log1  = 0  bit

Ta có p(Y=có | X= lý ) =  0,25/0,25 = 1

Ta có p(Y=không | X= lý)  = 0/0,25 = 00

H(Y|X= lý ) = -0log0 - 1 log1  = 0  bit

c.

Bài 4: Có 2 hộp. mỗi hộp 20 bút. Hộp 1 có 10 bút trắng, 5 đen, 5 đỏ. Hộp 2 có 8 trắng, 8 đen, 4
đỏ. Lấy hú họa 1 bút. Hỏi phép thử nào có độ bất định lớn hơn.

 Gọi A là phép thử lấy 1 bút chì từ hộp thứ 1 

       B là phép thử lấy 2 bút chì từ hộp thứ 2

ta có 

Bài 5: 1% dân số là sinh viên. Trong đó 50% là nam. Số nam thanh niên trong thành phố là 32%.
Giả sử ta gặp một nam thanh niên. Hãy tính lượng thông tin chứa trong tin khi biết rằng đó là
một sinh viên.
 Bài làm

Thành phố có 1% dân số là sinh viên ta được P(x)=0,01

Trong số sinh viên  có 50% nam thanh niên ta được P(x)=0,5

Trong thành phố có 32% nam thanh niên ta được P(y)=0,32

Gặp  1 nam thanh niên trong đó là 1 nam sinh viên 

 X là sự kiện sinh viên

 Y là sự kiện gặp 1 nam thanh niên 

I(X/Y) = - log P(x/y)             P(y) = 0,32

P(x)=0,01                 P(y/x) = 0,5

ta có P(x,y) = P(x).P(y/x) = P(y).P(x/y)

⇔  0,01.0,5=0,32.P(x/y)

⇔ P(x/y)=(0,01 . 0,5)/0,32 = 1/64

lượng thông tin cần tìm là:

I(X/Y) = - log P(x/y)=-log(1/64)=6 ( bit)

                                          

Bài 6: Cho X là một BNN rời rạc và g(X) là một hàm của X. Chứng minh rằng H(g(X)) ≤ H(X).

Bài 7: Chứng minh rằng

         a) Hàm x 2 là hàm lồi (convex).

         b) Hàm x là hàm lõm (concave) với x ≥ 0