Chuong 4 - TTNT - Lap Luan Xap Xi Va Suy Dien Xac Suat

Chương 4
SUY DIỄN XÁC SUẤT
1
Nội dung
1. Vấn đề thông tin không chắc chắn khi suy diễn

và giải quyết vấn đề,
2. Quy tắc bayes và các khái niệm xác suất liên
quan,
3. Mạng Bayes và biểu diễn diễn bài toán,
4. Các phương pháp suy diễn trên mạng Bayes
5. Ứng dụng suy diễn xác suất cho bài toán cụ thể
2
Vấn đề thông tin không chắc
chắn khi suy diễn
 Các bài toán thực tế thường không có đủ thông tin:
 Do thông tin có chứa đựng yếu tố ngẫu nhiên, yếu tố
xác suất
 Trò chơi dựa vào xác suất như tung xúc xắc
 Do không có hiểu biết đầy đủ về vấn đề đang xét
 Dự báo thời tiết
 Do số các yếu tố liên quan đến quá lớn, không thể xem
xét hết.
 Lấy mẫu trong điều tra xã hội
 Do sai số khi ta lấy thông tin từ môi trường
 Sai số từ thiết bị đo
3
Vấn đề thông tin không chắc
chắn khi suy diễn
 Có nhiều phương pháp giải quyết vấn đề cho trường hợp
bài toán không có đủ thông tin:
 Cách tiếp cận dựa trên logic đa trị:
 Ngoài kết luận “đúng”, “sai” thì có thể “không đúng
không sai”
 Logic mờ (fuzzy logic):
 Kết luận “đúng” có mực độ. Ví dụ: đúng mức [0, 1]
 Lý thuyết khả năng (possibility theory):
 Các sự kiện/công thức được gán một số thể hiện
khả năng xảy ra sự kiện đó
 Suy diễn xác suất:
 Kết luận xác suất của “đúng” hoặc “sai”
4
Quy tắc bayes và các khái
niệm xác suất liên quan
 Nguyên tắc suy diễn xác suất:
 Kết luận “đúng”, “sai” dựa trên độ tin cậy – tính bằng
xác suất.
 Có thể có nhiều giá trị kết luận
 Ví dụ:
 P (Cảm = true) = 0.6: người bệnh bị cảm vì xác suất
60%, “Cảm” là biến ngẫu nhiên có thể nhận 1 trong
2 giá trị {True, False}
 P (trời = nắng ^ gió = mạnh) = 0.8: ta tin rằng trời
nắng và gió mạnh vì xác suất 80%, trời là biến ngẫu
nhiên nhận các giá trị {nắng, mưa, u ám}, gió là biến
ngễu nhiên nhận giá trị {mạnh, yếu, trung bình}.
5
 Bản chất xác suất sử dụng trong suy diễn:
 Bản chất thống kê:
 Giá trị xác suất được xác định dựa trên quan sát,
thực nghiệm, thống kê.
 Xác suất dựa trên chủ quan:
 Khi không thể xác định giá trị xác suất bằng thống
kê, xác suất có thể xác định một cách chủ quan,
dựa trên niềm tin của chuyên gia, của người dùng
về sự đúng, sai của các sự kiện
6
 Thu thập và biểu diễn thông tin cho suy diễn xác suất:
 Xác định các tham số liên quan tới vấn đề. Mỗi tham số
được biểu diễn bằng một biến ngẫu nhiên
 Xác định mien giá trị cho các biến ngẫu nhiên
 Mỗi biến ngẫu nhiên có thể nhận một giá trị rời rạc
trong miên giá trị của mình.
 Các giá trị có thể là định tính:
• Đẹp/xấu, nặng/nhẹ
 Hoặc định lượng
• 1.5, 2.2, 100
 Xác định xác suất ứng với sự kiện biến nhận giá trị nào
đó.
 Ví dụ: P(chán ăn) = 0.9, P(đau đầu = dữ dội) = 0.15.
7
 Các khái niệm về xác suất:
 Các ký tiên đề xác suất:
 0  P(A = a)  1,  giá trị thuộc miền xác định của A
 P(true) = 1; P(false) = 0.
 P(A  B) = P(A) + P(B) nếu A và B loại trừ tương hỗ
 Các tính chất
 P(~A) = 1 – P(A), ~A  A
 P(A) = P(A  B) + P(A  ~B)
 P(A  B) = P(A) + P(B) – P(A  B)
 aP(A = a) = 1, tổng lấy theo các giá trị a  miền giá
trị của A 8
 Các ký hiệu xác suất:
 Pr (probability): xác suất
 Pr(X): xác suất mệnh đề X đúng
 Pr(¬X): xác suất mệnh đề X sai
 Pr(X Y) hoặc Pr(X, Y): xác suất cả hai mệnh đề X
và Y đều đúng
 Pr(X Y): xác suất mệnh đề X hoặc mệnh đề Y là
đúng
9
 Các tính chất cơ bản:
 Mệnh đề chắc chắn có xác suất là 1, mệnh đề
không thoả được có xác suất là 0.
 Pr(X Y) = Pr(X) + Pr(Y) – Pr(X Y).
 Pr (¬X) = 1 – Pr(X)
Chúng minh: Pr(X ¬X) = Pr(X) + Pr(¬X) – Pr(X ¬X) =>
Pr (¬X) = 1 – Pr(X)
 Xác suất có điều kiện: Xác suất có điều kiện của X
khi cho trước Y được ký hiệu là Pr(X|Y).
 Ta có: Pr(X,Y) = Pr(X|Y) Pr(Y)
10
 Biến ngẫu nhiên và phân phối xác suất:
 Biến ngẫu nhiên là một biến nhận giá trị một cách
ngẫu nhiên từ một tập các giá trị.
 Tập giá trị của biến ngẫu nhiên được gọi là miền giá
trị (hay không gian mẫu) của biến ngẫu nhiên.
 Gọi X là biến ngẫu nhiên với miền giá trị Ω và x Ω.
Mệnh đề “X = x”:
 Gọi là mệnh đề phân tử.
 Ngữ nghĩa: “biến X nhận giá trị x”.
11
 Phân phối xác suất của X là hàm Pr(X):
 Xác định trên miền giá trị Ω,
 Ứng với mỗi x Ω với xác suất Pr(X = x).
 Hàm Pr(X) cần thoả mãn điều kiện:
12
 Phân phối xác suất của X là hàm Pr(X)
 Ví dụ: Phân phối xác suất của biến ngẫu nhiên
Weather Ω = (sunny, Rain, Cloudy) cho trong bảng
sau
Weather Pr(Weather)
Sunny 0,6
Rain 0,3
Cloudy 0,1
13
 Phân phối xác suất có điều kiện:
 Gọi X và Y là hai biến ngẫu nhiên với miền giá trị
tương ứng là ΩX và ΩY. Phân phối xác suất có điều
kiện của X khi đã cho giá trị của Y là hàm Pr(X|Y):
 Ứng mỗi cặp giá trị x ΩX và y ΩY với xác suất
có điều kiện Pr(X = x|Y =y).
 Hàm Pr(X|Y) cần thoả mãn điều kiện:
14
 Phân phối xác suất có điều kiện:
 Ví dụ: Phân phối xác suất Pr (X|Y) với
ΩX = ΩY = {true, false} được cho trong bảng sau:
X = true X = false
Y=true Pr (X|Y=true) 0,8 0,2
Y=false Pr (X|Y=false) 0,3 0,7
 Tổng của tất cả các số trong một dòng cần bằng 1
15
 Phân phối xác suất kết hợp:
 Xét một tập biến ngẫu nhiên {X1, X2, …, Xn} với Xi
nhận giá trị trong miền giá trị Ωi (i = 1, …, n) tương
ứng.
 Gọi xi (i = 1, …, n) là một giá trị thuộc Ωi,
 Xác suất của mệnh đề (X1= x1) (X2= x2) … (Xn=
xn) ký hiệu là
Pr(X1 = x1, X2 = x2, …, Xn = xn).
16
 Phân phối xác suất kết hợp của tập {X1, …, Xn} là
hàm Pr(X1, X2, …, Xn):
 Ứng mỗi mệnh đề (X1= x1) (X2= x2) … (Xn=
xn) với xác suất Pr(X1= x1, X2= x2,…, Xn= xn).
Hàm Pr(X1, X2, …, Xn) cần thoả mãn điều kiện
sau:
17
 Ví dụ: Gọi X và Y là hai biến ngẫu nhiên boolean.
Phân phối xác suất kết hợp Pr(X,Y) được cho trong
bảng sau: X = true X = false
Y = true 0,1 0,2
Y = false 0,3 0,4
 Tổng của tất cả các số trong bảng phân phối xác

suất kết hợp cần bằng 1
 Nếu X nhận giá trị là vectơ (x1, …, xn), với xi Ωi, thì
phân phối xác suất kết hợp Pr(X1, …, Xn) chính là
phân phối xác suất của X
18
 Các khái niệm về xác suất: Các công thức tính xác suất
 Tập luật con:
 Nếu biết phân phối xác suất kết hợp Pr(X1,…,Xn)
của tập biến ngẫu nhiên {X1, …, Xn}, ta có thể tính
được phân phối xác suất kết hợp của một tổ hợp bất
kỳ của các biến {X1, …,Xn}
19
 Ví dụ: Cho phân phối xác suất Pr (X,Y,Z), trong đó
X, Y, Z là các biến thuộc các miền giá trị ΩX, ΩY, ΩZ
tương ứng.
 Phân phối xác suất kết hợp của hai biến Pr(X,Y)
được xác định bởi:
 Phân phối xác suất của một biến Pr(X) được xác
định bởi:
20
 Ví dụ: Gọi X và Y là hai biến ngẫu nhiên boolean và
phân phối xác suất kết hợp Pr(X,Y) được cho trong
bảng sau: Y = true Y = false
X = true 0,1 0,2
X = false 0,3 0,4
 Tính phân phối xác suất của X là Pr(X) và phân phối

xác suất của Y là Pr(Y) cho kết quả như sau
X Pr(X) Y Pr(Y)
true 0,3 True 0,4
false 0,7 False 0,6
21
 Luật tổng:
 Từ các công thức:
 Ta suy ra luật tổng:
22
 Luật tích:
Pr(Y,Z) = Pr(Y|Z) Pr(Z)
Pr(X,Y,Z) = Pr(X|Y,Z) Pr(Y,Z)
 Ta suy ra luật:
Pr(X,Y,Z) = Pr(X|Y,Z) Pr(Y|Z) Pr(Z)
 Tổng quát:
Pr(X1, X2, …, Xn) =
Pr(X1|X2, …, Xn) Pr(X2|X3, …, Xn) …Pr(Xn-1|Xn) Pr(Xn)
23
 Luật tích:
Pr(Y,Z) = Pr(Y|Z) Pr(Z)
Pr(X,Y,Z) = Pr(X|Y,Z) Pr(Y,Z)
 Ta suy ra luật:
Pr(X,Y,Z) = Pr(X|Y,Z) Pr(Y|Z) Pr(Z)
 Tổng quát:
Pr(X1, X2, …, Xn) =
Pr(X1|X2, …, Xn) Pr(X2|X3, …, Xn) …Pr(Xn-1|Xn) Pr(Xn)
24
 Công thức Bayes:
 Theo công thức tính xác suất có điều kiện ta có:
 Mặt khác, Pr(X,Y) = Pr(Y|X) Pr(X) => công thức

Bayes:
 Để tính Pr(X|Y) theo công thức Bayes, ta chỉ cần biết

Pr(Y|X) và Pr(X), vì nếu biết các xác suất này thì theo
luật tổng sẽ tính được Pr(Y)
25
 Công thức Bayes:
 Ví dụ: Giả sử xác suất một bệnh nhân sâu răng
(cavity) bị đau răng (toothache) là 0,65 =>
Pr(Toothache|Cavity) = 0,65 và xác suất của một
người sâu răng 0,05 => Pr(Cavity) = 0,05 và xác suất
của một người đau răng là 0,04 => Pr(Toothache) =
0,04. Cần tính xác suất để một người đau răng bị sâu
răng. Theo công thức Bayes:
 xác suất để một người

đau răng bị sâu răng là 0,81 26
 Sự độc lập có điều kiện của các biến ngẫu nhiên
 Biến X gọi là độc lập với biến Y nếu:
Pr(X|Y) = Pr(X)
 Biến X gọi là độc lập có điều kiện với biến Y khi cho
trước Z, nếu:
Pr(X|Y,Z) = Pr(X|Z)
 Nếu X độc lập có điều kiện với Y khi cho trước Z. Ta có
công thức:
Pr(X,Y,Z) = Pr(X|Z) Pr(Y|Z) Pr(Z)
27
Mạng Bayes
và biểu diễn diễn bài toán
 Định nghĩa:
 Mạng xác suất là một đồ thị có hướng, không có chu
trình và thoả mãn các điều kiện sau:
 Các đỉnh của đồ thị là các biến ngẫu nhiên.
 Mỗi cung từ đỉnh X đến đỉnh Y biểu diễn Y phụ thuộc
trực tiếp vào X, X gọi là đỉnh cha của Y.
 Nếu X1, …, Xn là các đỉnh cha của đỉnh Y thì đỉnh Y
cần biết Pr(Y|X1, …, Xn).
 Nếu Y không có cha thì đỉnh Y cần biết Pr(Y)
28
Mạng Bayes
 Ví dụ:
 Nhà bạn có lắp đặt hệ thống báo động trộm. Nó sẽ kêu
khi phát hiện ra trộm hoặc khi có động đất nhẹ. Khi bạn
đi làm, bạn dặn hai người hàng xóm là Lan và Mai hãy
gọi cho bạn nếu nghe thấy chuông báo trộm kêu. Lan đôi
khi nhầm lẫn chuông điện thoại với chuông báo trộm và
cũng gọi cho bạn. Mai thì hay nghe nhạc to nên đôi khi
không nghe thấy chuông báo trộm.
29
Mạng Bayes
 Ví dụ:
Đặt:
B: “có trộm”
E: “có động đất nhẹ” B E
A: “chuông báo trộm kêu”

L: “Lan gọi cho bạn” A
M: “Mai gọi cho bạn”

Ta có mạng xác suất báo động M L
trộm như hình bên.
 Còn vô số nguyên nhân làm cho chuông báo kêu/không

 Còn nhiều nguyên nhân làm cho Lan và Mai gọi hoặc
không gọi cho bạn
30
Mạng Bayes
 Ví dụ:
Bảng phân phối xác suất giả sử như sau:
31
Các phương pháp suy diễn
trên mạng Bayes
 Cho một tập các biến đã biết giá trị E (tập các biến bằng
chứng) ta cần tính phân phối xác suất có điều kiện của một
biến X (biến hỏi) nào đó, nghĩa là tính Pr(X|E).
 Có hai dạng lập luận:
 Lập luận chẩn đoán: các biến bằng chứng là hậu thế
của biến hỏi.
Ví dụ: Lan gọi cho bạn, tính khả năng có trộm. Ta có biến
bằng chứng là L, biến hỏi là B và B->A->L. Cần tính Pr(B|L)
= 0,016.
 Lập luận tiên đoán: các biến bằng chứng là tiền thân
của biến hỏi.
Ví dụ: biết có trộm, tính khả năng Lan hoặc Mai gọi điện
cho bạn. Ta có biến bằng chứng là B, các biến hỏi là L và
M. Cần tính Pr(L|B) = 0,86 và Pr(M|B) = 0,67. 32
Ứng dụng suy diễn xác suất
cho bài toán cụ thể
 Mạng Bayesian (dạng đơn giản là Naïve Bayes).
P( X | H ) P( H )
P( H | X ) 
P( X )
 Trong đó: P(H), P(X|H), P(H) có thể được tính từ tập
dữ liệu cho trước,
 P(H|X) được tính từ định lý Bayes.
33
 Mạng Bayesian (dạng đơn giản là Naïve Bayes).
n
classify ( f1 ,..., f n )  arg max c P (C  c) P ( Fi  f i | C  c)
i 1
 f1, f2 … fn: các mẫu cần phân lớp
34
Dữ liệu huấn luyện:
Cook Mood Cuisine Tasty
------------------------------------------------------------
Sita Bad Indian Yes
Sita Good Continental Yes
Asha Bad Indian No
Asha Good Indian Yes
Usha Bad Indian Yes
Usha Bad Continental No
Asha Bad Continental No
Asha Bad Continental Yes
Usha Good Indian Yes
Usha Good Continental No
Phân lớp mẫu: Cook = Sita, Mood = Bad, Cuisine = Continental vào một
trong35hai lớp: Tasty = yes or Tasty = no.
Có 6 mẫu Tasty = yes và 4 mẫu Tasty = no. Vì vậy:
P(Tasty = yes) = 6/10 = 0.6.
P(Tasty = no) = 4/10 = 0.4.
Có 2 mẫu Cook = Sita mà Tasty = yes và 0 mẫu Cook
= Sita mà Tasty = no. Vì vậy:
P(Cook = Sita | Tasty = yes) = 2/6 = 0.33
P(Cook = Sita | Tasty = no) = 0
Do xác suất cuối cùng là tích của các xác suất
thành phần nên phải thay giá trị 0 của xác suất thành
phần bằng một giá trị rất nhỏ, ví dụ: 0.01
36
Có 2 mẫu Mood = Bad mà Tasty = yes và Mood = Bad
mà Tasty = no. Vì vậy:
P(Mood = Bad | Tasty = yes) = 3/6 = 0.5
P(Mood = Bad | Tasty = no) = 3/4 = 0.75
Có 2 mẫu mà Cuisine = Continental mà Tasty = yes
và 3 mẫu mà Cuisine = Continental và Tasty = no. Vì
vậy:
P(Cuisine = Continental | Tasty = yes) = 2/6 = 0.33
P(Cuisine = Continental | Tasty = no) = 3/4 = 0.75
37
Ta có:
P(Tasty = yes | X) = 0.6  0.33  0.5  0.33 = 0.03267
P(Tasty = no | X) = 0.4  0.01  0.75  0.075 =
0.00225
Như vậy mẫu thử được phân vào lớp Tasty = yes vì
P(Tasty = yes| X) > P(Tasty = no| X).
38

Chuong 4 - TTNT - Lap Luan Xap Xi Va Suy Dien Xac Suat

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Chuong 4 - TTNT - Lap Luan Xap Xi Va Suy Dien Xac Suat

Uploaded by

Copyright:

Available Formats

Chương 4

SUY DIỄN XÁC SUẤT

1. Vấn đề thông tin không chắc chắn khi suy diễn

 Tổng của tất cả các số trong một dòng cần bằng 1

 Tổng của tất cả các số trong bảng phân phối xác

 Tính phân phối xác suất của X là Pr(X) và phân phối

 Ta suy ra luật tổng:

 Mặt khác, Pr(X,Y) = Pr(Y|X) Pr(X) => công thức

 Để tính Pr(X|Y) theo công thức Bayes, ta chỉ cần biết

 xác suất để một người

A: “chuông báo trộm kêu”

M: “Mai gọi cho bạn”

trộm như hình bên.

 Còn vô số nguyên nhân làm cho chuông báo kêu/không

 f1, f2 … fn: các mẫu cần phân lớp

You might also like