Xác suất thống kê 1 - Các khái niệm cơ

bản
Oct 18, 2020STATISTICS
Share on:
Xác suất thống kê là nền tảng quan trọng của các mô hình học máy và phân tích
dữ liệu. Bài viết này là ghi chép của tôi về các kiến thức, khái niệm cơ bản nhất về
xác suất thống kê, từ đó có thể giúp người đọc tiếp cận và xem lại các kiến thức
cho bộ môn này.

Xác suất, xác suất có điều kiện, công thức

Bayes
1. Phép thử, sự kiện, không gian mẫu
Khái niệm
• Phép thử ngẫu nhiên là một chuỗi các phương thức thực hiện và quan sát
một thí nghiệm nào đó cho chúng ta kết quả mà ta không thể dự đoán trước
được.
• Sự kiện sơ cấp là kết quả quan sát được đơn giản nhất không thể tách nhỏ
hơn của một phép thử.
• Không gian mẫu (S) là tập hợp tất cả các sự kiện sơ cấp của một phép thử
và xung khắc với nhau, ký hiệu S.
• Tập con bất kỳ của không gian mẫu được gọi là sự kiện.

Tính chất
• Không gian mẫu Ω là một tập hợp, sự kiện là tập con của Ω nên các mỗi
quan hệ (tập con, tương đương) và các phép toán (hợp, giao, phần bù, trừ)
cũng tương tự như ký thuyết tập hợp.
• Tính xung khắc: A1,…,An được gọi là **xung khắc** nếu Ai∩Aj=∅,∀i≠j.
• Tính đầy đủ: A1,…,An được gọi là đầy đủ nếu Ai∪⋯∪An=S.
• Không gian các sự kiện: A1,…,An được gọi là một không gian các dự kiện
nếu nó vừa xung khắc, vừa đầy đủ.

2. Xác suất
Khái niệm, tính chất
Xác suất của một phép thử là một ánh xạ P(.) từ không gian mẫu vào tập số thực
thoả mãn:
•
1. Với mọi sự kiện A thì P(A)≥0.
•
2. P(Ω)=1.
•
3. Cho A1,A2,… xung khắc thì:
P(A1∪A2…)=P(A1)+P(A2)+…
Từ 3 tiên đề trên, ta có các tính chất:
•
1. P(∅)=0
•
2. A,B xung khắc thì P(A∪B)=P(A)+P(B).
•
3. A,B bất kỳ P(A∪B)=P(A)+P(B)−P(A∩B).

Định nghĩa xác suất cổ điển

Xác suất cổ điển được xây dựng trên các không gian mẫu hữu hạn và đồng khả
năng Ω=w1,w2,…,wn.
Vì các sự kiện có đồng khả năng xảy ra nên P(w1)=P(w2)=⋯=P(wn).
Do 1=P(Ω)=P(w1)+P(w2)+⋯+P(wn)=nP(w1) nên P(wi)=1n,∀i=1,n―.
A là một sự kiện thì P(A)=#A#Ω.

Xác suất có điều kiện

Một phép thử nếu biết sự kiện B,P(P)≠0 đã xảy ra thì xác suất sự kiện A xảy ra là
xác suất có điều kiện P(A|B) được xác định bởi công thức:
P(A|B)=P(A∩B)P(B)
• Công thức nhân:
P(A∩B)=P(B).P(A|B)=P(A).P(B|A)
• Hai sự kiện được gọi là độc lập nếu và chỉ nếu:
P(A∩B)=P(A).P(B)

3. Công thức Bayes

Xác suất toàn phần
∑i=1n(P(Ai.P(B|Ai)))

Công thức Bayes

Công thức Bayes cho 2 sự kiện A, B
Cho hai sự kiện A,B và P(A),P(B) là hai xác suất được quan sát độc lập với nhau.
• P(A) được gọi là xác suất tiên nghiệm (Prior).
• P(B) được gọi là xác suất hậu nghiệm (Evidence).
• P(B)=P(B|A)×P(A)+P(B|A¯)×P(A¯).
• P(A|B) được gọi là xác suất hậu nghiệm (Posterior).
• P(B|A) được gọi là xác suất có thể đúng (Likelihood).
Ta có công thức Bayes cho 2 sự kiện A và B
P(A|B)=P(A).P(B|A)P(B)
Posterior=Likelihood×Prior/Evidence
Công thức Bayes tổng quát:
Cho không gian các sự kiện A1,…,An. B là một sự kiện nào đó.
Ta có công thức xác suất toàn phần:
P(B)=∑i=1nP(Ai).P(B|Ai)
Công thức Bayes tổng quát cho nhiều sự kiện:
P(Ai|B)=P(Ai∩B)P(B)=(P(Ai∩B))∑i=1n(P(Aj).P(B|Aj))

Biến ngẫu nhiên và phân phối xác suất

1. Biến ngẫu nhiên
Khái niệm
Biến ngẫu nhiên (random variables) là các biến nhận 1 giá trị ngẫu nhiên đại diện
cho kết quả của phép thử. Mỗi giá trị nhận được x của biến ngẫu nhiên X được
gọi là một thể hiện của X, đây cũng là kết quả của phép thử hay còn được hiểu là
một sự kiện.
Biến ngẫu nhiên có 2 dạng:
• Rời rạc (discrete): tập giá trị rời rạc, đếm được. Khái niệm đếm được ở
đây được hiểu theo ý nghĩa toán học, tức là có thể mô tả được cách đếm
mà không bỏ sót bất kỳ phần tử nào của tập số, chứ không có nghĩa là tập
số số phải có hữu hạn các phần tử. Về khái niệm này, các bạn có thể đọc
thêm tại đây.
• Liên tục (continous): tập giá trị là liên tục tức là lấp đầy 1 khoảng trục số,
không đếm được.

Ví dụ
Khi gieo 2 con xúc sắc, gọi X, Y lần lượt là số chấm xuất hiện trên mặt của con
thứ nhất và thứ 2 thì X, Y là hai biến ngẫu nhiên vì có cùng kết quả kiểu số. Các
hàm số như X+Y,2XY,sin(XY) cũng là các biến ngẫu nhiên.
2. Phân phối xác suất
Hàm trọng số (Probability mass function - PMF)
Xét biến ngẫu nhiên rời rạc X có miền giá trị có thể nhận (x1,x2,…,xn. Hàm trọng
số của một biến ngẫu nhiên rời rạc ký hiệu là:
PX(x)=P(X=x),∀x∈R
Ý nghĩa: Hàm trọng số thể hiện khả năng xảy ra tại một điểm x.
Bảng phân phối xác suất
X=x x1 …xn
PX(x)P_X(x_1)…