Xác suất và Thống kê cơ bản

Star 12,116

Bởi Afshine Amidi và Shervine Amidi

Dịch bởi Hoàng Minh Tuấn và Hung Nguyễn

Giới thiệu về Xác suất và Tổ hợp

Không gian mẫuMột tập hợp các kết cục có thể xảy ra của một phép thử được gọi là
không gian mẫu của phép thử và được kí hiệu là SS.

Sự kiện (hay còn gọi là biến cố)Bất kỳ một tập hợp con EE nào của không gian mẫu
đều được gọi là một sự kiện. Một sự kiện là một tập các kết cục có thể xảy ra của phép
thử. Nếu kết quả của phép thử chứa trong EE, chúng ta nói sự kiện EE đã xảy ra.

Tiên đề của xác suấtVới mỗi sự kiện EE, chúng ta kí hiệu P(E)P(E) là xác suất sự
kiện EE xảy ra.

Tiên đề 1 ― Mọi xác suất bất kì đều nằm trong khoảng 0 đến 1:

\boxed{0\leqslant P(E)\leqslant 1}0⩽P(E)⩽1

Tiên đề 2 ― Xác suất xảy ra của ít nhất một phần tử trong toàn bộ không gian mẫu là 1:
\boxed{P(S)=1}P(S)=1

Tiên đề 3 ― Với một chuỗi các biến cố xung khắc E_1, ..., E_nE1,...,En, ta có:

\boxed{P\left(\bigcup_{i=1}^nE_i\right)=\sum_{i=1}^nP(E_i)}P(i=1⋃nEi
)=i=1∑nP(Ei)

Hoán vịHoán vị là một cách sắp xếp rr phần tử từ một nhóm nn phần tử, theo một thứ
tự nhất định. Số lượng cách sắp xếp như vậy là P(n, r)P(n,r), được định nghĩa như sau:

\boxed{P(n, r)=\frac{n!}{(n-r)!}}P(n,r)=(n−r)!n!

Tổ hợpMột tổ hợp là một cách sắp xếp rr phần tử từ nn phần tử, không quan trọng thứ
tự. Số lượng cách sắp xếp như vậy là C(n, r)C(n,r), được định nghĩa như sau:

\boxed{C(n, r)=\frac{P(n, r)}{r!}=\frac{n!}{r!(n-r)!}}C(n,r)=r!P(n,r)

=r!(n−r)!n!
Ghi chú: Chúng ta lưu ý rằng với 0\leqslant r\leqslant n0⩽r⩽n, ta có P(n,r)\geqslant
C(n,r)P(n,r)⩾C(n,r)
Xác suất có điều kiện
Định lí BayesVới các sự kiện AA và BB sao cho P(B)>0P(B)>0, ta có:

\boxed{P(A|B)=\frac{P(B|A)P(A)}{P(B)}}P(A∣B)=P(B)P(B∣A)P(A)
Ghi chú: ta có P(A\cap
B)=P(A)P(B|A)=P(A|B)P(B)P(A∩B)=P(A)P(B∣A)=P(A∣B)P(B)

Phân vùngCho \{A_i, i\in[\![1,n]\!]\}{Ai,i∈[[1,n]]} sao cho với

mỗi ii, A_i\neq\varnothingAi =∅. Chúng ta nói rằng \{A_i\}{Ai} là một phân vùng
nếu có:

\boxed{\forall i\neq j, A_i\cap A_j=\emptyset\quad\textrm{ và

}\quad\bigcup_{i=1}^nA_i=S}∀i =j,Ai∩Aj=∅ vaˋ i=1⋃nAi=S

Ghi chú: với bất cứ sự kiện BB nào trong không gian mẫu, ta có \displaystyle
P(B)=\sum_{i=1}^nP(B|A_i)P(A_i)P(B)=i=1∑nP(B∣ Ai)P(Ai).

Định lý Bayes mở rộngCho \{A_i, i\in[\![1,n]\!]\}{Ai,i∈[[1,n]]} là một phân vùng

của không gian mẫu. Ta có:

\boxed{P(A_k|B)=\frac{P(B|A_k)P(A_k)}{\displaystyle\sum_{i=1}^nP(B|A_
i)P(A_i)}}P(Ak∣B)=i=1∑nP(B∣Ai)P(Ai)P(B∣Ak)P(Ak)

Sự kiện độc lậpHai sự kiện AA và BB được coi là độc lập khi và chỉ khi ta có:
\boxed{P(A\cap B)=P(A)P(B)}P(A∩B)=P(A)P(B)

Biến ngẫu nhiên

Định nghĩa
Biến ngẫu nhiênMột biến ngẫu nhiên, thường được kí hiệu là XX, là một hàm nối mỗi
phần tử trong một không gian mẫu thành một số thực.

Hàm phân phối tích lũy (CDF)Hàm phân phối tích lũy FF, là một hàm đơn điệu không
giảm, sao cho \underset{x\rightarrow-\infty}{\textrm{lim}}F(x)=0x→−∞lim
F(x)=0 và \underset{x\rightarrow+\infty}{\textrm{lim}}F(x)=1x→+∞lim
F(x)=1, được định nghĩa là:
\boxed{F(x)=P(X\leqslant x)}F(x)=P(X⩽x)

Ghi chú: chúng ta có P(a < X\leqslant B)=F(b)-F(a)P(a<X⩽B)=F(b)−F(a).

Hàm mật độ xác suất (PDF)Hàm mật độ xác suất ff là xác suất mà XX nhận các giá trị
giữa hai giá trị thực liền kề của biến ngẫu nhiên.

Mối quan hệ liên quan giữa PDF và CDFDưới đây là các thuộc tính quan trọng cần
biết trong trường hợp rời rạc (D) và liên tục (C).
 Trư
ờng CDF FF PDF ff Thuộc tính của PDF
hợp

\displaystyle
\displaystyle0\leqslant
F(x)=\sum_{x_i
f(x_j)=P(X=x_j) f(x_j)\leqslant1\textrm{ và
(D) \leqslant
f(xj)=P(X=xj) }\sum_{j}f(x_j)=10⩽f(xj
x}P(X=x_i)F(x)=
)⩽1 vaˋ j∑f(xj)=1
xi⩽x∑P(X=xi)

\displaystyle
\displaystyle f(x)=\displayst
f(x)\geqslant0\textrm{ và
F(x)=\int_{- yle
(C) }\int_{-
\infty}^xf(y)dy \frac{dF}{dx}f(
\infty}^{+\infty}f(x)dx=1f(
F(x)=∫−∞xf(y)dy x)=dxdF
x)⩾0 vaˋ ∫−∞+∞f(x)dx=1

Kỳ vọng và moment của phân phốiDưới đây là các biểu thức của giá trị kì
vọng E[X]E[X], giá trị kì vọng tổng quát E[g(X)]E[g(X)], moment
bậc kk E[X^k]E[Xk] và hàm đặc trưng \psi(\omega)ψ(ω) cho các trường hợp rời
rạc và liên tục:

C
E[g(X)]E[g(X \psi(\omega)ψ(
a E[X]E[X] E[X^k]E[Xk]
se )] ω)

\displaystyl
\displaystyle \displaystyle \displaystyle\su
( e
\sum_{i=1}^ \sum_{i=1}^ m_{i=1}^nf(x_i)e^
D \sum_{i=1}
ng(x_i)f(x_i)i= nx_i^kf(x_i)i= {i\omega x_i}i=1∑n
) ^nx_if(x_i)i=
1∑ng(xi)f(xi) 1∑nxikf(xi) f(xi)eiωxi
1∑nxif(xi)

\displaystyle \displaystyle\int_
( \displaystyl \displaystyle
C \int_{- {-
e \int_{- \int_{-
) \infty}^{+\in \infty}^{+\infty}f
\infty}^{+\i \infty}^{+\in
fty}g(x)f(x)d (x)e^{i\omega
 nfty}xf(x)dx x∫−∞+∞ fty}x^kf(x)dx x}dx∫−∞+∞
∫−∞+∞xf(x)dx g(x)f(x)dx ∫−∞+∞xkf(x)dx f(x)eiωxdx

Phương saiPhương sai của một biến ngẫu nhiên, thường được kí hiệu là
Var(X)(X) hoặc \sigma^2σ2, là một độ đo mức độ phân tán của hàm phân phối. Nó
được xác định như sau:

\boxed{\textrm{Var}(X)=E[(X-E[X])^2]=E[X^2]-
E[X]^2}Var(X)=E[(X−E[X])2]=E[X2]−E[X]2

Độ lệch chuẩnĐộ lệch chuẩn của một biến ngẫu nhiên, thường được kí hiệu \sigmaσ,
là thước đo mức độ phân tán của hàm phân phối của nó so với các đơn vị của biến ngẫu
nhiên thực tế. Nó được xác định như sau:

\boxed{\sigma=\sqrt{\textrm{Var}(X)}}σ=Var(X)

Biến đổi các biến ngẫu nhiênĐặt các biến XX và YY được liên kết với nhau bởi một
hàm. Kí hiệu f_XfX và f_YfY lần lượt là các phân phối của XX và YY, ta có:

\boxed{f_Y(y)=f_X(x)\left|\frac{dx}{dy}\right|}fY(y)=fX(x)∣∣∣∣∣dydx∣∣∣∣∣

Quy tắc tích phân LeibnizGọi gg là hàm của xx và có khả năng cc, và aa,bb là các
ranh giới có thể phụ thuộc vào cc. Chúng ta có:

\boxed{\frac{\partial}{\partial
c}\left(\int_a^bg(x)dx\right)=\frac{\partial b}{\partial c}\cdot g(b)-
 \frac{\partial a}{\partial c}\cdot g(a)+\int_a^b\frac{\partial g}{\partial
c}(x)dx}∂c∂(∫abg(x)dx)=∂c∂b⋅g(b)−∂c∂a⋅g(a)+∫ab∂c∂g(x)dx

Phân bố xác suất

Bất đẳng thức ChebyshevGọi XX là biến ngẫu nhiên có giá trị kỳ vọng \muμ. Với k,
\sigma>0k,σ>0, chúng ta có bất đẳng thức sau:
\boxed{P(|X-\mu|\geqslant
k\sigma)\leqslant\frac{1}{k^2}}P(∣X−μ∣⩾kσ)⩽k21

Các phân phối chínhDưới là các phân phối chính cần ghi nhớ:

\psi(\omega)ψ(ω) E[X]E[X] \textrm{Var}(X)Var

(pe^{i\omega}+q)^n(peiω+q)n npnp npqnpq

 e^{\mu(e^{i\omega}-1)}eμ(eiω−1) \muμ \muμ

\displaystyle\frac{e^{i\omega b}-
\displaystyle\frac{a+b}{2}2a+ \displaystyle\frac{(
e^{i\omega a}}{(b-
b a)^2}{12}12(b−a)2
a)i\omega}(b−a)iωeiωb−eiωa

e^{i\omega\mu-
\frac{1}{2}\omega^2\sigma^2}ei \muμ \sigma^2σ2
ωμ−21ω2σ2
 \displaystyle\frac{1}{1- \displaystyle\frac{1}{\lambda \displaystyle\frac{1}{\lam
\frac{i\omega}{\lambda}}1−λiω1 }λ1 }λ21

Phân phối đồng thời biến ngẫu nhiên

Mật độ biên và phân phối tích lũyTừ hàm phân phối mật độ đồng thời f_{XY}fXY, ta
có

Trườn
Mật độ biên Hàm tích lũy
g hợp

\displaystyle
\displaystyle F_{XY}(x,y)=\sum_{x_i\leqsla
(D) f_X(x_i)=\sum_{j}f_{XY}(x_i,y_j nt x}\sum_{y_j\leqslant
)fX(xi)=j∑fXY(xi,yj) y}f_{XY}(x_i,y_j)FXY(x,y)=xi⩽x∑
yj⩽y∑fXY(xi,yj)

\displaystyle f_X(x)=\int_{-
(C) \infty}^{+\infty}f_{XY}(x,y)dy
fX(x)=∫−∞+∞fXY(x,y)dy
\displaystyle
F_{XY}(x,y)=\int_{-
\infty}^x\int_{-
\infty}^yf_{XY}(x',y')dx'dy'FX
Y(x,y)=∫−∞x∫−∞yfXY(x′,y′)dx′dy′

Mật độ có điều kiệnMật độ có điều kiện của XX với YY, thường được kí hiệu
là f_{X|Y}fX∣Y, được định nghĩa như sau:
\boxed{f_{X|Y}(x)=\frac{f_{XY}(x,y)}{f_Y(y)}}fX∣Y(x)=fY(y)fXY(x,y)

Tính chất độc lậpHai biến ngẫu nhiên XX và YY độc lập nếu ta có:

\boxed{f_{XY}(x,y)=f_X(x)f_Y(y)}fXY(x,y)=fX(x)fY(y)

Hiệp phương saiChúng ta xác định hiệp phương sai của hai biến ngẫu nhiên XX và YY,
thường được kí hiệu \sigma_{XY}^2σXY2 hay \textrm{Cov}(X,Y)Cov(X,Y), như
sau:

\boxed{\textrm{Cov}(X,Y)\triangleq\sigma_{XY}^2=E[(X-\mu_X)(Y-
\mu_Y)]=E[XY]-\mu_X\mu_Y}Cov(X,Y)≜σXY2=E[(X−μX)(Y−μY)]=E[XY]−μXμY

Hệ số tương quanKí hiệu \sigma_XσX,\sigma_YσY là độ lệch chuẩn của XX và YY,

chúng ta xác định hệ số tương quan giữa XX và YY, kí hiệu \rho_{XY}ρXY, như sau:

\boxed{\rho_{XY}=\frac{\sigma_{XY}^2}{\sigma_X\sigma_Y}}ρXY=σXσYσXY2
Ghi chú 1: chúng ta lưu ý rằng với bất cứ biến ngẫu nhiên X, YX,Y nào, ta luôn
có \rho_{XY}\in[-1,1]ρXY∈ [−1,1].

Ghi chú 2: Nếu XX và YY độc lập với nhau thì \rho_{XY} = 0ρXY=0.