TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC

——————–o0o——————–

SUY LUẬN BAYES CHO BÀI TOÁN

ƯỚC LƯỢNG KỲ VỌNG VÀ PHƯƠNG
SAI

ĐỒ ÁN THIẾT KẾ
Chuyên ngành: Toán Tin

Giảng viên hướng dẫn: TS. Đỗ Văn Cường

Sinh viên thực hiện: Phan Văn Thanh
Lớp: Toán Tin 02 - K63

HÀ NỘI, 8/2022
Mục lục

Danh mục viết tắt và ký hiệu iv

Danh sách hình vẽ v

Lời mở đầu 1

1 Kiến thức chuẩn bị 3

1.1 Xích Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.1 Khái niệm xích Markov . . . . . . . . . . . . . . . . . . 3
1.1.2 Ma trận chuyển . . . . . . . . . . . . . . . . . . . . . . 5
1.1.3 Phân phối dừng . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Thuật toán Gibbs Sampling . . . . . . . . . . . . . . . . . . . 8
1.3 Một số hàm phân phối xác suất . . . . . . . . . . . . . . . . . 9
1.3.1 Phân phối Gamma . . . . . . . . . . . . . . . . . . . . 9
1.3.2 Phân phối chuẩn . . . . . . . . . . . . . . . . . . . . . 11

2 Tính toán Bayes 12

2.1 Mô hình bài toán . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2 Ước lượng cho kỳ vọng khi biết phương sai . . . . . . . . . . . 13
2.2.1 Phương pháp ước lượng hợp lý cực đại . . . . . . . . . 13

ii
 2.2.2 Phương pháp Bayes . . . . . . . . . . . . . . . . . . . . 15
2.3 Ước lượng cho phương sai khi biết kỳ vọng . . . . . . . . . . . 22
2.3.1 Ước lượng hợp lý cực đại . . . . . . . . . . . . . . . . . 22
2.3.2 Phương pháp Bayes . . . . . . . . . . . . . . . . . . . . 24
2.4 Ước lượng cho cả kỳ vọng và phương sai . . . . . . . . . . . . 27
2.4.1 Phương pháp ước lượng hợp lý cực đại . . . . . . . . . 27
2.4.2 Phương pháp Bayes . . . . . . . . . . . . . . . . . . . . 29

3 Ứng dụng 38
3.1 Mô phỏng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2 Dữ liệu thật . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.1 Giới thiệu dữ liệu và yêu cầu bài toán . . . . . . . . . . 42
3.2.2 Giải quyết yêu cầu bài toán . . . . . . . . . . . . . . . 44
3.2.3 Tiên nghiệm phẳng . . . . . . . . . . . . . . . . . . . . 46

Kết luận 48

Phụ lục 50

Tài liệu tham khảo 58

iii
Danh mục viết tắt và ký
hiệu
θ̂M LE Ước lượng hợp lý cực đại
θ̂M SE Ước lượng bình phương sai số
i.i.d Độc lập cùng phân phối
x (x1 , x2 , ..., xn )
1
P
x̄ n xi
1
s2 (xi − x̄)2
P
n
1
v2 (xi − µ)2
P
n

µ E(X)
σ2 Var(X)
1
τ σ2

iv
Danh sách hình vẽ
1.1 Ảnh minh họa xích Markov . . . . . . . . . . . . . . . . . . . 4
1.2 Đồ thị của hàm mật độ phân phối Gamma . . . . . . . . . . . 10
1.3 Ảnh minh họa một số hàm phân phối chuẩn . . . . . . . . . . 11

2.1 Đồ thị của hàm mật độ phân phối hai chiều N-G . . . . . . . 31

3.1 Hình dạng phân phối tiên nghiệm và hậu nghiệm với n = 100. 40
3.2 Minh họa dữ liệu của µ và τ sinh ra từ Gibbs Sampling . . . . 42
3.3 Hình ảnh minh họa bộ dữ liệu . . . . . . . . . . . . . . . . . . 43
3.4 Dữ liệu điểm thi môn địa lý . . . . . . . . . . . . . . . . . . . 44

v
Lời mở đầu
Trong phân tích dữ liệu, Frequentist và Bayesian là hai trường phái có
nhiều đối lập. Sự khác nhau trong triết lí phân tích dẫn tới sự khác biệt trong
cách phân tích và kết quả thu được của cùng một dữ liệu. Cả 2 trường phái
vẫn song song tồn tại và có những ưu thế cũng như hạn chế nhất định so với
trường phái còn lại. Tuy vậy, ngày nay, trong hầu hết các chương trình đào
tạo ở các trường đại học thì không được giảng dạy hay giới thiệu nhiều về
suy luận Bayes. Cùng với đó là lượng tài liệu, giáo trình liên quan đến suy
luận Bayes cho các bài toán thống kê cơ bản như ước lượng, kiểm định giả
thuyết, hồi quy tuyến tính... còn hạn chế.
Vậy nên, ở nội dung trong bài báo cáo này ngoài việc tìm hiểu về suy luận
Bayes, còn nghiên cứu sử dụng suy luận Bayes cho bài toán ước lượng kỳ
vọng, phương sai. Để giải quyết được yêu cầu này chúng ta sẽ được giới thiệu
qua về cơ sở lý thuyết, cách xây dựng mô hình ước lượng bằng phương pháp
Bayes và áp dụng mô hình vào việc ứng dụng mô phỏng, giải quyết bài toán
ước lượng thực tế. Bên cạnh đó chúng ta sẽ có thêm vài nhận xét, so sánh
giữa các phương pháp ước lượng cổ điển với phương pháp ước lượng Bayes.
Bản báo cáo sẽ được trình bày theo ba phần chính:

• Chương 1: Kiến thức chuẩn bị - Giới thiệu một số kiến thức cần

1
 thiết như một số hàm phân phối xác suất quan trọng cho việc xây
dựng cơ sở lý thuyết ở Chương 2 cùng với đó là giới thiệu xích Markov
và thuật toán Gibbs Sampling để áp dụng cho việc tính toán Bayes ở
Chương 3.

• Chương 2: Tính toán Bayes - Thiết lập cơ sở lý thuyết giải quyết

bài toán ước lượng kỳ vọng, phương sai bằng phương pháp ước lượng
hợp lý cực đại và phương pháp suy luận Bayes.

• Chương 3: Ứng dụng - Thực hiện ứng dụng lý thuyết vào mô phỏng
và giải quyết yêu cầu từ dữ liệu thực tế.

Em xin gửi lời cảm ơn sâu sắc đến TS. Đỗ Văn Cường đã tận tình truyền
đạt cho em những kiến thức nền tảng để hoàn thành bài báo cáo này. Trong
quá trình thực hiện, báo cáo không tránh khỏi những thiếu sót, em kính mong
nhận được sự nhận xét, góp ý của các thầy, cô để báo cáo được hoàn thiện
hơn. Em xin chân thành cảm ơn!

2
Chương 1

Kiến thức chuẩn bị

Ở phần này sẽ giới thiệu một số nội dung kiến thức cơ bản, cần thiết cho
việc xây dựng mô hình lý thuyết ở Chương 2 và việc áp dụng ở Chương 3.

1.1 Xích Markov

1.1.1 Khái niệm xích Markov

Xích Markov là một quá trình toán học chuyển đổi từ trạng thái này sang
trạng thái khác trong một số lượng hữu hạn các trạng thái có thể có. Nó là
tập hợp các trạng thái và xác suất khác nhau của một biến, trong đó điều
kiện hoặc trạng thái trong tương lai của nó về cơ bản phụ thuộc vào trạng
thái trước đó của nó. Xích Markov còn được gọi là chuỗi Markov thời gian
rời rạc hoặc quá trình Markov.
Xích Markov chủ yếu được sử dụng để dự đoán trạng thái tương lai của
một biến hoặc bất kỳ đối tượng nào dựa trên trạng thái trong quá khứ của
nó. Nó áp dụng các phương pháp tiếp cận xác suất trong việc dự đoán trạng
thái tiếp theo. Xích Markov có thể được mô tả bằng cách sử dụng đồ thị

3
có hướng, xác định trạng thái hiện tại, quá khứ và xác suất chuyển đổi từ
trạng thái này sang trạng thái khác. Sau đây là định nghĩa tổng quát về xích
Markov.

Hình 1.1: Ảnh minh họa xích Markov

Định nghĩa 1.1.1 Dãy biến ngẫu nhiên (Xn )n≥0 được gọi là một xích Markov
với không gian trạng thái I, phân phối ban đầu là λ = (λi )i∈I và ma trận
chuyển P = (pij )i,j∈I nếu

i) X0 có phân phối là λ, tức là

P (X0 = i) = λi , ∀i ∈ I.

ii) Với mọi n > 0, phân phối của Xn+1 với điều kiện Xn = in là (pin j )j∈I
và độc lập với X0 , ..., Xn−1 , tức là

P (Xn+1 = in+1 )|X0 = i0 , ..., Xn = in ) = P (Xn+1 = in+1 )|Xn = in ) = pin in+1

với mọi n > 0 và i0 , ..., in+1 ∈ I.

Với mỗi n ≥ 0, Xn được gọi là trạng thái của xích Markov tại thời điểm thứ
n. Như vậy, xích Markov được xác định nếu ta biết phân phối ban đầu λ và
mà trận chuyển P, ta gọi (Xn )n≥0 là Markov(λ, P ).

4
1.1.2 Ma trận chuyển

Trong phần này ta sẽ tìm hiểu về ma trân chuyển của xích Markov sau
một số hữu hạn bước.
Đầu tiên, giả sử ta có (Xn )n≥0 là xích Markov rời rạc, với phân phối ban
đầu λ, không gian trạng thái I và ma trận chuyển P không đổi theo thời gian,
ta coi P = (pij )i,j∈I là ma trận được chỉ số bởi I. Khi đó, tính Markov của
(Xn ) có nghĩa là

pij = P (Xn+1 = j|Xn = i) (1.1)

= P (Xn+1 = j|X0 = i0 , X1 = i1 , ..., Xi ) (1.2)

Không phụ thuộc vào n. P = (pij )i,j∈I chính là ma trận sau một bước. Xác
xuất có điều kiện pij là xác suất để hệ ở trạng thái i ở thời điểm n chuyển
sang trạng thái j ở thời điểm n + 1. Xác suất chuyển sau n bước được định
nghĩa theo công thức sau

(n)
pij = P (Xm+n = j|Xn = i) = P (Xn = j|X0 = i).

Có thể thấy đây chính là xác suất để hệ tại trạng thái i, sau n bước chuyển
(n)
sang trạng thái j. Ta đặt P (n) = (pij ), P (1) = P và qui ước P (0) là ma trận
đơn vị, hay 
1 nếu i = j;

(0)
pij =
0 nếu i ̸= j.


Từ công thức xác suất đầy đủ và tính Markov, mọi n = 0, 1, 2, ... ta có

(n+1) (n)
X
pij = pik pkj .
k∈I

5
Tổng quát hơn với mọi m, n = 0, 1, 2, ... ta có

(n+m) (n) (m)

X
pij = pik pkj (1.3)
k∈I

(1.3) được gọi là phương trình Chapman - Kolmogorov. Hay các phương trình
trên có dạng ma trận như sau

P (n+1) = P n P
P (n+m) = P (n) P (m) .

Định nghĩa 1.1.2 Phân phối của một hệ xích Markov tại thời điểm n được
cho bởi công thức sau

(n)
λi = P (Xn = i), n = 0, 1, 2, ..., i ∈ I.

(n)
Với λ(n) = (λi ) và λ(0) = λ là phân phối ban đầu của hệ.
(n)
Để dễ dàng tính toán, ta qui ước λ(n) = (λi )i∈I là các vectơ hàng. Lúc này
dễ dàng thấy rằng

λ(n) = λP (n) ,
λ(n+1) = λ(n) P,
λ(n+1) = λ(1) P (n) ,
λ(n+m) = λ(n) P (m) .

6
Thật vậy, vì theo công thức xác suất đầy đủ ta có

(n+m)
λi = P (Xn+m = i)
X
= P (Xn = j)P (X(n+m) = i|Xn = j)
j∈I
(n) (m)
X
= λj pji .
j∈I

1.1.3 Phân phối dừng

Phần này ta sẽ nghiên cứu về tính chất của phân phối của xích Markov
tại thời điểm n → ∞.

Định nghĩa 1.1.3 Phân phối λ = (λ)i∈I trên không gian trạng thái I được
gọi là dừng với mà trận chuyển P nếu

λ = λP,

tức là
X
λi = λi pij , ∀i ∈ I.
j∈I

Phân phối dừng hay còn được gọi là phân phối bất biến hày phân phối cân
bằng. Bây giờ ta sẽ giải thích ý nghĩa của phân phối dừng.
Nếu ta lấy (λ1 , λ2 , ..., λn ) là phân phối ban đầu của xích Markov. Tức là
λi = P (X0 = i), i = 1, 2, ..., n. Khi đó
n
(1)
X
λi = P (X1 = i) = λj pji = λi .
j=1

(n)
Tổng quát ta có λi = P (Xn = i) = λi , tức là X0 , X1 , ..., Xm , ... có cùng phân
phối xác suất.

7
Định nghĩa 1.1.4 Phân phối ban đầu được gọi là dừng nếu λ(n) không phụ
thuộc vào n, tức là λ(n) = λ hay λ = λP .

Định lí sau giải thích tại sao phân phối dừng còn được gọi là phân phối cân
bằng.

Định lý 1.1.5 Giả sử tập trạng thái I chỉ gồm hữu hạn phần tử. Khi đó, nếu
tồn tại i ∈ I sao cho
(n)
pij → πj khi n → ∞ với mọi j ∈ I,

thì π = (πi : j ∈ I) là phân phối dừng.

Chứng minh. Vì I chỉ gồm hữu hạn phần tử nên

(n)
X X X (n)
πj = lim pij = lim pij = 1,
n→∞ n→∞
j∈I j∈I j∈I

do đó π là một phân phối trên I. Ta lại có

(n+1) (n)
X
πj = lim pij = lim pik pkj ,
n→∞ n→∞
k∈I

vậy nên π là phân phối dừng.

1.2 Thuật toán Gibbs Sampling

Chúng ta giả sử rằng phân phối chúng ta quan tâm là p(x, y) nhưng phân
phối này rất khó để lấy mẫu trực tiếp. Ngược lại, chúng ta có thể dễ dàng lấy
mẫu từ các phân phối có điều kiện p(x|y) và p(y|x). Ở đây x, y cũng có thể
coi là vectơ nhiều chiều. Lúc này Gibbs Sampling đưa ra cách tiến hành như
sau:

1. Chọn giá trị khởi tạo ban đầu cho x, y.

2. Lấy mẫu x|y, rồi lấy mẫu y|x. Tiến hành lặp lại như vậy nhiều lần.

8
Thuật toán Gibbs Sampling

0. Chọn giá trị ban đầu (x0 , y0 ).

1. Tại bước thứ n ta thực hiện như sau:

Sinh ra xn ∼ p(xn−1 |yn−1 ),
Sinh ra yn ∼ p(yn−1 |xn ).

Thuật toán này sẽ xác định được một chuỗi các cặp biến ngẫu nhiên

(X0 , Y0 ), (X1 , Y1 ), (X3 , Y3 ), ...

thỏa mãn các tính chất của xích Markov.

1.3 Một số hàm phân phối xác suất

1.3.1 Phân phối Gamma

Ta đưa ra định nghĩa cho phân phối Gamma với tham số α và β như sau.

Định nghĩa 1.3.1 (Phân phối Gamma) Ta nói biến ngẫu nhiên X ∈ R+
tuân theo phân phối Gamma nếu hàm mật độ của nó có dạng
β α α−1 −βx
fX (x) = x e
Γ(α)

trong đó α là tham số hình dạng, β là một hằng số dương và được gọi là

cường độ của phân phối Gamma.
Khi đó ta kí hiệu X ∼ Gamma(α, β)

Đồ thị của hàm mật độ

Sau đây là đồ thị của hàm mật độ phân phối Gamma với một vài giá trị hình
dạng và giá trị cường độ khác nhau.

9
 Hình 1.2: Đồ thị của hàm mật độ phân phối Gamma

Kỳ vọng, phương sai và mốt

Định lý 1.3.2 Nếu biến ngẫu nhiên X ∼ Gamma(α, β) thì ta có các kết quả
sau:

α
1. Giá trị kỳ vọng: E(X) = β

α
2. Phương sai: Var(X) = β2

α−1
3. Mốt: Mode(X) = β

10
1.3.2 Phân phối chuẩn

Định nghĩa 1.3.3 Biến ngẫu nhiên X được gọi là tuần theo luật phân phối
chuẩn với hai tham số (µ, σ 2 ), µ ∈ R, σ > 0, nếu hàm mật độ của nó có dạng

1 (x − µ)2
f (x) = √ exp{− }, x ∈ R.
σ 2π 2σ 2

Khi đó ta ký hiệu X ∼ N (µ, σ 2 ).

Hình 1.3: Ảnh minh họa một số hàm phân phối chuẩn

Dễ dàng thấy rằng, hai tham số µ và σ 2 chính là hai số đặc trưng cho kỳ vọng
và phương sai.

11
Chương 2

Tính toán Bayes

Trong chương này ta sẽ giới thiệu bài toán và một số lý thuyết theo từng
trường hợp nhằm giải quyết yêu cầu bài toán.

2.1 Mô hình bài toán

i.i.d
Giả sử ta có các biến ngẫu nhiên X1 , X2 , .., Xn ∼ N (µ, σ 2 ). Khi đó, hàm
mật độ xác suất đồng thời của các biến ngẫu nhiên (X1 , X2 , .., Xn ) có dạng:
n
Y
2
fX1 ,..,Xn (x1 , ..., xn |µ, σ ) = fXi (xi )
i=1
n
( )
2 −n/2 1 X
= (2πσ ) exp − 2 (xi − µ)2
2σ i=1

Vì hàm số này phụ thuộc vào các quan sát (x1 , x2 , ..., xn ), µ và σ 2 nên ta coi
nó là hàm của µ, σ 2 nếu biết các quan sát (x1 , x2 , ..., xn ). Ta gọi đó là hàm
hợp lý của tham số µ, σ 2 . Đặt x = (x1 , ..., xn ). Để đơn giản, ta sẽ kí hiệu hàm
mật độ xác suất đồng thời là f (x|µ, σ 2 ). Hàm hợp lý của tham số µ, σ 2 là:
( n
)
1 X
L(µ, σ 2 ) = f (x|µ, σ 2 ) = (2πσ 2 )−n/2 exp − 2 (xi − µ)2 .
2σ i=1

12
Khi đã có được hàm hợp lý ta sẽ đi vào ước lượng các tham số theo từng
trường hợp cụ thể.

2.2 Ước lượng cho kỳ vọng khi biết phương sai

Khi đã biết phương sai thì hàm hợp lý có dạng:

( n
)
1 X
L(µ) = (2πσ 2 )−n/2 exp − 2 (xi − µ)2
2σ i=1

Từ hàm hợp lý, ta sẽ đi vào ước lượng tham số kỳ vọng µ theo phương pháp
cổ điển và Bayes.

2.2.1 Phương pháp ước lượng hợp lý cực đại

Mục tiêu của phương pháp ước lượng hợp lý cực đại là đi tìm giá trị của
tham số µ để hàm hợp lý đạt giá trị lớn nhất.

Định lý 2.2.1 Đặt x = (x1 , ..., xn ) là các quan sát độc lập cùng phân phối
chuẩn N (µ, σ 2 ). Gọi µ̂M LE là ước lượng hợp lý cực đại của µ. Khi đó,
n
1X
µ̂M LE = x̄ = xi
n i=1

Chứng minh. Ta có hàm hợp lý:

( n
)
2 −n/2 1 X
L(µ) = (2πσ ) exp − 2 (xi − µ)2
2σ i=1

Ta tìm giá trị cực đại của hàm hợp lý trên cũng tương đương với việc tìm giá
trị cực đại hàm Logarit của hàm hợp lý. Do đó, ta có:
n
1 X
l(µ) = logL(µ) = − 2 (xi − µ)2 + const.
2σ i=1

13
Ta tiến hành đạo hàm bậc một hàm l(µ) để tìm điểm dừng.
n
∂ 1 X n
l(µ) = 2 (xi − µ) = 2 (x̄ − µ) = 0.
∂µ σ i=1 σ

Suy ra, µ = x̄.

Ta có đạo hàm bậc hai của hàm l(µ)

∂2 n
l(µ) = − <0
∂ 2µ σ2

Do đó, µ = x̄ là giá trị cực đại của hàm l(µ).

Vậy, ước lượng hợp lý cực đại của tham số µ là
n
1X
µ̂M LE = x̄ = xi .
n i=1

Do đó định lý đã được chứng minh.

Tính chất của ước lượng hợp lý cực đại

i) µ̂M LE là ước lượng không chệch của µ.

ii) µ̂M LE là ước lượng vững của µ.

Chứng minh.
i) µ̂M LE là ước lượng không chệch của µ.
Ta có: Pn
sn i=1 Xi
µ̂M LE = =
n n
Suy ra giá trị kỳ vọng của µ̂M LE là:
n
1 X 1
E(µ̂M LE ) = E( Xi ) = .nµ = µ.
n i=1 n

14
Vậy, µ̂M LE là ước lượng không chệch của µ.
ii) µ̂M LE là ước lượng vững của µ.
Ta có, phương sai của µ̂M LE là
Pn n
i=1 Xi 1 X 1 2 σ2
V ar(µ̂M LE ) = V ar( )= 2 V ar(Xi ) = 2 .nσ =
n n i=1 n n

Do đó, trung bình bình phương sai số:

σ2
M SE(µ̂M LE , µ) = −−−→ 0.
n n→−∞

Vậy, µ̂M LE là ước lượng vững của µ.

Vậy, các tính chất của ước lượng hợp lý cực đại đã được chứng minh.

2.2.2 Phương pháp Bayes

Tiếp theo, ta xét đến ước lượng Bayes của tham số µ.

Ta có hàm hợp lý:
( n
)
2 −n/2 1 X
L(µ) = (2πσ ) exp − 2 (xi − µ)2
2σ i=1

Để tìm được phân phối hậu nghiệm, ta cần có hàm phân phối tiên nghiệm
π(µ). Khi đó, phân phối hậu nghiệm tỷ lệ với tích của hàm hợp lý và phân
phối tiên nghiệm:

p(µ|x) ∝ f (x|µ) × π(µ)

Nếu chúng ta có thông tin về các tham số chưa biết cần ước lượng thì chúng
ta hoàn toàn có thể đưa những thông tin này vào mô hình ước lượng thông
qua hàm phân phối tiên nghiệm. Sau đây ta sẽ xét một số phân phối tiên
nghiệm sau đây.

15
i) Tiên nghiệm liên hợp tự nhiên
Định lý sau đây chỉ ra rằng phân phối chuẩn là một tiên nghiệm liên hợp tự
nhiên của phân phối chuẩn.

Định lý 2.2.2 Tiên nghiệm liên hợp tự nhiên cho phân tích Bayes của phân
phối chuẩn là phân phối chuẩn với trung bình a0 , phương sai b20 và phân phối
hậu nghiệm là phân phối chuẩn với trung bình a1 , phương sai b21 . Tham số
cập nhật

 12 =
 1
+ 1
b
1 σ 2 /n b20

a1 = b20 σ 2 /n
x̄ + a0 .

σ /n+b20
2 σ 2 /n+b20

Khi đó, ước lượng Bayes bằng phương pháp trung bình bình phương sai số nhỏ
nhất:

µ̂M SE = a1 .

Chứng minh. Ta có hàm hợp lý:

n
1 X
f (x|µ) ∝ exp{− 2 (xi − µ)2 }.
2σ i=1

Mà
n
X n
X
2
(xi − µ) = (x2i − 2µxi + µ2 )
i=1 i=1

= n(µ − x̄)2 + nx¯2 − x̄2

= n(µ − x̄)2 + ns2 .

Do đó,
1
f (x|µ) ∝ exp{− √ 2 (µ − x̄)2 }.
2(σ/ n)
16
Để tạo ra được một tiên nghiệm liên hợp tự nhiên, ta bắt chước dạng hàm
của hàm hợp lý, phân phối tiên nghiệm liên hợp tự nhiên sẽ có dạng:
1
π(µ) ∝ exp{− 2 (µ − a0 )2 }.
2b0
Tiên nghiệm liên hợp này chính là phân phối chuẩn với trung bình a0 và
phương sai b20 .

µ ∼ N (a0 , b20 ).

Theo định lý Bayes, phân phối hậu nghiệm tỷ lệ với tích của hàm hợp lý và
phân phối tiên nghiệm:
1 1
f (x|µ)π(µ) ∝ exp{− √ 2 (µ − x̄)2 − 2 (µ − a0 )2 }.
2(σ/ n) 2b0
Sau một vài bước biến đổi, ta được phân phối hậu nghiệm có dạng sau:
1
f (x|µ)π(µ) ∝ exp{− 2 (µ − a1 )2 }.
2b1
Trong đó: 
 12 =
 1
+ 1
b 1 σ 2 /n b20

a1 = b20 σ 2 /n
x̄ + a0 .

σ /n+b20
2 σ 2 /n+b20

Suy ra, µ|x ∼ N (a1 , b21 ).

Vậy, ước lượng Bayes bằng phương pháp ước lượng trung bình bình phương
sai số nhỏ nhất là:
µ̂M SE = a1 .

Định lý đã được chứng minh.

Tiếp theo ta có nhận xét về tính chất tổ hợp lồi của ước lượng hợp lý cực
đại và kỳ vọng của phân phối tiên nghiệm.

17
Nhận xét 2.2.3 (i) Nhắc lại:

E(µ) = a0
µ̂M LE = x̄

Ta nhận thấy rằng, µ̂M SE là tổ hợp lồi của ước lượng hợp lí cực đại và kỳ
vọng của phân phối tiên nghiệm.

µ̂M SE = k µ̂M LE + (1 − k)E(µ)

b20
với k = σ 2 /n+b20
.
(ii) Khi số lượng quan sát càng lớn thì µ̂M SE ≈ µ̂M LE , tức là lúc này phân
phối tiên nghiệm không còn quan trọng nữa.

Trích xuất tiên nghiệm cho phân phối tiên nghiệm chuẩn
Đặt N (a0 , b20 ) là tiên nghiệm liên hợp cho tham số µ. Đặt gµ,1 là dự đoán cho
giá trị µ, gµ,2 là dự đoán cho độ lệch. Ta có giá trị kỳ vọng và phương sai của
biến ngẫu nhiên X tuân theo luật phân phối N (a0 , b20 ) là:

E(X) = a0 ,
V ar(X) = b20 .

Ta sẽ đặt giá trị kỳ vọng và độ lệch chuẩn bằng "niềm tin" của ta:

a0 = gµ,1 ,
b0 = gµ,2 .

ii) Tiên nghiệm phẳng

Tiên nghiệm phẳng hay còn gọi là tiên nghiệm không có thông tin, chúng ta
có thể sử dụng tiên nghiệm phẳng khi không có thông tin gì về các tham số

18
hoặc không muốn đặt niềm tin vào việc phân tích. Định lý sau đây chỉ ra
phân phối tiên nghiệm phẳng, phân phối hậu nghiệm và ước lượng Bayes cho
tham số µ.

Định lý 2.2.4 Đặt x = (x1 , ..., xn ) là các quan sát độc lập cùng phân phối
chuẩn N (µ, σ 2 ). Theo như hàm bình phương mất mát và phân phối tiên nghiệm
phẳng π(µ) ∝ 1, ta thu được các kết quả sau:
2
(i) Phân phối hậu nghiệm p(µ|x) ∼ N (x̄, σn )

(ii) Ước lượng Bayes µ̂M SE = x̄

Chứng minh.
Để tìm được phân phối tiên nghiệm, ta cần tìm lượng thông tin Fisher.

∂2
I(µ) = −E[ 2 l(µ)].
∂µ

Ta có hàm logarit của hàm hợp lý như sau:

1
l(µ) = − 2
(µ − x̄)2 + const
2σ /n
∂ 1
=> l(µ) = − 2 (µ − x̄)
∂µ σ /n
2
∂ n
=> 2 l(µ) = − 2 .
∂ µ σ

Do đó, ta có lượng thông tin Fisher

n
I(µ) = .
σ2

Theo Jeffrey’s rule

p
π ∝ I(µ).

19
Suy ra, phân phối tiên nghiệm

π(µ) ∝ 1.

Ta đã có hàm hợp lý

1
f (x|µ) ∝ exp{− √ (µ − x̄)2 }.
2(σ/ n)2

Theo định lý Bayes, phân phối hậu nghiệm tỉ lệ với tích của phân phối tiên
nghiệm và hàm hợp lý

1
f (x|µ)π(µ) ∝ exp{− √ 2 (µ − x̄)2 }.
2(σ/ n)

Do đó, phân phối hậu nghiệm:

1
p(µ|x) ∝ exp{− √ 2 (µ − x̄)2 }.
2(σ/ n)
Suy ra
σ2
µ|x ∼ N (x̄, ).
n
Vậy, theo bình phương hàm mất mát, ước lượng Bayes cho tham số µ bằng
phương pháp trung bình bình phương sai số nhỏ nhất là µ̂M SE = x̄.
Định lý đã được chứng minh.

Nhận xét 2.2.5 Trong trường hợp tiên nghiệm phẳng thì µ̂M SE = µ̂M LE .

iii) Tiên nghiệm đều

Sử dụng tiên nghiệm đều là một cách để giới hạn miền tìm kiếm tham số trên
đoạn [a, b]. Dưới đây là cơ sở lý thuyết khi chúng ta sử dụng tiên nghiệm đều.
Ta có hàm hợp lý có dạng
 
1 2
f (x|µ) ∝ exp − √ (µ − x̄) .
2(σ/ n)2
20
Phân phối tiên nghiệm là phân phối đều trên đoạn [a, b]

π(µ) ∝ I[a,b] (µ).


1
b−a , µ ∈ [a, b]


với I[a,b] (µ) =
0, µ∈
/ [a, b].


Theo định lý Bayes, phân phối hậu nghiệm tỷ lệ với tích của hàm hợp lý và
phân phối tiên nghiệm:
 
1
f (x|µ)π(µ) ∝ exp − √ 2 (µ − x̄)2 .I[a,b] (µ).
2(σ/ n)

Ta nhận thấy rằng phân phối hậu nghiệm không thuộc một trong những phân
phối đã biết, do đó ta không thể dễ dàng tìm được ước lượng theo phương
pháp Bayes như đã đề cập ở trên. Vì vậy, lúc này ta cần phải biết chính xác
hàm phân phối hậu nghiệm, tức là đi tìm hệ số K trong hàm hậu nghiệm
sau:

p(µ|x) = Kf (x|µ) × π(µ)

 
1
= K exp − √ 2 (µ − x̄)2 .I[a,b] (µ).
2(σ/ n)

Suy ra
Z b  
−1 1 2
K = exp − √ (µ − x̄) dµ
a 2(σ/ n)2
b − x̄ √ a − x̄ √
= Φ( n) − Φ( n)
σ σ

. Vậy, ta có hàm phân phối hậu nghiệm là

 
1 2
p(µ|x) = K. exp − 2 (µ − x̄) .I[a,b] (µ)
2σ /n
21
trong đó,
b − x̄ √ a − x̄ √
K −1 = Φ( n) − Φ( n).
σ σ
Sau khi ta đã có chính xác hàm phân phối hậu nghiệm, ta tìm ước lượng sao
cho hàm hậu nghiệm đạt giá trị lớn nhất.

2.3 Ước lượng cho phương sai khi biết kỳ vọng

Khi phương sai chưa biết, hàm hợp lý có dạng:

( n
)
1 X
L(σ 2 ) = (2πσ 2 )−n/2 exp − 2 (xi − µ)2 .
2σ i=1

Sau khi đã có hàm hợp lý, ta sẽ ước lượng tham số σ theo hai phương pháp
sau đây.

2.3.1 Ước lượng hợp lý cực đại

Mục tiêu của phương pháp ước lượng hợp lý cực đại là đi tìm tham số σ 2
để hàm hợp lý đạt giá trị lớn nhất.

Định lý 2.3.1 Đặt x = (x1 , ..., xn ) là các quan sát độc lập cùng phân phối
chuẩn N (µ, σ 2 ). Gọi σˆ2 M LE là ước lượng hợp lý cực đại của σ 2 . Khi đó,
n
1X
σˆ2 M LE = (xi − µ)2 .
n i=1

Chứng minh. Ta có hàm hợp lý:

( n
)
2 2 −n/2 1 X
L(σ ) = (2πσ ) exp − 2 (xi − µ)2 .
2σ i=1

22
Ta tìm giá trị cực đại của hàm hợp lý trên cũng tương đương với việc tìm giá
trị cực đại hàm Logarit của hàm hợp lý. Do đó, ta có:
n
2 2 n 2 1 X
l(σ ) = logL(σ ) = − log(σ ) − 2 (xi − µ)2 + const.
2 2σ i=1

Ta tiến hành đạo hàm bậc một hàm l(σ 2 ) để tìm điểm dừng.
n n
∂ 2 n 1 X 2 1 2
X
l(σ ) = − + (x i − µ) = − (nσ − (xi − µ)2 ) = 0.
∂σ 2 2σ 2 2σ 4 i=1 2σ 2 i=1

Suy ra,
n
1X
σˆ2 M LE = (xi − µ)2 .
n i=1
Dễ thấy đạo hàm bậc hai
∂2
2 2
l(σ 2 ) < 0.
∂ σ
Do đó, σˆ2 M LE = n1 ni=1 (xi − µ)2 là giá trị cực đại của hàm l(σ 2 ).
P

Vậy, ước lượng hợp lý cực đại của tham số σ 2 là

n
1X
σˆ2 M LE = (xi − µ)2 .
n i=1

Định lý đã được chứng minh.

Tiếp theo, ta xét đến một số tính chất của ước lượng hợp lý cực đại.
Tính chất của ước lượng hợp lý cực đại:

i) Ước lượng hợp lý cực đại là ước lượng không chệch của σ 2 .

ii) Ước lượng hợp lý cực đại là ước lượng vững của σ 2 .

Trước khi chứng minh các tính chất trên, ta có định lý sau đây.

Định lý 2.3.2 (Luật số lớn) Nếu các biến ngẫu nhiên X1 , ..., Xn độc lập
cùng phân phối với biến ngẫu nhiên X có kỳ vọng µ = E(X) và phương sai
X1 +...+Xn h.c.c
σ 2 = V ar(X) thì n −−→ µ.

23
Tiếp theo, ta chứng minh các tính chất của ước lượng hợp lí cực đại.
Chứng minh. i) σˆ2 M LE là ước lượng không chệch của σ 2 .
Ta có,
n
ˆ 1X 1
2
E(σ M LE ) = E( (Xi − µ)2 ) = .nσ 2 = σ 2 .
n i=1 n
Do đó, ước lượng hợp lý cực đại là ước lượng không chệch.
ii) σˆ2 M LE là ước lượng vững của σ 2 .
Ta có, phương sai của σˆ2 M LE là
n
ˆ 1 X
2
V ar(σ M LE ) = 2 V ar (Xi − µ)2 .
n i=1

Do đó, trung bình bình phương sai số:

σ2
M SE(µ̂M LE , µ) = −−−→ 0.
n n→−∞

Vì (X1 − µ)2 , ..., (Xn − µ)2 độc lập cùng phân phối với

E(X − µ)2 = σ 2 ,


V ar(X − µ)2 = E(X − µ)4 − (E(X − µ)2 )2 = σ4 − σ 2 .


2

(X1 −µ)2 +...+(Xn −µ)2 h.c.c

Suy ra, n −−→ σ2.
2 2
Do đó, σ̂M LE là ước lượng vững của σ .

Vậy, các tính chất của ước lượng hợp lý cực đại đã được chứng minh.

2.3.2 Phương pháp Bayes

Tiếp theo, ta xét đến ước lượng bayes của tham số σ 2 .

Ta có hàm hợp lý:
n
( )
2 2 2 −n/2 1 X
L(σ ) = f (x|σ ) = (2πσ ) exp − 2 (xi − µ)2 .
2σ i=1

24
 1
Để dễ dàng cho việc tính toán, ta tham số hóa lại. Đặt σ2 = τ.
Khi đó, hàm hợp lý trở thành
( n
)
−n/2 n/2 τX
f (x|µ, τ ) = (2π) τ exp − (xi − µ)2 .
2 i=1

Để tìm được phân phối hậu nghiệm, ta cần có hàm phân phối tiên nghiệm
π(τ ). Khi đó, phân phối hậu nghiệm tỷ lệ với tích của hàm hợp lý và phân
phối tiên nghiệm:

p(τ |x) ∝ f (x|τ ) × π(τ ).

Định lý sau đây chỉ ra phân phối Gamma là một tiên nghiệm liên hợp tự nhiên
của phân phối Gamma; chỉ ra ước lượng Bayes bằng phương pháp trung bình
bình phương sai số nhỏ nhất.

Định lý 2.3.3 Tiên nghiệm liên hợp tự nhiên cho phân tích Bayes của phân
phối Gamma là phân phối Gamma τ ∼ Gamma(a0 , b0 ) và phân phối hậu
nghiệm là phân phối Gamma τ |x ∼ Gamma(a1 , b1 ). Tham số cập nhật

a1 = a0 + n

2

b1 = b0 + 1 nv 2

2
Pn 2
2 i=1 (xi −µ)
trong đó, v = n . Khi đó, ước lượng Bayes bằng phương pháp trung
bình bình phương sai số nhỏ nhất:
a1
τ̂M SE = .
b1
Chứng minh. Ta có hàm hợp lý có dạng:
( n
)
−n/2 n/2 τX
f (x|µ, τ ) = (2π) τ exp − (xi − µ)2 .
2 i=1

25
Do đó, ( )
n
n/2 τX
f (x|τ ) ∝ τ exp − (xi − µ)2 .
2 i=1

Để tạo ra được một tiên nghiệm liên hợp tự nhiên, ta bắt chước dạng hàm
của hàm hợp lý, phân phối tiên nghiệm liên hợp tự nhiên sẽ có dạng:

π(τ ) ∝ τ a0 −1 exp {−τ b0 } .

Tiên nghiệm liên hợp này chính là phân phối Gamma

τ ∼ Gamma(a0 , b0 ).

Theo định lý Bayes, phân phối hậu nghiệm tỷ lệ với tích của hàm hợp lý và
phân phối tiên nghiệm:
( n
)
1X
p(τ |x) ∝ τ a0 +n/2−1 exp −τ (b0 + (xi − µ)2 ) .
2 i=1

Suy ra, τ |x ∼ Gamma(a1 , b1 ).


 a1 = a0 +
 n
2

b1 = b0 + 1 nv 2

2
Pn 2
2 i=1 (xi −µ)
trong đó, v = n .
Vậy, ước lượng Bayes bằng phương pháp trung bình bình phương nhỏ nhất
là:
a1
τ̂M SE = .
b1
Định lý đã được chứng minh.
Tiếp theo ta có nhận xét về tính chất tổ hợp lồi của ước lượng hợp lý cực đại
và kỳ vọng của phân phối tiên nghiệm.

26
Nhận xét 2.3.4 Nhắc lại:
n
ˆ 1X
2
σ M LE = (xi − µ)2 = v 2
n i=1
1 1
=> τ̂M LE = = .
σˆ2 M LE v2

Ta có thể thấy rẳng τ̂M SE có thể biểu diễn bằng tổ hợp lồi của τ̂M LE và giá
trị kì vọng của phân phối tiên nghiệm là

τ̂M SE = kτ̂M LE + (1 − k)E(τ )

nv 2 /2
với k = b0 +nv 2 /2 .

2.4 Ước lượng cho cả kỳ vọng và phương sai

Hàm hợp lý có dạng:

( n
)
2 2 −n/2 1 X
L(µ, σ ) = (2πσ ) exp − 2 (xi − µ)2 .
2σ i=1

Sau khi đã có hàm hợp lý, ta sẽ ước lượng tham số theo hai phương pháp sau
đây.

2.4.1 Phương pháp ước lượng hợp lý cực đại

Mục tiêu của phương pháp ước lượng hợp lý cực đại là đi tìm tham số
µ, σ 2 để hàm hợp lý đạt giá trị lớn nhất.

Định lý 2.4.1 Đặt x = (x1 , ..., xn ) là các quan sát độc lập cùng phân phối
chuẩn N (µ, σ 2 ). Gọi µ̂M LE là ước lượng hợp lý cực đại của µ, σˆ2 M LE là ước

27
lượng hợp lý cực đại của σ 2 . Khi đó,
n
1X
µ̂M LE = x̄ = xi
n i=1
n
ˆ 2 1X
2
σ M LE = s = (xi − x̄)2 .
n i=1

Chứng minh. Ta có hàm hợp lý:

n
( )
2 2 −n/2 1 X
L(µ, σ ) = (2πσ ) exp − 2 (xi − µ)2 .
2σ i=1

Ta tìm giá trị cực đại của hàm hợp lý trên cũng tương đương với việc tìm giá
trị cực đại hàm Logarit của hàm hợp lý. Do đó, ta có:
n
2 2 n 2 1 X
l(µ, σ ) = log L(µ, σ ) = − log(σ ) − 2 (xi − µ)2 + const.
2 2σ i=1

Ta tiến hành đạo hàm riêng bậc một hàm l(µ, σ 2 ) theo µ , σ 2 để tìm điểm
dừng.
n
∂ 2 1 X
l(µ, σ ) = 2 ( xi − nµ) = 0
∂µ σ i=1
n
∂ 2 n 1 X
2
l(µ, σ ) = − 2
+ 4
(xi − x̄)2 = 0.
∂σ 2σ 2σ i=1
Suy ra,
n
1X
µ= xi = x̄
n i=1
n
2 1X
σ = (xi − x̄)2 .
n i=1

Ta có đạo hàm bậc hai của hàm l(µ, σ 2 ) theo µ , σ 2

∂2 2 n
l(µ, σ ) = − <0
∂ 2µ σ2
∂2
2 2
l(µ, σ 2 ) < 0.
∂ σ

28
Vậy, ước lượng hợp lý cực đại của tham số µ, σ 2

µ̂M LE = x̄,


σˆ2 M LE = s2 = 1 Pn (xi − x̄)2 .


n i=1

Định lý đã được chứng minh.

2.4.2 Phương pháp Bayes

Tiếp theo, ta xét đến ước lượng bayes.

Hàm hợp lý có dạng:
( n
)
2 2 −n/2 1 X
L(µ, σ ) = (2πσ ) exp − 2 (xi − µ)2 .
2σ i=1
1
Để dễ dàng cho việc tính toán, ta tham số hóa lại. Đặt σ2 = τ.
Khi đó, hàm hợp lý trở thành
( n
)
n/2 τX
L(µ, τ ) = f (x|µ, τ ) ∝ τ exp − (xi − µ)2 .
2 i=1

Để tìm được phân phối hậu nghiệm, ta cần có hàm phân phối tiên nghiệm
π(µ, τ ). Khi đó, phân phối hậu nghiệm tỷ lệ với tích của hàm hợp lý và phân
phối tiên nghiệm:

p(µ, τ |x) ∝ f (x|µ, τ ) × π(µ, τ ).

Ta sẽ xét một số phân phối tiên nghiệm sau đây.

i) Tiên nghiệm liên hợp tự nhiên
Trước tiên, ta định nghĩa về phân phối hai chiều chuẩn Gamma.

Định nghĩa 2.4.2 (Phân phối 2 chiều N-G). Ta nói biên ngẫu nhiên 2
chiều (X, Y ) ∈ R × R+ tuân theo phân phối chuẩn Gamma nếu ta có hàm

29
mật độ đồng thời
r
ca b a− 1 y
fX,Y (x, y) = y 2 exp{− [b(x − m)2 + 2c]}
Γ(a) 2π 2
kí hiệu (X, Y ) ∼ N − G(a, b, c, m) với a, b, c > 0; m ∈ R

Định lý về phân phối biên của Y và phân phối có điều kiện của X.

Định lý 2.4.3 (Phân phối biên của Y và phân phối có điều kiện của
X).Giả sử (X, Y ) ∼ N − G(a, b, c, m) với a, b, c > 0; m ∈ R .Khi đó, ta có:

1. Y ∼ Gamma(a, c)

2. X|Y = y ∼ N (m, by)

Chứng minh.
+∞
ca a−1 −cy
Z
1. fY (y) = fX,Y (x, y)dx = y e
−∞ Γ(a)
Do đó: Y ∼ Gamma(a, c)
q
fX,Y (x,y)
2. fX|Y (x|y) = fY (y) = 2π b
y.exp{− yb 2
2 (x − m) }

Do đó: X|Y = y ∼ N (m, by)

Định lý đã được chứng minh.

Định lý 2.4.4 (Kì vọng, phương sai của X,Y).

1. Kì vọng, phương sai của Y

a
E(Y ) = c
a
V ar(Y ) = c2

2. Kì vọng, phương sai của X

E(X) = m
c
V ar(X) = b(a−1)

30
 Hình 2.1: Đồ thị của hàm mật độ phân phối hai chiều N-G

Chứng minh.

a
1. Vì Y ∼ Gamma(a, c) nên E(Y ) = a/c và V ar(Y ) = c2

2. Vì X|Y = y ∼ N (m, by)

R +∞
nên E(X) = E(E(X|Y )) = 0 mfY (y)dy = E(m) = m
1
Vì Y ∼ Gamma(a, c) nên Y ∼ IGamma(a, c). Do đó, E( Y1 ) = c
a−1
1
Ta có: E(X 2 |Y ) = V ar(X|Y ) + E(X|Y )2 = by + m2
=> E(X 2 ) = E(E(X 2 |Y )) = E( by1 + m2 ) = 1b E( y1 ) + m2 = m2 + c
b(a−1)
c
=> V ar(X) = E(X 2 ) − (EX)2 = b(a−1) .

Định lý đã được chứng minh.

31
 Định lý sau đây chỉ ra phân phối hai chiều chuẩn Gamma là một tiên
nghiệm liên hợp tự nhiên của phân phối hai chiều chuẩn Gamma; chỉ ra ước
lượng Bayes bằng phương pháp trung bình bình phương sai số nhỏ nhất.

Định lý 2.4.5 Tiên nghiệm liên hợp tự nhiên cho phân tích Bayes của phân
phối hai chiều chuẩn Gamma là phân phối hai chiều chuẩn Gamma (µ, τ ) ∼
N − G(a0 , b0 , c0 , m0 ) và phân phối hậu nghiệm là phân phối hai chiều chuẩn
Gamma (µ, τ )|x ∼ N − G(a1 , b1 , c1 , m1 ). Tham số cập nhật

a1 = a0 + n2







b1 = b0 + n


n 2
s + b0b+n

c = c + 0
(x̄ − m0 )2 ]

1 0



 2


m1 = n x̄ + b0 m0

b0 +n b0 +n

Khi đó, µ|τ, x ∼ N (m1 , b1 τ ) và τ |x ∼ Gamma(a1 , c1 ).

Do đó, ước lượng Bayes bằng phương pháp trung bình bình phương sai số nhỏ
nhất: 
µ̂M SE = m1


τ̂M SE =
 a1
c1

Chứng minh. Hàm hợp lý có dạng:

( n
)
−n/2 n/2 τX
f (x|µ, τ ) = (2π) τ exp − (xi − µ)2 .
2 i=1

Ta không cần quan tâm đến hằng số trong hàm hợp lý, do đó,
( n
)
τ X
f (x|µ, τ ) ∝ τ n/2 exp − (xi − µ)2 .
2 i=1

32
Ta có biến đổi sau
n
X n
X
2
(xi − µ) = (x2i − 2µxi + µ2 )
i=1 i=1

= n(µ − x̄)2 + nx¯2 − x̄2

= n(µ − x̄)2 + ns2 .

Vậy,
n τ o
n/2 2 2
f (x|µ, τ ) ∝ τ exp − n(µ − x̄) + ns
2

với µ ∈ R, τ ∈ R∗+ .
Để tạo ra được một tiên nghiệm liên hợp tự nhiên, ta bắt chước dạng hàm
của hàm hợp lý, phân phối tiên nghiệm liên hợp tự nhiên sẽ có dạng:

1  τ
π(µ, τ ) ∝ τ a0 − 2 exp − b0 (µ − m0 )2 + 2c0 ]}
2

Tiên nghiệm liên hợp này chính là phân phối hai chiều chuẩn Gamma

π(µ, τ ) ∼ N − G(a0 , b0 , c0 , m0 ).

Theo định lý Bayes, phân phối hậu nghiệm tỷ lệ với tích của hàm hợp lý và
phân phối tiên nghiệm:

n 1  τ
f (x|µ, τ )π(µ, τ ) ∝ τ a0 + 2 − 2 exp − n(µ − x̄)2 + b0 (µ − m0 )2 + 2c0 + ns2 ]}.
2

Ta có:

n b0 b0 n
n(µ− x̄)2 +b0 (µ−m0 )2 = (n+b0 ) µ−( m0 )2 ]+ (x̄−m0 )2 .

x̄+
b0 + n b0 + n b0 + n

33
Suy ra,

p(µ, τ |x) ∝ τ a0 +n/2−1/2

  
τ n b0 b 0 n
m0 )2 ] + (x̄ − m0 )2 + 2c0 + ns2

× exp − (n + b0 ) µ − ( x̄ +
2 b0 + n b0 + n b0 + n

Ta dễ dàng thấy được, phân phối hậu nghiệm (µ, τ |x) ∼ N − G(a1 , b1 , c1 , m1 )
với 
a1 = a0 + n2







b1 = b0 + n


n 2
s + b0b+n

c = c + 0
(x̄ − m0 )2 ]

1 0



 2


m1 = n x̄ + b0 m0

b0 +n b0 +n

Vậy, ước lượng Bayes bằng phương pháp trung bình bình phương nhỏ nhất
là: 
 n b0
µ̂M SE =

b0 +n x̄ + b0 +n m0
a0 +n/2
τ̂M SE =

  b0
c0 + n2 2
s + b +n (x̄−m0 )2 ]
0

Định lý đã được chứng minh.

ii) Tiên nghiệm phẳng
Định lý sau đây chỉ ra phân phối tiên nghiệm phẳng, phân phối hậu nghiệm
và ước lượng Bayes.

Định lý 2.4.6 Đặt x = (x1 , ..., xn ) là các quan sát độc lập cùng phân phối
chuẩn N (µ, σ 2 ). Theo như hàm bình phương mất mát và phân phối tiên nghiệm
phẳng π(µ, τ ) ∝ τ 3/2 , ta thu được các kết quả sau:
2
(i) Phân phối hậu nghiệm p(µ, τ |x) ∼ N − G( n2 + 2, n, ns2 , x̄)

34
 (ii) Ước lượng Bayes

µ̂M SE = x̄


n/2+2
τ̂M SE = = (1 + n4 ). s12

ns2 /2

Chứng minh. Để tìm được phân phối tiên nghiệm, ta cần tìm ma trận thông
tin Fisher.  
2
∂2
−E( ∂∂2 µ ) −E( ∂µ∂σ 2)
I(µ, σ 2 ) =  2 2

−E( ∂σ∂2 ∂µ ) −E( ∂ 2∂(σ2 ) )
Ta có hàm logarit của hàm hợp lý như sau:
n
n 1 X
2 2
l(µ, σ ) = logL(µ, σ ) = − log(σ 2 ) − 2 (xi − µ)2
2 2σ i=1
Suy ra
n
∂ 1 X 1
l(µ, σ 2 ) = 2 (xi − µ) = 2 (nx̄ − nµ)
∂µ σ i=1 σ
n
∂ 2 n 1 X
2
l(µ, σ ) = − 2 + 4 (xi − µ)2
∂σ 2σ 2σ i=1
∂2 −n
=
∂ 2µ σ2
n
∂2 n 1 X
2 2
= 4− 6 (xi − µ)2
∂ (σ ) 2σ σ i=1
∂2 ∂2 n
= = − (x̄ − µ)
∂µ∂σ 2 ∂σ 2 ∂µ σ4
Suy ra, ta có ma trận thông tin Fisher:
 
n
σ2 0
I(µ, σ 2 ) =  
n
0 2σ 4

Do đó,
2n2
det I(µ, σ ) = 6
2σ
35
Suy ra,
n2 τ 3
det I(µ, τ ) =
2
Jeffrey’rule:
p
π(µ, τ ) ∝ det(I)
=> π(µ, τ ) ∝ τ 3/2

Ta đã có hàm hợp lý

n  τ
f (x|µ, τ ) ∝ τ 2 exp − n(µ − x̄)2 + ns2 ]}
2

Hàm phân phối tiên nghiệm phẳng

π(µ, τ ) ∝ τ 3/2

Theo định lý Bayes, phân phối hậu nghiệm tỉ lệ với tích của phân phối tiên
nghiệm và hàm hợp lý

ns2
 
n/2+2− 21 τ 2
f (x|µ, τ )π(µ, τ ) ∝ τ exp − n(µ − x̄) + 2 ]
2 2

Vậy,
n ns2
(µ, τ )|x ∼ N − G( + 2, n, , x̄)
2 2
Vậy, theo bình phương hàm mất mát, ước lượng Bayes bằng phương pháp
trung bình bình phương sai số nhỏ nhất là

µ̂M SE = x̄ = µ̂M LE


n/2+2
τ̂M SE = = (1 + n4 ). s12 ≈ τ̂M LE

ns2 /2

Định lý đã được chứng minh.

36
Nhận xét 2.4.7 Trong trường hợp tiên nghiệm phẳng thì

µ̂M SE = µ̂M LE


τ̂M SE ≈ τ̂M LE


37
Chương 3

Ứng dụng
3.1 Mô phỏng

Ở phần này ta sẽ đi vào áp dụng lý thuyết đã xây dựng ở chương 2 vào

việc mô phỏng và áp dụng thuật toán Gibbs Sampling ứng dụng tính toán
Bayes. Chúng ta sẽ thực hiện mô phỏng đối với từng trường hợp theo trình
tự các bước sau đây:

1. Sinh ra bộ dữ liệu mẫu với các tham số kỳ vọng và phương sai cho trước.

2. Từ bộ dữ liệu mẫu đã sinh ra ở bước 1, chúng ta đi ước lượng các tham

số bằng phương pháp Bayes và ước lượng hợp lý cực đại. Với phương
pháp Bayes chúng ta sẽ sử dụng các phân phối tiên nghiệm khác nhau.

3. Đưa ra nhận xét.

Dưới đây là kết quả chi tiết quá trình mô phỏng đối cho trường hợp ước lượng
kỳ vọng khi biết phương sai và ước lượng cho kỳ vọng, phương sai chưa biết.
Với trường hợp ước lượng cho phương sai khi biết kỳ vọng chúng ta có thể
thực hiện mô phỏng tương tự.

38
Trường hợp ước lượng cho kỳ vọng khi đã biết phương sai

Chúng ta xém xét biến ngẫu nhiên X ∼ N (10, 22 ). Để có bộ dữ liệu mẫu

chúng ta sẽ thực hiện sinh ra n quan sát của biến ngẫu nhiên X có kỳ vọng
là 10 và phương sai là 4. Sau khi đã có bộ dữ liệu mẫu, chúng ta sẽ coi như
chưa biết gì về giá trị kỳ vọng của X và áp dụng lý thuyết để ước lượng giá
trị kỳ vọng này. Với phương pháp ước lượng Bayes chúng ta sẽ sử dụng lần
lượt các hàm phân phối tiên nghiệm sau đây:

TH1. Tiên nghiệm phẳng.

TH2. Tiên nghiệm liên hợp N (10, 4).

TH3. Tiên nghiệm liên hợp N (10, 1).

TH4. Tiên nghiệm liên hợp N (2, 1)

TH5. Tiên nghiệm liên hợp N (18, 1).

Sau đây là bảng kết quả thu được:

µ̂ n=10 n=100 n=1000 n= 10000

MLE 10.801 9.690 9.911 9.979
M SET H1 10.801 9.690 9.911 9.979
M SET H2 10.572 9.702 9.911 9.979
M SET H3 10.308 9.733 9.912 9.979
M SET H4 5.385 8.629 9.786 9.966
M SET H5 15.231 10.836 10.038 9.992

Hình 3.1 sẽ cho chúng ta cái nhìn rõ ràng hơn về ảnh hưởng của phân phối
tiên nghiệm tới phân phối hậu nghiệm.

39
 Hình 3.1: Hình dạng phân phối tiên nghiệm và hậu nghiệm với n = 100.

Trường hợp chưa biết kỳ vọng và phương sai

Sinh ra bộ dữ liệu gồm n quan sát có phân phối chuẩn với tham số đầu
1
vào µ = 10, σ 2 = 4 (τ = σ2 = 0.25). Từ bộ dữ liệu đã được sinh ra, ta sử dụng
các phương pháp để ước lượng kỳ vọng và phương sai. Với phương pháp ước
lượng Bayes chúng ta sẽ sử dụng lần lượt các hàm phân phối tiên nghiệm sau
đây:

1. Tiên nghiệm phẳng.

2. Tiên nghiệm liên hợp N-G(2, 1, 1, 10).

3. Tiên nghiệm liên hợp N-G(2, 1, 1, 1).

4. Tiên nghiệm liên hợp N-G(2, 1, 1, 20).

Trong trường hợp này chúng ta hoàn toàn có thể áp dụng thuật toán Gibbs

40
Sampling để tính toán các giá trị ước lượng. Sau đây là bảng kết quả thu
được:
n=10 TH1 TH2 TH3 TH4
(µ̂; τ̂ )M LE 9.321 0.556 9.321 0.556 9.321 0.556 9.321 0.556
(µ̂; τ̂ )M SE 9.321 0.433 9.383 0.686 8.565 0.168 10.292 0.113
(µ̂; τ̂ )Gibbs 9.321 0.499 9.384 0.689 8.561 0.168 10.299 0.113

n=100 TH1 TH2 TH3 TH4

(µ̂; τ̂ )M LE 9.724 0.237 9.724 0.237 9.724 0.237 9.724 0.237
(µ̂; τ̂ )M SE 9.724 0.247 9.726 0.245 9.637 0.208 9.825 0.197
(µ̂; τ̂ )Gibbs 9.726 0.235 9.725 0.246 9.634 0.208 9.826 0.197

n=1000 TH1 TH2 TH3 TH4

(µ̂; τ̂ )M LE 9.984 0.244 9.984 0.244 9.984 0.244 9.984 0.244
(µ̂; τ̂ )M SE 9.984 0.245 9.984 0.245 9.975 0.241 9.994 0.239
(µ̂; τ̂ )Gibbs 9.984 0.244 9.984 0.245 9.975 0.240 9.994 0.239

Nhận xét:

- Thấy rằng khi mà ta sử dụng tiên nghiệm phẳng thì kết quả ước lượng
MLE và Bayes MSE là tương đương nhau.

- Đối với phương pháp ước lượng Bayes thì phân phối tiên nghiệm ảnh
hưởng nhiều đến kết quả của phân phối hậu nghiệm, nhưng khi mà
lượng quan sát càng nhiều thì sự ảnh hưởng này có xu hướng giảm.

- Từ kết quả mô phỏng ta thấy rằng, giá trị ước lượng bằng phương pháp
Bayes MSE có xu hướng tiến dần về giá trị ước lượng MLE khi n càng
lớn.

41
 Hình 3.2: Minh họa dữ liệu của µ và τ sinh ra từ Gibbs Sampling

- Thuật toán Gibbs Sampling đưa ra kết quả tính toán tốt khi so với kết
quả ước lượng lý thuyết.

3.2 Dữ liệu thật

Ở phần này chúng ta sẽ đi vào áp dụng lý thuyết vào giải quyết bài toán
ước lượng kỳ vọng và phương sai với dữ liệu thực tế.

3.2.1 Giới thiệu dữ liệu và yêu cầu bài toán

Bộ dữ liệu này được thu thập trên Kaggle, được tác giả giới thiệu là bộ
dữ liệu về điểm thi các thí sinh đạt được trong kỳ thi tuyển sinh đại học cao
đẳng năm học 2019-2020 tại Việt Nam.

42
 Hình 3.3: Hình ảnh minh họa bộ dữ liệu

Nội dung của bộ dữ liệu

Bộ dữ liệu này bao gồm số báo danh thí sinh và điểm tương ứng từng môn
thi của thí sinh đó, có 811851 dòng dữ liệu và các trường cơ bản như:

• SBD - Số báo danh

• Dia Ly - Điểm địa lý

• Ngu Van - Điểm ngữ văn

• Toan Hoc - Điểm toán

• Vat Ly - Điểm vật lý

• Hoa Hoc - Điểm hóa học

• Sinh Hoc - Điểm sinh học

• Lich Su - Điểm lịch sử

• GDCD - Điểm giáo dục công dân

43
Yêu cầu với bộ dữ liệu

Với bộ dữ liệu này, yêu cầu đặt ra là hãy ước lượng trung bình và phương
sai của điểm thi môn địa lý bằng suy luận Bayes.

3.2.2 Giải quyết yêu cầu bài toán

Chúng ta sẽ giả sử rằng dữ liệu điểm địa lý là x = (x1 , ..., xn ), gồm n

quan sát độc lập cùng phân phối chuẩn N (µ, σ 2 ). Lúc này, để có thể áp dụng
phương pháp Bayes vào ước lượng trung bình và phương sai cho điểm thi địa
lý chúng ta cần có thông tin tiên nghiệm.

Hình 3.4: Dữ liệu điểm thi môn địa lý

Tiên nghiệm liên hợp

Để lựa chọn phân phối tiên nghiệm hợp lý, chúng ta xem xét một số thông
tin về điểm thi môn địa lý thu thập được như bảng dưới đây

Năm 2015 2016 2017 2018 2020 2021 2022

Điểm TB 6.00 5.27 6.20 5.46 6.78 6.96 6.68

44
Từ bảng thông tin có được, chúng ta có thể xem xét sử dụng phân phối tiên
nghiệm liên hợp N-G. Chúng ta tính được các số đặc trưng sau

Điểm trung bình các năm: 6.19


Phương sai: 0.4327



Chúng ta cần xác định phân phối tiên nghiên N-G(a0 , b0 , c0 , m0 ) phù hợp với
thông tin đã có. Chúng ta biết là

 a0 = E(τ )

c0

 a20 = V ar(τ )

c 0

và 
m0 = E(µ)


c0
= V ar(µ)


b(a−1)

Từ thông tin đã có ta có thể đặt E(µ) = 6.19, V ar(µ) = 0.4327. Rõ ràng ở

1
đây chúng ta chưa có thông tin về V ar(τ ) và E(τ ), vậy nên tôi chọn E(τ ) = s2

và V ar(τ ) = 0.5. Ta tìm được a0 = 1.316, b0 = 6.34, c0 = 0.867, m0 = 6.19.

Khi sử dụng phân phối tiên nghiệm là N-G(a0 , b0 , c0 , m0 ) thì chúng ta biết
rằng phân phối hậu nghiệm cũng là phân phối N-G

(µ, τ )|x ∼ N − G(a1 , b1 , c1 , m1 )

với các tham số cập nhật là


a1 = a0 + n2







b1 = b0 + n


n 2 b0
 2
c = c + 2 s + b0 +n (x̄ − m0 ) ]

1 0






m1 = n x̄ + b0 m0

b0 +n b0 +n

45
Ước lượng Bayes bằng phương pháp trung bình bình phương sai số nhỏ nhất:

µ̂M SE = m1


τ̂M SE =
 a1
c1

Dưới đây là kết quả tính toán được


µ̂M SE = 5.988


τ̂M SE = 0.658


Kết luận: Giá trị ước lượng trung bình điểm thi môn địa lý bằng suy luận
Bayes trong trường hợp này là 5.988 điểm với phương sai là 1.518.

3.2.3 Tiên nghiệm phẳng

Giả sử tôi không có thông tin nào về điểm thi môn địa lý, lúc này tôi nên
chọn phân phối tiên nghiệm phẳng

π(µ, τ ) ∝ τ 3/2

ta sẽ thu được hậu nghiệm

n ns2
p(µ, τ |x) ∼ N-G( + 2, n, , x̄)
2 2
và khi đó 
µ̂M SE = x̄


n/2+2
τ̂M SE = = (1 + n4 ). s12 .

ns2 /2

Dưới đây là kết quả thu được


µ̂M SE = 5.988


τ̂M SE = 0.658.


46
Kết luận: Giá trị ước lượng trung bình điểm thi môn địa lý bằng suy luận
Bayes trong trường hợp này là 5.988 điểm với phương sai là 1.518.

Nhận xét 3.2.1 Với bộ dữ liệu có số quan sát lớn (n = 535897) thì kết quả
ước lượng bằng phương pháp Bayes bằng các phân phối tiên nghiệm khác nhau
không có nhiều sự khác biệt.

47
Kết luận
Suy luận Bayes cung cấp cho chúng ta một phương pháp tiếp cận mới
cho các bài toán ước lượng các tham số của mô hình thống kê. Khác với các
phương pháp ước lượng cổ điển là chỉ dựa vào hoàn toàn thông tin từ dữ liệu
có được để lập mô hình ước lượng các tham số, thì với phương pháp Bayes
ta có thể thêm thông tin tiên nghiệm vào mô hình ước lượng. Cũng vì yếu
tố thông tin tiên nghiệm trong suy luận Bayes nên ta thấy rằng với suy luận
Bayes thì xác suất phụ thuộc vào "niềm tin" của người phân tích nên có thể
nói đây cũng là ưu điểm và cũng chính là nhược điểm của suy luận Bayes.
Với suy luận Bayes thì việc lựa chọn phân phối tiên nghiệm là một vấn
đề quan trọng vì nó ảnh hưởng đến kết quả của mô hình ước lượng. Để hạn
chế sự ảnh hưởng của phân phối tiên nghiệm đến kết quả của phân phối hậu
nghiệm chúng ta có thể sử dụng phân phối tiên nghiệm không có thông tin
hoặc những hàm phân phối tiên nghiệm không có quá nhiều sự chênh lệch
trọng số giữa các giá trị có khả năng.
Chúng ta thấy rằng, suy luận Bayes có một số hạn chế như việc tính toán
phức tạp, không có quy định chung để lựa chọn phân phối tiên nghiệm, nếu
đưa thông tin tiên nghiệm sai lầm thì kết quả suy luận có thể sai hướng.
Nhưng chúng ta cũng thấy suy luận Bayes vẫn có những ưu điểm vượt trội
hơn so với các phương pháp cổ điển như có thể sử dụng tốt khi cỡ mẫu nhỏ,

48
có thể kết hợp thông tin quá khứ qua hàm phân phối tiên nghiệm, nếu thông
tin tiên nghiệm tốt có thể cải thiện được kết quả dự báo. Như vậy, để đạt
được kết quả phân tích tốt trong một số tình huống chúng ta có thể xem xét
kết hợp sử dụng các phương pháp suy luận khác nhau.

49
Phụ lục
Mã nguồn code R mô phỏng ước lượng µ, khi biết phương sai:

####TH1 :
# Dau vao
mu<−10
sigma<−2
par ( mfrow=c ( 2 , 2 ) )
# Mo phong
n<−100
x<−rnorm ( n , mean = mu, sd=sigma )
# MLE
s<−sum ( x )
x . bar<−s /n
mu.MLE<−x . bar

############################
# 1 . Tien nghiem l i e n hop
#P r i o r i n f o r m a t i o n N( 1 0 , 4 )

50
a0 = 10
b0 = 2
#P r i o r i n f o r m a t i o n N( 1 0 , 1 )
a0 = 10
b0 = 1
#P r i o r i n f o r m a t i o n N( 2 , 1 )
a0 = 2
b0 = 1
#P r i o r i n f o r m a t i o n N( 1 8 , 1 )
a0 = 18
b0 = 1
# Prior distribution
#c u r v e ( dnorm ( x , mean = a0 , sd=b0 ) , c o l ="r e d " , lwd=2)
# Posterior distribution
k<−n/ sigma ^2 + 1/ b0^2
a1<−(b0^2∗x . bar+sigma ^2∗ a0 /n ) / ( sigma ^2/n + b0 ^2)
b1<−s q r t (1 / k )
#c u r v e ( dnorm ( x , mean = a1 , sd=b1 ) ,
c o l ="b l u e " , lwd =3, l t y = 2 , add = T)
#l e g e n d ( " t o p l e f t " ,
# c (" Prior " , " P o s t e r i o r ") ,
# c o l=c ( " re d " , " b l u e " , par ( " f g " ) ) , l t y = 1 : 2 , cex = 1 )
# Estimate
mu.MSE<−a1
c (mu.MLE, mu.MSE)

51
Mã nguồn code R mô phỏng ước lượng µ, τ chưa biết:

###########################################
# Data
n <− 100 #sample s i z e
mu<−10
tau <−0.25
x<−rnorm ( n , mean=mu, sd=1/ s q r t ( tau ) )
#MLE
x . bar <− sum ( x ) / n
x . bar
s2<−sum ( ( x−x . bar )^2)/ n
v2<−sum ( ( x−mu)^2)/ n
mu.MLE<−x . bar
tau .MLE<−1/s2
#−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
#1. F l a t p r i o r p i (mu, tau ) i s p r o p o r t i o n a l t o tau ^(−1)
#Bayes
mu.MSE<−x . bar
tau .MSE<−(1+4/n ) / s2
#R e s u l t
c (mu.MLE, tau .MLE, mu.MSE, tau .MSE)

#Bayes
#2. P r i o r N−G( 2 , 1 , 1 , 1 0 ) :
a0 <−2; b0<−1;c0 <−1; m0<−10;

52
#3. P r i o r N−G( 2 , 1 , 1 , 1 )
a0 <−2; b0<−1;c0 <−1; m0<−1;
#4. P r i o r N−G( 2 , 1 , 1 , 2 0 )
a0 <−2; b0<−1;c0 <−1; m0<−20;

#p o s t e r i o r
a1<−a0+n/2
c1<−c0+(n / 2 ) ∗ ( s2+b0 / ( b0+n ) ∗ ( x . bar−m0)^2)
mu.MSE<−n / ( b0+n ) ∗ x . bar+b0 / ( b0+n ) ∗m0
tau .MSE<−a1 / c1

#R e s u l t
c (mu.MSE, tau .MSE)
result_Gibbs ( )

#g i b b s sampling
#F l a t p r i o r
N<−20000 #number o f i t e r a t i o n s
mu. mc<−r ep ( 0 , N) #c r e a t e a v e c t o r t o s t o r e t he c h a i n
tau . mc<−r ep ( 0 , N) #c r e a t e a v e c t o r t o s t o r e t h e c h a i n
mu. mc[1] < −1 # s t a r t i n g v a l u e
tau . mc[1] < −1
i <−1
w h i l e ( i < N) {

53
 mu. mc [ i +1]<−rnorm ( 1 , mean = x . bar , sd =
1/ s q r t ( n∗ tau . mc [ i ] ) )
tau . mc [ i +1]<−rgamma ( 1 , shape = n/2+2 , r a t e =
1/2∗sum ( ( x−mu. mc [ i + 1 ] ) ^ 2 ) )
i <−i +1
}
mu. gs<−mu. mc [ 5 0 0 :N]
tau . gs<−tau . mc [ 5 0 0 :N]
p l o t (mu. mc [ 1 : 1 0 0 ] , type = " s " , c o l = " b l u e " )
p l o t ( tau . mc [ 1 : 1 0 0 ] , type = " s " , c o l = " b l u e " )
h i s t (mu. gs , p r o b a b i l i t y = T, b r e a k s = 1000)
l i n e s ( d e n s i t y ( na . omit (mu. gs ) ) , c o l ="r e d " , lwd=3)
mu. hat <−mean (mu. gs )
tau . hat <−mean ( tau . gs )
mu. hat .MSE <− mean ( (mu. gs − mu. hat )^ 2)
h i s t ( tau . gs , p r o b a b i l i t y = T, xlim = c ( 0 , 0 . 5 ) ,
b r e a k s = 1000)
l i n e s ( d e n s i t y ( tau . gs ) , c o l ="re d " , lwd=3)
tau . hat .MSE <− mean ( ( tau . gs − tau . hat )^2)
#R e s u l t
c (mu. hat , tau . hat )

##################
# P r i o r N−G
r e s u l t _ G i b b s <− f u n c t i o n ( )

54
{
a1 <− a0+n/2
b1<−b0+n
c1 <− c0 + ( n / 2 ) ∗ ( s2+b0 / ( b0+n ) ∗ ( x . bar−m0)^2)
m1 <− n / ( b0+n ) ∗ x . bar+b0 / ( b0+n ) ∗m0

N<−20000 #number o f i t e r a t i o n s
mu. mc<−r ep ( 0 , N) #c r e a t e a v e c t o r t o s t o r e t he c h a i n
tau . mc<−r ep ( 0 , N) #c r e a t e a v e c t o r t o s t o r e t h e c h a i n
mu. mc[1] < −1 # s t a r t i n g v a l u e
tau . mc[1] < −1
i <−1
w h i l e ( i < N) {
mu. mc [ i +1]<−rnorm ( 1 , mean = m1, sd =
1/ s q r t ( b1 ∗ tau . mc [ i ] ) )
tau . mc [ i +1]<−rgamma ( 1 , shape = a1 , r a t e = c1 )
i <−i +1
}
mu. gs<−mu. mc [ 5 0 0 :N]
tau . gs<−tau . mc [ 5 0 0 :N]
mu. hat <−mean (mu. gs )
tau . hat <−mean ( tau . gs )
#R e s u l t
c (mu. hat , tau . hat )
}

55
Mã nguồn code R giải quyết bài toán với dữ liệu thật:

#l o a d data
data <− read . c s v ( "D: /DA3/ data / diemthi2019_update . c s v " )
#C l e a r NA and e x t r a c t data
x <− na . omit ( data$Dia . Ly )
h i s t ( x , prob = T, b r e a k s = 2 5 , main="Histogram o f Dia_Ly " )
l i n e s ( d e n s i t y ( x , bw = 0 . 2 ) )
n <− NROW( x )
#qqnorm ( x )
#l i b r a r y ( " d g o f " )
#ks . t e s t ( x , " pnorm " )
#l i b r a r y ( t s e r i e s )
#j a r q u e . bera . t e s t ( x )
#a p p l i c a t i o n
x . bar <− mean ( x )
s2<−sum ( ( x−x . bar )^2)/ n
mu.MLE<−x . bar
s2 .MLE<−s2
tau .MLE<−1/s2
#−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
#1. F l a t p r i o r p i (mu, tau ) i s p r o p o r t i o n a l t o tau ^(−1)
#Bayes
mu.MSE<−x . bar
tau .MSE<−(1+4/n ) / s2
#R e s u l t

56
c (mu.MLE, tau .MLE, mu.MSE, tau .MSE)
#−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
#4. P r i o r a_0=1.316 ,b_0=6.34 , c_0 =0.867 ,m_0= 6 . 1 9 .
a0 = 1 . 3 1 6 ; b0 = 6 . 3 4 ; c0 = 0 . 8 6 7 ; m0= 6 . 1 9 ;
#p o s t e r i o r
a1<−a0+n/2
c1<−c0+(n / 2 ) ∗ ( s2+b0 / ( b0+n ) ∗ ( x . bar−m0)^2)
mu.MSE<−n / ( b0+n ) ∗ x . bar+b0 / ( b0+n ) ∗m0
tau .MSE<−a1 / c1
#R e s u l t
c (mu.MLE, s2 .MLE, mu.MSE, 1/ tau .MSE)

57
Tài liệu tham khảo
Tiếng Việt

[1] Trần Minh Ngọc, Đỗ Văn Cường, tài liệu Khóa bồi dưỡng giảng viên năm
2021 "Một số chủ đề hiện đại trong thống kê ứng dụng ”, Viện Nghiên
cứu cao cấp về Toán (VIASM).

[2] Tống Đình Quỳ (2009), Giáo trình xác suất thống kê, Nhà xuất bản Giáo
dục, Hà Nội.

Tiếng Anh

[3] William M. Bolstad (2007), Introduction to Bayesian Statistics, Univer-

sity of Waihto Department of Statistics Hamilton, New Zealand.

58