Chương 4: Hồi Quy Tuyến Tính Đơn

Chương 4: Hồi quy tuyến tính đơn
Hoàng Văn Hà
hvha@hcmus.edu.vn
Trường Đại học Khoa học tự nhiên
Đại học Quốc gia TP. Hồ Chí Minh
Nội dung
Giới thiệu mô hình hồi quy tuyến tính

Phân tích hồi quy
Mô hình hồi quy tuyến tính đơn
Ước lượng các hệ số hồi quy
Phương pháp bình phương bé nhất
Tính chất của các ước lượng hệ số hồi quy
Hệ số xác định R2
Hồi quy tuyến tính đơn: ví dụ
Phân tích thặng dư
Kiểm định giả thuyết cho các hệ số hồi quy
Hệ số tương quan mẫu
Kiểm định hệ số tương quan
Bài tập
H.V.Ha (hvha@hcmus.edu.vn) · Vietnam National University - HCM · Chương 4: Hồi quy tuyến tính đơn 2
1 Giới thiệu mô hình hồi quy tuyến tính
Bài toán: trong các hoạt động về khoa học - kỹ thuật, y học, kinh tế - xã hội, . . . ta có
nhu cầu xác định mối liên giữa hai hay nhiều biến ngẫu nhiên với nhau.
Ví dụ:
I Mối liên hệ giữa chiều cao và cỡ giày của một người, từ đó một cửa hàng bán giầy
dép có thể xác định chính xác cỡ giầy của một khách hàng khi biết chiều cao,
Ví dụ:
I Độ giãn nở của một loại vật liệu theo nhiệt độ môi trường,
Ví dụ:
I Hàm lượng thuốc gây mê và thời gian ngủ của bệnh nhân,
Ví dụ:
I Doanh thu khi bán 1 loại sản phẩm và số tiền chi cho quảng cáo và khuyến mãi,
Ví dụ:
I ...
Ví dụ:
I ...
Ví dụ:
I ...
Để giải quyết các vấn đề trên, ta sử dụng kỹ thuật phân tích hồi quy (Regression
Analysis).
I Phân tích hồi quy được sử dụng để xác định mối liên hệ giữa:
. một biến phụ thuộc Y , và
. một hay nhiều biến độc lập X1, X2, . . . , Xp. Các biến này còn được gọi là biến
giải thích.
giải thích.
Biến phụ thuộc Y phải là biến liên tục (trong bối cảnh ta đang xét là hồi quy
tuyến tính),
giải thích.
tuyến tính),
Các biến độc lập X1 , X2 , . . . , Xp có thể là biến liên tục, rời rạc hoặc phân loại.
giải thích.

tuyến tính),

. Mối liên hệ giữa X1, . . . , Xp và Y được biểu diễn bởi một hàm tuyến tính, tức là
Y = β0 + β1X1 + β2X2 + . . . + βpXp + sai số .
giải thích.

tuyến tính),

. Sự thay đổi trong Y được giả sử do những thay đổi trong X1, . . . , Xp gây ra.
giải thích.

tuyến tính),

I Trên cơ sở xác định mối liên hệ giữa biến phụ thuộc Y và các biến giải thích X1, X2,
. . . , Xp , ta có thể:
giải thích.

tuyến tính),

. . . , Xp , ta có thể:
. dự đoán, dự báo giá trị của Y ,
giải thích.

tuyến tính),

. . . , Xp , ta có thể:
. dự đoán, dự báo giá trị của Y ,
. giải thích tác động của sự thay đổi trong các biến giải thích lên biến phụ thuộc.
Định nghĩa 1
Một mô hình thống kê tuyến tính đơn (simple linear regression model) liên quan đến một
biến ngẫu nhiên Y và một biến giải thích x là phương trình có dạng
Y = β0 + β1X + , (1)
trong đó
• β0, β1 là các tham số chưa biết, gọi là các hệ số hồi quy,
• X là biến độc lập, giải thích cho y ,
• là thành phần sai số.
Các giả định về sai số ngẫu nhiên
I Các sai số ngẫu nhiên i, i = 1, . . . , n trong mô hình (6) được giả sử thỏa các điều
kiện sau
kiện sau
. Các sai số i độc lập với nhau,
kiện sau
. E(i) = 0 và Var(i) = σ 2,
kiện sau
. E(i) = 0 và Var(i) = σ 2,
. Các sai số có phân phối chuẩn: i ∼ N (0, σ 2) với phương sai không đổi.
kiện sau
. E(i) = 0 và Var(i) = σ 2,
I Cho trước X = x, ta có:

E(Y |X = x) = β0 + β1x. (2)
kiện sau
. E(i) = 0 và Var(i) = σ 2,

E(Y |X = x) = β0 + β1x. (2)
kiện sau
. E(i) = 0 và Var(i) = σ 2,

E(Y |X = x) = β0 + β1x. (2)
Suy ra phân phối có điều kiện của Y cho trước X = x là
Y |X = x ∼ N (β0 + β1x, σ 2). (3)
I Trong mô hình (5), sự thay đổi của Y được giả sử ảnh hưởng bởi 2 yếu tố:
. Mối liên hệ tuyến tính của X và Y : β0 + β1X . Trong đó, β0 được gọi là hệ số chặn
(intercept) và β1 gọi là hệ số góc (slope).
. Tác động của các yếu tố khác (không phải X ): thành phần sai số .
. Tác động của các yếu tố khác (không phải X ): thành phần sai số .
I Với (x1, y1), . . . , (xn, yn) là n cặp giá trị quan trắc của một mẫu ngẫu nhiên cỡ n, từ
(5) ta có
yi = β0 + β1xi + i, i = 1, 2, . . . , n (4)
I Sử dụng đồ thị phân tán (scatter plot) để biểu diễn các cặp giá trị quan trắc (xi, yi)
trên hệ trục tọa độ Oxy .
2 Ước lượng các hệ số hồi quy
I Gọi βˆ1 và βˆ0 là các ước lượng của β0 và β1.

I Đường thẳng hồi quy với các hệ số ước lượng (fitted regression line):
Ŷ = βˆ0 + βˆ1x. (5)

Ŷ = βˆ0 + βˆ1x. (5)
I Một đường thẳng ước lượng tốt phải "gần với các điểm dữ liệu".

Ŷ = βˆ0 + βˆ1x. (5)
I Một đường thẳng ước lượng tốt phải "gần với các điểm dữ liệu".
I Tìm βˆ0 và βˆ1: dùng phương pháp bình phương bé nhất (method of least squares).
I Với dữ liệu (xi, yi), i = 1, . . . , n, từ (5) ta có

ŷi = βˆ0 + βˆ1xi. (6)

ŷi = βˆ0 + βˆ1xi. (6)
I Độ sai khác giữa giá trị quan trắc yi và giá trị dự đoán ŷi gọi là thặng dư (residual)
thứ i, xác định như sau
ei = yi − ŷi = yi − (βˆ0 + βˆ1xi). (7)

ŷi = βˆ0 + βˆ1xi. (6)
ei = yi − ŷi = yi − (βˆ0 + βˆ1xi). (7)

ŷi = βˆ0 + βˆ1xi. (6)
ei = yi − ŷi = yi − (βˆ0 + βˆ1xi). (7)
Định nghĩa 2
Tổng bình phương sai số (Sum of Squares for Errors - SSE) hay tổng bình phương thặng
dư cho n điểm dữ liệu được định nghĩa như sau
n n 2
yi − (βˆ0 + βˆ1xi) .

SSE = e2i =
X X
(8)
i=1 i=1
Nội dung của phương pháp bình phương bé nhất là tìm các ước lượng βˆ0 và βˆ1 sao cho
SSE đạt giá trị bé nhất.
Từ (8), lấy đạo hàm theo β0 và β1 ,

∂ SSE n
= −2 [yi − (β0 + β1xi)] = 0,
X
∂β0 i=1
∂ SSE n
= −2 [yi − (β0 + β1xi)] xi = 0,
X
∂β1 i=1
Từ (8), lấy đạo hàm theo β0 và β1 ,

∂ SSE n
= −2 [yi − (β0 + β1xi)] = 0,
X
∂β0 i=1
∂ SSE n
= −2 [yi − (β0 + β1xi)] xi = 0,
X
∂β1 i=1
ta thu được hệ phương trình

n n
nβ0 + β1 xi = yi ,
X X
(9)
i=1 i=1
n n n
β0 xi + β1 x2i = xiyi.
X X X
i=1 i=1 i=1
Ước lượng bình phương bé nhất
Giả hệ (9), ta tìm được các ước lượng bình phương bé nhất của β0 và β1 là
n Pn
i=1 xi ) ( i=1 yi )
(
P
Pn
i=1 xi yi − Sxy
βˆ1 = n = , (10)
Pn 2
Pn 2 ( i=1 xi) Sxx
i=1 xi −
n
βˆ0 = ȳ − βˆ1x̄. (11)
Giả hệ (9), ta tìm được các ước lượng bình phương bé nhất của β0 và β1 là
n Pn
i=1 xi ) ( i=1 yi )
(
P
Pn
i=1 xi yi − Sxy
βˆ1 = n = , (10)
Pn 2
Pn 2 ( i=1 xi) Sxx
i=1 xi −
n
βˆ0 = ȳ − βˆ1x̄. (11)
với Sxx và Sxy xác định bởi
2 Pn
n x i ) n (
Sxx = (xi − x̄)2 = x2i − i=1 ,
X X
(12)
i=1 i=1 n
n n ( ni=1 xi) ( ni=1 yi)
P P
Sxy = (xi − x̄)(yi − ȳ) = xiyi − .

X X
(13)
i=1 i=1 n
I Các ước lượng βˆ0 và βˆ1 tìm được gọi là các ước lượng bình phương bé nhất.
I Đường thẳng ŷ = βˆ0 + βˆ1x gọi là đường thẳng bình phương bé nhất, thỏa các tính
chất sau:
(1)
n
SSE = (yi − ŷi)2,
X
i=1
đạt giá trị bé nhất,
(2)
n n
SE = (yi − ŷi) = ei = 0,
X X
i=1 i=1
với SE là tổng các thặng dư (Sum of Errors).
3 Tính chất của các ước lượng hệ số hồi quy
Tính chất của các ước lượng bình phương bé nhất
Định lý 1
Xét Y = β0 + β1 X + là một mô hình hồi quy tuyến tính đơn với ∼ N (0, σ 2 ). Với n
cặp giá trị quan trắc (xi , yi ), i = 1, . . . , n ta có
yi = β0 + β1xi + i.
Gọi βˆ0 và βˆ1 là các ước lượng của β0 và β1 tìm được từ phương pháp bình phương bé
nhất, khi đó
1. βˆ0 và βˆ1 tuân theo luật phân phối chuẩn.
2. Kỳ vọng và phương sai của βˆ0 và βˆ1 lần lượt là
x̄2  2
 
ˆ ˆ 1
E(β0) = β0, Var(β0) =  + σ , (14)
n Sxx
2
σ
E(βˆ1) = β1, Var(βˆ1) = . (15)
Sxx
Ta có β̂0 và β̂1 lần lượt là các ước lượng không chệch cho β0 và β1 .
Mệnh đề 1
Ước lượng của phương sai σ 2 của sai số của mô hình được cho bởi
SSE
σ̂ 2 = . (16)
n−1
Ta cũng có E[σ̂ 2 ] = σ 2 tức là σ̂ 2 là một ước lượng không chệch cho σ 2 .
Mệnh đề 1
Ước lượng của phương sai σ 2 của sai số của mô hình được cho bởi
SSE
σ̂ 2 = . (16)
n−1
Ta cũng có E[σ̂ 2 ] = σ 2 tức là σ̂ 2 là một ước lượng không chệch cho σ 2 .
Định nghĩa 3
Trong mô hình hồi quy tuyến tính đơn, sai số chuẩn (SE) của các ước lượng βˆ0 và βˆ1 là
v
x̄2  2

1
u
u
SE(βˆ0) = +  σ̂ ,
u
u
t (17)
n Sxx
v
σ̂ 2
u
u
SE(βˆ1) =
u
u
t , (18)
Sxx
Định lý 2 (Gauss - Markov)
Xét mô hình hồi quy tuyến tính đơn

Y = β0 + β1X + ,
có βˆ0 và βˆ1 là các ước lượng bình phương bé nhất cho β0 và β1 , khi đó βˆ0 và βˆ1 là các
ước lượng không chệch tốt nhất.
4 Hệ số xác định R2
Độ đo sự biến thiên của dữ liệu
Gọi:
I SST: Tổng bình phương toàn phần (Total Sum of Squares),
n
SST = (yi − ȳ)2.
X
i=1
SST còn được ký hiệu là Syy .

I SSR: Tổng bình phương hồi quy (Regression Sum of Squares),
n
SSR = (ŷi − ȳ)2.
X
i=1
I SSE: Tổng bình phương sai số (Error Sum of Squares),

n
SSE = (yi − ŷi)2.
X
i=1
Độ đo sự biến thiên của dữ liệu
I SST: đo sự biến thiên của các giá trị yi xung quanh giá trị trung tâm của dữ liệu ȳ ,
I SSR: giải thích sự biến thiên liên quan đến mối quan hệ tuyến tính của X và Y ,
I SSE: giải thích sự biến thiên của các yếu tố khác (không liên quan đến mối quan hệ
tuyến tính của X và Y ).
Ta chứng tỏ được:
n n n
(yi − ȳ)2 = (ŷi − ȳ)2 + (yi − ŷi)2,
X X X
(19)
i=1 i=1 i=1
SST = SSR + SSE .
Hệ số xác định
Định nghĩa 4
Hệ số xác định (Coefficient of Determination) là tỷ lệ của tổng sự biến thiên trong biến
phụ thuộc gây ra bởi sự biến thiên của các biến độc lập (biến giải thích) so với tổng sự
biến thiên toàn phần.
Hệ số xác định thường được gọi là R - bình phương (R-squared), ký hiệu là R2 .
Công thức tính:
SSR SSR
R2 = = . (20)
SST SSR + SSE
Chú ý: 0 ≤ R2 ≤ 1.
Định nghĩa 4
Hệ số xác định (Coefficient of Determination) là tỷ lệ của tổng sự biến thiên trong biến
phụ thuộc gây ra bởi sự biến thiên của các biến độc lập (biến giải thích) so với tổng sự
biến thiên toàn phần.
Hệ số xác định thường được gọi là R - bình phương (R-squared), ký hiệu là R2 .
Công thức tính:
SSR SSR
R2 = = . (20)
SST SSR + SSE
Chú ý: 0 ≤ R2 ≤ 1.
Hệ số xác định của một mô hình hồi quy cho phép ta đánh giá mô hình tìm được có giải
thích tốt cho mối liên hệ giữa biến phụ thuộc Y và biến phụ thuộc X hay không.
SSR SSR
R2 = =
SST SSR + SSE
SSR SSR
R2 = =
SST SSR + SSE
I Tính SSR:
n n n
2 2
SSR = (ŷi − ȳ) = (β̂0 + β̂1xi − ȳ) = (ȳ − β̂1x̄ + β̂1xi − ȳ)2
X X X
i=1 i=1 i=1

n n
= (β̂1xi − β̂1x̄) = β̂12 2
(xi − x̄)2
X X
i=1 i=1
Sxy
= β̂12Sxx = β̂1β̂1Sxx = β̂1 Sxx
Sxx
= β̂1Sxy .
SSR SSR
R2 = =
SST SSR + SSE
I Tính SSR:
n n n
2 2
SSR = (ŷi − ȳ) = (β̂0 + β̂1xi − ȳ) = (ȳ − β̂1x̄ + β̂1xi − ȳ)2
X X X
i=1 i=1 i=1

n n
= (β̂1xi − β̂1x̄) = β̂12 2
(xi − x̄)2
X X
i=1 i=1
Sxy
= β̂12Sxx = β̂1β̂1Sxx = β̂1 Sxx
Sxx
= β̂1Sxy .
I Tính SSE:
SSE = SST − SSR = SST −β̂1Sxy ,
với Pn 2
( i=1 yi )
n
SST = Syy = yi2 − .
X
i=1 n
R2 và mối liên hệ giữa X và Y
6
6
4
5
2
4
y
y
3
0
2
−2
1
−1.0 −0.5 0.0 0.5 1.0 1.5 −1 0 1 2 3
x x
I R2 = 1: X và Y có mối liên hệ tuyến tính hoàn hảo. 100% sự biến thiên của Y được
giải thích bởi X .
8
6
6
4
4
y
y
2
2
0
0
−2
−2
−1 0 1 2
−2 −1 0 1 2
x
x
I R2 càng gần 1 thì mối quan hệ tuyến I R2 càng gần 0 thì mối quan hệ tuyến
tính giữa X và Y càng mạnh. Đa số sự tính giữa X và Y càng yếu. Sự biến
biến thiên của Y được giải thích bởi X . thiên của Y càng ít được giải thích bởi
X.
2
1
y
0
−1
−2
−2 −1 0 1 2
I R2 = 0: không có mối liên hệ tuyến tính giữa X và Y . Không có sự biến thiên nào
của Y được giải thích bởi X .
5 Hồi quy tuyến tính đơn: ví dụ
Ví dụ 1
Một nhà thực vật học khảo sát mối liên hệ giữa tổng diện tích bề mặt (đv: cm2 ) của các
lá cây đậu nành và trọng lượng khô (đv: g) của các cây này. Nhà thực vật học trồng 13
cây trong nhà kính và đo tổng diện tích lá và trọng lượng của các cây này sau 16 ngày
trồng, kết quả cho bởi bảng sau:
xi 411 550 471 393 427 431 492 371 470 419 407 489 439
yi 2.00 2.46 2.11 1.89 2.05 2.30 2.46 2.06 2.25 2.07 2.17 2.32 2.12
(a) Vẽ biểu đồ phân tán biểu diễn diện tích lá X và trọng lượng khô Y của cây đậu nành
với mẫu quan sát đã cho.
(b) Tìm đường thẳng hồi quy biểu diễn mối liên hệ giữa trọng lượng cây Y theo diện tích
lá X . Vẽ đường thẳng hồi quy tìm được trên đồ thị phân tán.
(c) Tính hệ số R2 và nhận xét về mô hình.
Giải ví dụ 1:
(a) Vẽ đồ thị phân tán:
2.6
2.4
Trong luong kho (g)
2.2
2.0
1.8
400 450 500 550
Dien tich la (cm2)
Giải ví dụ 1:
(b) Tìm đường thẳng hồi quy ước lượng
ŷ = β̂0 + β̂1.
Nhắc lại, các ước lượng β̂0 và β̂1 được tính bởi:
Sxy
β̂1 = ,
Sxx
β̂0 = ȳ − β̂1x̄,
với
2 Pn
n x i )(
Sxx = x2i − i=1 ,
X
i=1 n
n ( ni=1 xi) ( ni=1 yi)
P P
Sxy = xiyi − .
X
i=1 n
Giải ví dụ 1:
(b) Từ bảng số liệu ta tính được
n n
xi = 5770, x2i = 2589458,
X X
i=1 i=1
n n
yi = 28.26, xiyi = 12625.99.
X X
i=1 i=1
Giải ví dụ 1:
n n
xi = 5770, x2i = 2589458,
X X
i=1 i=1
n n
yi = 28.26, xiyi = 12625.99.
X X
i=1 i=1
Suy ra,
1 Xn 1 Xn
x̄ = xi = 443.8462, ȳ = yi = 2.1738,
n i=1 n i=1
Giải ví dụ 1:
n n
xi = 5770, x2i = 2589458,
X X
i=1 i=1
n n
yi = 28.26, xiyi = 12625.99.
X X
i=1 i=1
Suy ra,
1 Xn 1 Xn
x̄ = xi = 443.8462, ȳ = yi = 2.1738,
n i=1 n i=1
và
Sxx = 28465.69, Sxy = 82.8977.
Giải ví dụ 1:
n n
xi = 5770, x2i = 2589458,
X X
i=1 i=1
n n
yi = 28.26, xiyi = 12625.99.
X X
i=1 i=1
Suy ra,
1 Xn 1 Xn
x̄ = xi = 443.8462, ȳ = yi = 2.1738,
n i=1 n i=1
và
Sxx = 28465.69, Sxy = 82.8977.
Ta tính được
Sxy 82.8977
β̂1 = = = 0.002912,
Sxx 28465.69
β̂0 = ȳ − β̂0x̄ = 2.1738 − 0.002912 × 443.8462 = 0.8813.
Giải ví dụ 1:
(b) Vẽ đường thẳng hồi quy ước lượng trên đồ thị phân tán:
2.6
2.4
Trong luong kho (g)
2.2
2.0
1.8
400 450 500 550
Dien tich la (cm2)
Giải ví dụ 1:
(c) Tính hệ số xác định R2 : nhắc lại công thức tính hệ số xác định
SSR
R2 = ,
SST
Giải ví dụ 1:
(c) Tính hệ số xác định R2 : nhắc lại công thức tính hệ số xác định
SSR
R2 = ,
SST
với Pn 2
( i=1 yi )
n
SST = Syy = yi2 − = 0.3637,
X
i=1 n
và
SSR = β̂1Sxy = 0.002912 × 82.8977 = 0.2414.
Vậy:
SSR 0.2414
R2 = = = 0.6637.
SST 0.3637
6 Phân tích thặng dư
I Phân tích thặng dư (Residual Analysis) được sử dụng để kiểm tra các giả định của
mô hình hồi quy tuyến tính.
I Các giả định của mô hình:
1. Tuyến tính: mối quan hệ giữa X và Y là tuyến tính tính, tức là
E[Y |X = x] = β0 + β1x.
E[Y |X = x] = β0 + β1x.
2. Phương sai bằng nhau: phương sai của biến đáp ứng (biến phụ thuộc) Y là hằng
số với mọi giá trị của biến độc lập X , tức là Var(Y |X = x) = σ 2 .
E[Y |X = x] = β0 + β1x.
3. Độc lập: các quan trắc của biến đáp ứng Y độc lập với nhau.
E[Y |X = x] = β0 + β1x.
4. Phân phối chuẩn: với mỗi giá trị của biến độc lập, phân phối có điều kiện (cho
trước giá trị x) của biến đáp ứng là phân phối chuẩn,
Y |X = x ∼ N (β0 + β1x, σ 2).
E[Y |X = x] = β0 + β1x.
4. Phân phối chuẩn: với mỗi giá trị của biến độc lập, phân phối có điều kiện (cho
trước giá trị x) của biến đáp ứng là phân phối chuẩn,
Y |X = x ∼ N (β0 + β1x, σ 2).
I Việc kiểm tra các giả định trên thông thường sẽ được thực hiện thông qua các giá trị
thặng dư, cho bởi
ei = yi − ŷi, i = 1, . . . , n,
với ŷi = β̂0 + β̂1 xi .
I Đồ thị các giá trị thặng dư: các cặp (ŷi, ei), i = 1, . . . , n. (Hoặc ta vẽ các giá trị ei
tương ứng với các giá trị của biến độc lập xi ).
I Nếu các giả định về 1, 2 và 3 thỏa thì ta sẽ nhận thấy đồ thị thặng dư gồm các điểm
phân tán đều trên mặt phẳng Oxy và phân tán đề xung quanh đường thẳng y = 0.
I Trường hợp một trong các giả định trên bị vi phạm, chẳng hạn như phương sai thay
đổi, mối quan hệ giữa các biến không tuyến tính, ta sẽ thấy các điểm trên đồ thị
thặng dư sẽ phân bố theo một hình dạng cụ thể nào đó.
I Đồ thị thặng dư cũng giúp cho ta xác định được sự tồn tại của các điểm outlier.
I Đồ thị thặng dư cũng giúp cho ta xác định được sự tồn tại của các điểm outlier.
I Để kiểm tra giả định về phân phối chuẩn (giả định 4), ta thường dùng đồ thị Normal
Q-Q Plot.
I (a): các giả định của

mô hình được thỏa
mãn.

mãn.
I (b): phương sai tăng
dần theo thời gian
hoặc theo biên độ của
xi hay yi. (c): phương
sai không bằng nhau.

mãn.
I (b): phương sai tăng
dần theo thời gian
hoặc theo biên độ của
xi hay yi. (c): phương
sai không bằng nhau.
I (d): mối quan hệ giữa
X và Y là phi tuyến
tính.
I Kiểm tra phân phối chuẩn sử dụng đồ thị Normal Q-Q Plot.
Normal Q−Q Plot Normal Q−Q Plot

11.5
12
11.0
10
10.5
Sample Quantiles
Sample Quantiles
8
10.0
6
9.5
4
9.0
2
8.5
−2 −1 0 1 2 −2 −1 0 1 2
Theoretical Quantiles Theoretical Quantiles
Dữ liệu tuân theo phân phối chuẩn Dữ liệu không tuân theo phân phối chuẩn
7 Kiểm định giả thuyết cho các hệ số hồi quy
Bài toán:
I Giả sử ta cần xây dựng một mô hình hồi quy với biến phụ thuộc Y và một tập các
biến giải thích X1 , X2 , . . . , Xp .
Bài toán:
I Trong tập hợp các biến X1, X2, . . . , Xp này, có những biến giải thích tốt cho Y , cũng
có thể có những biến không liên quan hoặc có mối liên hệ rất nhỏ với Y .
Bài toán:
I Ta có thể xét mô hình hồi quy tuyến tính tổng quát (hồi quy bội):
Y = β0 + β1X1 + β2X2 + · · · + βpXp + .
Bài toán:
Y = β0 + β1X1 + β2X2 + · · · + βpXp + .
I Để xác định biến nào có ý nghĩa đối với mô hình, ta có thể thực hiện kiểm định giả
thuyết đối với các hệ số hồi quy tương ứng, cụ thể,
H0 : βj = 0 với H1 : βj 6= 0,
với j = 0, . . . , p.
Bài toán:
Y = β0 + β1X1 + β2X2 + · · · + βpXp + .
I Để xác định biến nào có ý nghĩa đối với mô hình, ta có thể thực hiện kiểm định giả
thuyết đối với các hệ số hồi quy tương ứng, cụ thể,
H0 : βj = 0 với H1 : βj 6= 0,
với j = 0, . . . , p.
I Trong nội dung chương trình học, ta đang khảo sát mô hình hồi quy tuyến tính đơn
Y = β0 + β1X + , nên ta sẽ xét bài toán kiểm định giả thuyết cho β0 và β1.
Kiểm định giả thuyết cho β0
I Bài toán kiểm định giả thuyết cho hệ số chặn β0 trong mô hình hồi quy tuyến tính
đơn như sau: 


 H0 : β0 = b0
H1 : β0 6= b0


với giá trị b0 và mức ý nghĩa α cho trước. Thông thường b0 = 0.
Các bước kiểm định
1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

2. Xác định mức ý nghĩa α,

3. Tính giá trị thống kê kiểm định:
v
βˆ0 − b0 x̄2
u  
u
tβ0 = , với SE(β̂0 ) = σ̂ 2 
1 + .
u 
u 
t
SE(β̂0) Sxx

v
βˆ0 − b0 x̄2
u  
u
tβ0 = , với SE(β̂0 ) = σ̂ 2 
1 + .
u 
u 
t
SE(β̂0) Sxx
4. Bác bỏ H0 khi: |tβ0 | > tn−2
1−α/2 .

v
βˆ0 − b0 x̄2
u  
u
tβ0 = , với SE(β̂0 ) = σ̂ 2 
1 + .
u 
u 
t
SE(β̂0) Sxx
1−α/2 .
5. Kết luận: Bác bỏ H0 / Chưa đủ cơ sở để bác bỏ H0 .

v
βˆ0 − b0 x̄2
u  
u
tβ0 = , với SE(β̂0 ) = σ̂ 2 
1 + .
u 
u 
t
SE(β̂0) Sxx
1−α/2 .
6. Hoặc ta có thể sử dụng p-giá tri tính bởi
p = 2P(Tn−2 ≥ |tβ0 |),
và bác bỏ H0 khi p ≤ α.
I Bài toán kiểm định giả thuyết cho hệ số góc β1 trong mô hình hồi quy tuyến tính đơn
như sau: 


 H0 : β1 = b1
H1 : β1 6= b1


với giá trị b1 và mức ý nghĩa α cho trước. Thông thường b1 = 0.


v
βˆ1 − b1 σ̂ 2
u
u
u
tβ1 = , với SE(β̂1 ) =u
t .
SE(β̂1) Sxx

v
βˆ1 − b1 σ̂ 2
u
u
u
tβ1 = , với SE(β̂1 ) =u
t .
SE(β̂1) Sxx
1−α/2 .

v
βˆ1 − b1 σ̂ 2
u
u
u
tβ1 = , với SE(β̂1 ) =u
t .
SE(β̂1) Sxx
1−α/2 .

v
βˆ1 − b1 σ̂ 2
u
u
u
tβ1 = , với SE(β̂1 ) =u
t .
SE(β̂1) Sxx
1−α/2 .
6. Hoặc ta có thể sử dụng p-giá trị tính bởi
p = 2P(Tn−2 ≥ |tβ1 |),
và bác bỏ H0 khi p ≤ α.
8 Hệ số tương quan mẫu
Định nghĩa 5
Xét hai biến ngẫu nhiên X , Y . Hiệp phương sai (Covariance) của X và Y , ký hiệu là
Cov(X, Y ), được định nghĩa như sau
Cov(X, Y ) = E [(X − E(X))(Y − E(Y ))] = E(XY ) − E(X)E(Y ). (21)
Định nghĩa 5
Xét hai biến ngẫu nhiên X , Y . Hiệp phương sai (Covariance) của X và Y , ký hiệu là
Cov(X, Y ), được định nghĩa như sau
Cov(X, Y ) = E [(X − E(X))(Y − E(Y ))] = E(XY ) − E(X)E(Y ). (21)
Định nghĩa 6
Hệ số tương quan (Correlation coefficient) của hai biến ngẫu nhiên X và Y , ký hiệu
ρXY , được xác định như sau
Cov(X, Y )
ρXY = r . (22)
Var(X)Var(Y )
Với hai biến ngẫu nhiên X và Y bất kỳ: −1 ≤ ρXY ≤ 1.
Định nghĩa 7
Với mẫu cỡ n: (xi , yi ), i = 1, . . . , n, hệ số tương quan mẫu, ký hiệu rXY , được xác định
như sau Pn
− x̄)(yi − ȳ)
i=1 (xi Sxy
rXY = Pn r = r . (23)
(x − x̄) 2 Pn (y − ȳ)2 S S
i=1 i i=1 i xx yy
Định nghĩa 7
như sau Pn
− x̄)(yi − ȳ)
i=1 (xi Sxy
rXY = Pn r = r . (23)
(x − x̄) 2 Pn (y − ȳ)2 S S
i=1 i i=1 i xx yy
I Ta có: −1 ≤ rXY ≤ 1.
Định nghĩa 7
như sau Pn
− x̄)(yi − ȳ)
i=1 (xi Sxy
rXY = Pn r = r . (23)
(x − x̄) 2 Pn (y − ȳ)2 S S
i=1 i i=1 i xx yy
I Ta có: −1 ≤ rXY ≤ 1.
I −1 ≤ rXY < 0: tương quan âm. rXY càng gần −1 biểu thị mối liên hệ tuyến tính
nghịch giữa X và Y càng mạnh.
Định nghĩa 7
như sau Pn
− x̄)(yi − ȳ)
i=1 (xi Sxy
rXY = Pn r = r . (23)
(x − x̄) 2 Pn (y − ȳ)2 S S
i=1 i i=1 i xx yy
I Ta có: −1 ≤ rXY ≤ 1.
I 0 < rXY ≤ 1: tương quan dương. rXY càng gần 1 biểu thị mối liên hệ tuyến tính
thuận giữa X và Y càng mạnh.
Định nghĩa 7
như sau Pn
− x̄)(yi − ȳ)
i=1 (xi Sxy
rXY = Pn r = r . (23)
(x − x̄) 2 Pn (y − ȳ)2 S S
i=1 i i=1 i xx yy
I Ta có: −1 ≤ rXY ≤ 1.
I 0 < rXY ≤ 1: tương quan dương. rXY càng gần 1 biểu thị mối liên hệ tuyến tính
thuận giữa X và Y càng mạnh.
I rXY càng gần 0, biểu thị mối liên hệ tuyến tính yếu. rXY = 0: không có mối liên hệ
tuyến tính giữa X và Y .
Đánh giá hệ số tương quan mẫu
Mối quan hệ giữa hệ số tương quan mẫu và hệ số xác định
I Chú ý rằng,
v v v
Sxy Syy Sxy Syy SST
u u u
u u u
β̂1 =
u u
rXY =
u
= r u
t = rXY , u
t
u
t
Sxx Sxx SxxSyy Sxx Sxx
vì Syy chính là SST.
I Suy ra,
2 Sxx Sxy Sxx β̂1Sxy SSR

2
rXY ˆ
= β1 ˆ
= β1 = = = R2 .
SST Sxx SST SST SST
I Vậy, hệ số xác định R2 của mô hình hồi quy tuyến tính đơn bằng với bình phương
của hệ số tương quan mẫu
R2 = rXY
2
.
Mối quan hệ giữa hệ số tương quan mẫu và hệ số xác định
I Chú ý rằng,
v v v
Sxy Syy Sxy Syy SST
u u u
u u u
β̂1 =
u u
rXY =
u
= r u
t = rXY , u
t
u
t
Sxx Sxx SxxSyy Sxx Sxx
vì Syy chính là SST.
I Suy ra,
2 Sxx Sxy Sxx β̂1Sxy SSR

2
rXY ˆ
= β1 ˆ
= β1 = = = R2 .
SST Sxx SST SST SST
I Vậy, hệ số xác định R2 của mô hình hồi quy tuyến tính đơn bằng với bình phương
của hệ số tương quan mẫu
R2 = rXY
2
.
Chú ý: R2 ở đây là một ký hiệu, không phải là bình phương của R.
9 Kiểm định hệ số tương quan
Kiểm định giả thuyết cho hệ số tương quan
I Bài toán kiểm định giả thuyết cho hệ số tương quan ρXY của mô hình hồi quy tuyến
tính đơn như sau:



 H0 : ρ = 0 (không có tương quan giữa X và Y )
H1 : ρ 6= 0 (tồn tại tương quan giữa X và Y )


với mức ý nghĩa α cho trước.


v
n−2
u
u
t0 = rXY 2 .
u
u
1 − rXY
t

v
n−2
u
u
t0 = rXY 2 .
u
u
1 − rXY
t
n−2
4. Xác định miền bác bỏ: bác bỏ H0 nếu |t0 | > t1−α/2 .

v
n−2
u
u
t0 = rXY 2 .
u
u
1 − rXY
t
n−2
5. Tra bảng Student tìm tn−2
1−α/2 hoặc tính p-giá trị:
p = 2P(Tn−2 ≥ |t0|),
và bác bỏ H0 nếu p ≤ α.

v
n−2
u
u
t0 = rXY 2 .
u
u
1 − rXY
t
n−2
5. Tra bảng Student tìm tn−2
1−α/2 hoặc tính p-giá trị:
p = 2P(Tn−2 ≥ |t0|),
và bác bỏ H0 nếu p ≤ α.
6. Kết luận.
10 Bài tập
Bài tập
Bài tập 1
Trong một bài báo về Nghiên cứu Bê tông: "Đặc tính bề mặt gần bê tông: tính thấm nội
tại" trình bày dữ liệu về cường độ nén (X ) và độ thấm nội tại (Y ) của các hỗn hợp bê
tông và phương pháp xử lý khác nhau. Số liệu được tóm tắt như sau:
n n n
n = 14, xi = 43, x2i = 157.42, yi = 572,
X X X
i=1 i=1 i=1

n n
yi2 = 23530, xiyi = 1697.80.
X X
i=1 i=1
(a) Xác định đường thẳng hồi quy ước lượng mô tả mối quan hệ tuyến tính giữa cường
độ nén và độ thấm nội tại của bê tông.
(b) Ước lượng phương sai σ 2 của sai số.
(c) Sử dụng đường thẳng hồi quy ước lượng, hãy tiên đoán độ thấm nội tại của bê tông
khi cường độ nén x0 = 4.3?
(d) Tính hệ số xác định R2 và cho nhận xét về mối liên hệ giữa X và Y .
Bài tập
Bài tập 2
Xét mẫu gồm 10 cặp giá trị (xi , yi ) cho bởi bảng
xi -1 0 2 -2 5 6 8 11 12 -3
yi -5 -4 2 -7 6 9 13 21 20 -9
(a) Vẽ biểu đồ phân tán cho dữ liệu, tìm đường thẳng hồi quy ước lượng.
(b) Tìm ước lượng σ̂ 2 cho phương sai σ 2 của sai số ngẫu nhiên.
(c) Tính hệ số xác đinh R2 và hệ số tương quan mẫu rXY .
(d) Thực hiện kiểm định giả thuyết cho hệ số β1 .
Bài tập
Bài tập 3
Một nghiên cứu ảnh hưởng việc gia tăng liều dùng X (mg/kg) của một loại thuốc ngủ
trên thời gian ngủ Y (giờ). Kết quả thực nghiệm ghi nhận được như sau:
xi 1 1 2 2 3 4 5 5
yi 1 1.2 1.5 1.7 2 2.2 2.5 2.2
(a) Tìm phương trình hồi quy của Y theo X .

(b) Tìm σ̂ 2 và hệ số xác định R2 .
(c) Nếu liều dùng thuốc ngủ là x0 = 4 (mg/kg), thì thời gian ngủ dự đoán bằng bao
nhiêu?
(d) Có tài liệu cho biết phương trình hồi quy của Y theo X là y = 0.29x + 0.93. Hỏi kết
quả quan sát có phù hợp với phương trình cho biết không? α = 0.05.

Chương 4: Hồi Quy Tuyến Tính Đơn

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Chương 4: Hồi Quy Tuyến Tính Đơn

Uploaded by

Copyright:

Available Formats

Chương 4: Hồi quy tuyến tính đơn

Giới thiệu mô hình hồi quy tuyến tính

I Cho trước X = x, ta có:

I Cho trước X = x, ta có:

I Cho trước X = x, ta có:

Y |X = x ∼ N (β0 + β1x, σ 2). (3)

I Gọi βˆ1 và βˆ0 là các ước lượng của β0 và β1.

I Gọi βˆ1 và βˆ0 là các ước lượng của β0 và β1.

I Gọi βˆ1 và βˆ0 là các ước lượng của β0 và β1.

I Gọi βˆ1 và βˆ0 là các ước lượng của β0 và β1.

I Với dữ liệu (xi, yi), i = 1, . . . , n, từ (5) ta có

I Với dữ liệu (xi, yi), i = 1, . . . , n, từ (5) ta có

I Với dữ liệu (xi, yi), i = 1, . . . , n, từ (5) ta có

I Với dữ liệu (xi, yi), i = 1, . . . , n, từ (5) ta có

Từ (8), lấy đạo hàm theo β0 và β1 ,

Từ (8), lấy đạo hàm theo β0 và β1 ,

ta thu được hệ phương trình

i=1 i=1 i=1

Sxy = (xi − x̄)(yi − ȳ) = xiyi − .

Định lý 2 (Gauss - Markov)

Xét mô hình hồi quy tuyến tính đơn

SST còn được ký hiệu là Syy .

I SSE: Tổng bình phương sai số (Error Sum of Squares),

i=1 i=1 i=1

i=1 i=1 i=1

−1.0 −0.5 0.0 0.5 1.0 1.5 −1 0 1 2 3

400 450 500 550

Dien tich la (cm2)

400 450 500 550

Dien tich la (cm2)

I (a): các giả định của

I (a): các giả định của

I (a): các giả định của

Normal Q−Q Plot Normal Q−Q Plot

Theoretical Quantiles Theoretical Quantiles

với giá trị b0 và mức ý nghĩa α cho trước. Thông thường b0 = 0.

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

với giá trị b1 và mức ý nghĩa α cho trước. Thông thường b1 = 0.

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Các bước kiểm định

1. Phát biểu giả thuyết H0 và đối thuyết H1 ,

Với hai biến ngẫu nhiên X và Y bất kỳ: −1 ≤ ρXY ≤ 1.

2 Sxx Sxy Sxx β̂1Sxy SSR