CHƯƠNG 3: HỒI QUY BỘI

Giảng viên: TS. Nguyễn Minh Tùng

ThS. Phạm Quốc Trung

Ngày 23 tháng 9 năm 2022

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 1 / 26

Mục lục

1 Công thức hồi quy

2 Ước lượng và kiểm định hệ số

3 Sự phù hợp của mô hình

4 Dự báo

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 2 / 26

Mô hình hồi quy tổng thể

Mô hình hồi quy tổng thể (PRM)

Y = β1 + β2 X2 + β3 X3 + u,

trong đó Y là biến phụ thuộc, X2 , X3 là các biến giải thích, và u là sai

số ngẫu nhiên. Lấy kỳ vọng 2 vế chúng ta có hàm hồi quy tổng thể như
sau
E(Y|X) = β1 + β2 X2 + β3 X3 + E(u|X).
Với giả thiết trung bình các sai số bằng không (E(u|X) = 0), ta có
phương trình hàm hồi quy mẫu sau đây:

E(Y|X) = β1 + β2 X + β3 X3 .

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 3 / 26

Mô hình hồi quy mẫu
Từ tổng thể chúng tra trích ra một mẫu (cỡ mẫu n) có các cặp phần tử

X21 , X31 ⇒ Y1
X22 , X32 ⇒ Y2
...
X2n , X3n ⇒ Yn

Mô hình hồi quy mẫu (SRM)

Yi = β
b1 + β
b2 X2i + β
b3 X3i + ei ,

trong đó β
b1 , β
b2 , β
b3 là ước lượng cho β1 , β2 , β3 và ei là sai số. Chúng ta
cần xác định hàm hồi quy mẫu như sau

Y
bi = βb1 + β b2 X2i + β
b3 X3i

Min ni=1 |ei | = ni=1 |Yi − Y

b i | ⇒ Min n e2 = n (Yi − Y b i )2
P P P P
i=1 i i=1
tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 4 / 26
Phương pháp bình phương bé nhất (OLS)

n
X
Min RSS = (Yi − β
b1 − β b3 X3i )2
b2 X2i − β
i=1

Nguyên lý cực trị (Ferma’s rule) cho ta hệ phương trình sau đây

∂RSS ∂RSS ∂RSS

= 0, = 0, = 0.
∂β
b1 ∂β
b2 ∂β
b3

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 5 / 26

    
1 X21 X31 Y1  
 1 X22 X32   Y2  β
b1
X= Y= β = β2 
  b b 
... ... ...   ... 
1 X2n X3n Yn β
b3

Ta chứng minh được công thức sau

b = XT X

−1 RSS
XT Y σ2 =


β and b
n−3

Ma trận hiệp phương sai của β

b
 
Var(β
b1 ) Cov(β
b1 , β
b2 ) Cov(β
b1 , β
b3 )

−1 
Covβb= bσ 2 XT X = Cov(β b2 , β
b1 ) Var(βb2 ) Cov(β
b2 , β
b3 )

Cov(βb3 , β
b1 ) Cov(β
b3 , β
b2 ) Var(βb3 )

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 6 / 26

Trong đó,  P P 
n X2i X3i
XT X = P X2i P X22i
P P P
X2i X3i 
X23i
P
X3i X2i X3i
 P 
Y i
XT Y = P X2i Yi 
P
X3i Yi
Ta tính được

−1
b = XT X XT Y


β
2
Các hệ số: TSS =
P
Yi2 − nY ; bT .(XT Y) − nY2 .
ESS = β

RSS = TSS − ESS ⇒ cov(β) σ 2 .(XT X)−1 .

b =b

Các phần tử trên đường chéo là var(βbi ).

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 7 / 26

Nhắc lại hệ số tương quan

Tương quan (hiệp phương sai) giữa X và Y là

Cov(X, Y) := E(XY) − E(X).E(Y).

Hệ số tương quan
Cov(X, Y)
r(X, Y) := .
se(X)se(Y)
r(X, Y) > 0: giữa X và Y có quan hệ đồng biến.
r(X, Y) < 0: giữa X và Y có quan hệ nghịch biến.
r(X, Y) = ±1: X và Y có quan hệ tuyến tính chặt chẽ.
r(X, Y) ≈ 0: X và Y có quan hệ tuyến tính không chặt chẽ.

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 8 / 26

Các giả thiết cho phương pháp OLS

(i) Hàm hồi quy tuyến tính theo tham số.

(ii) E(ui ) = 0 và Var(ui ) = σ 2 (nghĩa là ui có phân phối chuẩn
N(0, σ 2 )).
(iii) Cov(ui , uj ) = 0 không có sự tương quan giữa ui và uj .
(iv) Cov(ui , xi ) = 0 không có sự tương quan giữa ui và xi .
(v) Giữa các biến giải thích không có quan hệ tuyến tính (không có
hiện tượng đa cộng tuyến).

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 9 / 26

Tính chất hàm hồi quy

Pn
i=1 ei = 0.
(i)

(ii) Đường thẳng hồi quy luôn đi qua điểm (X2 , X3 , Y).
(iii) Trung bình mẫu và trung bình các giá trị hồi quy bằng nhau

Y = Y.
b

(iv) β
b1 , β
b2 , và β
b3 là ước lượng tuyến tính, không chệch, và hiệu quả
của β1 , β2 , và β3 .
     
E β b1 = β1 , E β b2 = β2 , E β b3 = β3 .

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 10 / 26

Độ lệch chuẩn

Từ ma trận hiệp phương sai

Pn 2
2 i=1 ei RSS
σ =
b =
n−3 n−3
 
Var(βb1 ) Cov(β
b1 , β
b2 ) Cov(β
b1 , β
b3 )

−1
Covβ σ 2 XT X
b= b = Cov(βb2 , β
b1 ) Var(βb2 ) Cov(β
b2 , β
b3 )


Cov(β
b3 , β
b1 ) Cov(β
b3 , β
b2 ) Var(βb3 )

q
Se(β
bi ) = Var(β
bi )
b2 − β
Var(β b3 ) =Var(β b3 ) − 2Cov(β
b2 ) + Var(β b2 , β
b3 ).

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 11 / 26

Ước lượng khoảng cho các hệ số

Định lý
βbi − βi
t=   ∼ T(n − 3)
se β bi

Khoảng tin cậy 1 − α cho βi cho bởi công thức sau

   
bi − t(n−3)
β α se β
bi ⩽ βi ⩽ β bi + t(n−3)
α se β
bi
2 2
 
βi ⩽ βbi + t(n−3)
α se β
bi
 
bi − t(n−3)
β α se β
bi ⩽ βi

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 12 / 26

Ước lượng tổng thể

Khoảng ước lượng cho aβ1 + bβ2 là

    
aβ b2 − t(n−3)
b1 + bβ α se aβ
b1 + bβ
b2 ; aβ b2 + t(n−3)
b1 + bβ α se aβ
b1 + bβ
b2 .
2 2

Trong đó
  r  
se aβ1 + bβ2 = Var aβ
b b b1 + bβb2 ,
   
Var aβ b2 = a2 Varβ
b1 +bβ b1 + b2 Varβ
b2 +2abCov βb1 , β
b2 .

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 13 / 26

Kiểm định cho các hệ số

bi − a
β
t=   ∼ T(n − 3)
se βbi

Kiểm định Giả thiết H0 Đối thuyết H1 Bác bỏ H0 nếu

(n−3)
Hai phía βi = a βi ̸= a |t| > t α
2

(n−3)
Bên trái βi ⩾ a βi < a t < −tα

(n−3)
Bên phải βi ⩽ a βi > a t > tα

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 14 / 26

Kiểm định vai trò như nhau của các hệ số

βb2 − β
b3
t=   ∼ T(n − 3)
se βb2 − βb3

Kiểm định Giả thiết H0 Đối thuyết H1 Bác bỏ H0 nếu

(n−3)
Hai phía β2 = β3 β2 ̸= β3 |t| > t α
2

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 15 / 26

Hệ số xác định

Hệ số xác định và hệ số xác định hiệu chỉnh

ESS 2 n−1
R2 = and R = 1 − (1 − R2 )
TSS n−k

Trong đó, k là số biến trong mô hình (bao gồm cả biến phụ thuộc).
⋆ Khi dùng R2 để so sánh các mô hình với nhau cần thỏa các điều
kiện sau:
Có cùng cỡ mẫu n.
Cùng số biến độc lập. (Nếu các mô hình không cùng số biến độc
lập, dùng R2 để xác định).
Biến phụ thuộc xuất hiện trong hàm hồi quy có cùng dạng, các
biến độc lập các thể ở các dạng khác nhau.

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 16 / 26

Kiểm định sự phù hợp của mô hình

2
0 ⩽ R ⩽ R2 ⩽ 1
2 2
• R có thể là số âm. R dùng để cân nhắc đưa thêm biến giải thích vào
2
mô hình. Chúng ta chỉ đưa thêm biến mới vào mô hình khi R tăng.
Với mức ý nghĩa α, chúng ta kiểm tra giả thiết và đối thuyết sau

Giả thiết H0 Đối thuyết H1 Bác bỏ H0 nếu

R2 = 0 (∀βi = 0) R2 ̸= 0 (∃βi ̸= 0) F > Fα (k − 1, n − k)

n − k R2
F := . .
k − 1 1 − R2

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 17 / 26

Kiểm định WALD KĐ MH có mặt biến không cần thiết

Mô hình ban đầu:

(U) : Y = β1 + β2 X2 + ... + βk Xk .

Sau khi bỏ đi một số biến (với m < k):

(R) : Y = β1 + β2 X2 + ... + βm Xm .

Giả thiết H0 : βm+1 = ... = βk = 0. (các biến tương ứng không ảnh
hưởng đến biến phụ thuộc = không nên đưa những biến này vào MH).
Đối thiết H1 : ∃ βm+1 , ..., βk khác không.
Trị thống kê :
R2U − R2R /(k − m)


FW :=
.
1 − R2U /(n − k)
Nếu FW > F(α, k − m, n − k) thì ta sẽ bác bỏ H0 với mức ý nghĩa α.

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 18 / 26

Kiểm định Wald - Wald Test trong Eview

Cửa sổ Equation → View → Coefficient Diagnostics → Wald Test.

⋆ Các hệ số βbi nhập là c(i).

Ví dụ
Ta cần kiểm định các biến X2 ; X4 có cần thiết trong mô hình say hay
không?
Y
b = βb1 + βb2 X2 + βb3 X3 + βb4 X4 + βb5 X5 + βb6 X6

Giả thiết: (
H0 : βb2 = βb4 = 0
H1 : ∃βb2 hoặc βb4 khác 0.
Ta dùng kiểm định Wald: c(2) = c(4) = 0.

Nhìn vào giá trị Prob(F-Statistic). Nếu giá trị đó

Prob(F − Statistic) < α thì bác bỏ H0 . Ngược lại, chấp nhận H0 là các
biến tương ứng không cần thiết có mặt trong mô hình.
tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 19 / 26
Khoảng dự báo cho trung bình

Cho X0 hãy tính E(Y|X0 )

• Ước lượng điểm Y
b 0 = βX
b 0.
• Ước lượng khoảng cho giá trị trung bình E(Y|X0 )
b 0 − tn−3
Y α se(Y b 0 + tn−3
b 0 ) ⩽ E(Y|X0 ) ⩽ Y α se(Y
b 0 ).
2 2

• Khoảng dự báo cho giá trị cá biệt Y0

 
Yb 0 − tn−3
α se(Y0 − Y b 0 + tn−3
b 0 ), Y α se(Y0 − Y
b0) .
2 2

q
b 2 T T −1 T
σ X0 (X X) X0 = X0 cov(β)X0 ⇒ se(Y0 ) = Var(Y
Var(Y0 ) = b b b b 0 ).
q
Var(Y0 − Yb0) = bσ 2 + Var(Y
b 0 ) ⇒ se(Y0 − Y
b 0 ) = Var(Y0 − Y
b0)

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 20 / 26

Bài tập áp dụng 1

Cho bảng số liệu về sản lượng (Y), phân hóa học (X2 ), thuốc trừ sâu
(X3 ) đơn vị tính trên một đơn vị diện tích ha.

Y 40 44 46 48 52 58 60 68 74 80
X2 6 10 12 14 16 18 22 24 26 32
X3 4 4 5 7 9 12 14 20 21 24

Với mức ý nghĩa 5%, hãy trả lời các câu hỏi sau:

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 21 / 26

1. Ước lượng mô hình hồi quy tuyến tính của Y theo X2 , X3 . Các kết
quả có phù hợp với thực tế hay không? Giải thích ý nghĩa các hệ
số hồi quy.
2. Tìm khoảng ước lượng 95% cho hệ số β2 ; β3 ; β2 − β3 và nêu ý
nghĩa.
3. Phân bón có ảnh hưởng đến năng suất hay không? Thuốc trừ sâu
có ảnh hưởng tới năng suất hay không?
4. Tính và giải thích ý nghĩa của hệ số xác định. Tính hệ số xác định
hiệu chỉnh.
5. Có phải cả phân bón và thuốc trừ sâu đều không ảnh hưởng đến
năng suất?
6. Bạn có thể bỏ biến X3 ra khỏi mô hình hay không?
7. Có ý kiến cho rằng phân bón và thuốc trừ sâu đều có ảnh hưởng
như nhau đến năng suất cây trồng?
8. Hãy dự báo giá trị trung bình và giá trị cá biệt khi
X2 = 20; X3 = 15.

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 22 / 26

Bài tập áp dụng 2

Cho bảng số liệu về chi tiêu (Y), thu nhập từ lương (X2 ), thu nhập
ngoài lương (X3 ) đơn vị tính triệu đồng.

Y 9 9 11 12 12.5 13 16 17 14 13.5
X2 10 12 13 14 15 16 16 17 18 20
X3 2 0 3 4 4 6 8 9 5 3

Với mức ý nghĩa 5%, hãy trả lời các câu hỏi sau:

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 23 / 26

1. Ước lượng mô hình hồi quy tuyến tính của Y theo X2 , X3 . Các kết
quả có phù hợp với thực tế hay không? Giải thích ý nghĩa các hệ
số hồi quy.
2. Tìm khoảng ước lượng 95% cho hệ số β2 ; β3 ; β2 + 2.β3 và nêu ý
nghĩa.
3. Kiểm định ý kiến cho rằng, mức thu nhập ngoài lương không ảnh
hưởng đến chi tiêu.
4. Tính và giải thích ý nghĩa của hệ số xác định. Tính hệ số xác định
hiệu chỉnh.
5. Kiểm định sự phù hợp của mô hình và nêu ý nghĩa của kết quả có
được.
6. Bạn có thể bỏ biến X3 ra khỏi mô hình hay không?
7. Có ý kiến cho rằng thu nhập từ lương ảnh hưởng gấp đôi so với
thu nhập ngoài lương. (Kiểm định Wald: β2 = 2β3 dùng Eview).
8. Hãy dự báo giá trị trung bình và giá trị cá biệt khi
X2 = 19; X3 = 7.

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 24 / 26

Bài tập áp dụng 3

Cho bảng số liệu về lượng hàng bán được (Y) (tấn/tháng), thu nhập
của người tiêu dùng (X2 ) (triệu đồng/tháng), giá bán mặt hàng này
(X3 ) (ngàn đồng/kg).

Y 4 4 6 7 6 8 7 9 8 9
X2 2 2 4 4 5 6 5 6 5 7
X3 6 7 7 6 7 5 4 8 7 7

Với mức ý nghĩa 5%, hãy trả lời các câu hỏi sau:

tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 25 / 26

1. Ước lượng mô hình hồi quy tuyến tính của Y theo X2 , X3 . Giải
thích ý nghĩa các hệ số hồi quy.
2. Tìm khoảng ước lượng cho hệ số β2 ; β2 − 2β3 và nêu ý nghĩa.
3. Khi thu nhập của người tiêu dùng tăng 2 triệu đồng / tháng thì
lượng hàng bán được trung bình nằm trong khoảng nào?
4. Kiểm định ý kiến cho rằng, khi thu nhập của người tiêu dùng tăng
1 triệu đồng/ tháng thì lượng hàng bán được trung bình tăng 2
tấn/ tháng.
5. Tính và nêu ý nghĩa của hệ số xác định. Tính hệ số xác định hiệu
chỉnh.
6. Kiểm định sự phù hợp của mô hình.
7. Bạn có thể bỏ biến X3 ra khỏi mô hình hay không?
8. Có ý kiến cho rằng ảnh hưởng do thu nhập của người dùng và giá
bán của mặt hàng là như nhau. (Kiểm định Wald dùng Eview).
9. Hãy dự báo giá trị trung bình và giá trị cá biệt khi
X2 = 8; X3 = 9.
tungnm@buh.edu.vn Hồi quy bội Ngày 23 tháng 9 năm 2022 26 / 26