Professional Documents
Culture Documents
Chương 5. Các khuyết tật của mô hình
Chương 5. Các khuyết tật của mô hình
2
Bài 1. ĐA CỘNG TUYẾN
1. Bản chất
tính “hoàn hảo” hoặc “gần hoàn hảo” giữa một số hoặc
tất cả các biến độc lập trong một mô hình hồi quy.
1. Bản chất của đa cộng tuyến
Xét mô hình hồi quy tuyến tính k-1 biến độc lập:
Y = 1 + 2X2 + 3X3 + … + kXk + U (1)
● Nếu tồn tại các số thực 2, 3, …, k sao cho:
2X2 + 3X3 + …… + kXk = 0
với i (i = 2, 3,…,k) không đồng thời bằng không thì mô hình (1)
xảy ra hiện tượng đa cộng tuyến hoàn hảo.
VD: Nếu mô hình: Y = 1 + 2X2 + 3X3 + 4X4 +U (*)
Mà có: 3X2 -X3 -2X4 = 0
=>Mô hình (*) bị đa cộng tuyến hoàn hảo.
1. Bản chất của đa cộng tuyến
● Nếu tồn tại các số thực 2, 3, …, k sao cho:
2X2 + 3X3 + …… + kXk + V = 0
với V là sai số ngẫu nhiên thì mô hình (1) bị hiện tượng đa
Nói cách khác là một biến độc lập nào đó có tương quan
với một hoặc một số biến độc lập khác thì mô hình bị đa
X3 50 75 90 120 150
X4 52 75 97 129 152
Y Y
X2 X3 X3
X2
Y Y
X3
X2 X2
X3
1 2 3 4
SRM : Yi = ˆ1 + 2 X 2 i + 3 X 3i + ei
( y x )( x ) − ( y x )( x x )
2
2 =
i 2i 3i i 3i 2i 3i
( x )( x ) − ( x x )
2
2i
2
3i 2i 3i
2
( y x )( x ) − ( y x )( x x )
2
3 =
i 3i 2i i 2i 2i 3i
( x )( x ) − ( x x )
2
2i
2
3i 2i 3i
2
( x )( x ) − ( x )
2
2i
2 0 2
2i
2 2
2i
2
3. Hậu quả của đa cộng tuyến
3.2. Trường hợp đa cộng tuyến không hoàn hảo
• Xét mô hình hồi quy 3 biến dưới dạng sau:
Trong trường hợp này, các hệ số hồi quy 2 và 3 vẫn có thể ước
lượng được bằng OLS, chẳng hạn:
( y x )( x + v ) − ( y x + y v )( x )
2 2 2 2
2 =
i 2i 2i i i 2i i i 2i
( x )( x + v ) − ( x )
2 2 2 2 2 2 2
2i 2i i 2i
3. Hậu quả của đa cộng tuyến
3.2. Trường hợp đa cộng tuyến không hoàn hảo
2 2
Var ( ˆ 2 ) = Var ( ˆ3 ) =
x (1 − r )
2
2i
2
23
x (
3i 23
2
1 − r 2
)
● Khoảng tin cậy của các hệ số hồi quy riêng rộng:
ˆ
ˆ ( n −3)
j − Se( j ).t /2 j j + Se( j )t /2
( n −3)
3. Hậu quả của đa cộng tuyến
3.2. Trường hợp đa cộng tuyến không hoàn hảo
ˆ j
● Thống kê T = ˆ “ mất ý nghĩa” khi kiểm định cặp giả
se( j )
thuyết: H0: j = 0, H1: j ≠ 0
● Hệ số R2 cao nhưng tỉ số Tqs thấp, do đó kiểm định F và kiểm
định T mâu thuẫn nhau, cụ thể:
+ kiểm định F thì cho kết quả bác bỏ giả thuyết H0 : R2 = 0
5.4.2. Tương quan cặp giữa các biến giải thích cao
cao (rij > 0,8) thì đó là dấu hiệu để nhận định rằng
1
Factor) được định nghĩa như sau: 𝑉𝐼𝐹 =
1−𝑅𝑗2
trong đó Rj2 là hệ số xác định khi hồi qui biến Xj theo các biến giải
Kinh nghiệm: nếu VIF vượt quá 10 (điều này xảy ra nếu Rj2 > 0,9)
• Nếu giả thuyết H0 được chấp nhận, thì mô hình gốc không
có đa cộng tuyến.
4. Phát hiện đa cộng tuyến
4.4. Sử dụng hồi quy phụ
Ví dụ:
Nghiên cứu mối quan hệ lượng cung tiền của một quốc gia MS
(Đv: tỷ USD) với thu nhập quốc dân GDP (đv: tỷ USD) và lãi
suất R (đv: %), xét mô hình sau:
PRM: MS = β1 + β2GDP + β3 R + u (1)
Hồi quy mô hình sau:
GDP = α 1+ α2R + v ; n = 62 (2)
thu được hệ số xác định R2 =0,325. Mô hình (2) dùng để làm gì?
Cho kết luận?
4. Phát hiện đa cộng tuyến
4.5. Sử dụng độ đo Theil
• Xét mô hình hồi quy k biến:
𝑌 = 𝛽1 + 𝛽2 𝑋2 + ⋯ + 𝛽𝑘 𝑋𝑘 + 𝑈 1
Bước 1. Hồi quy mô hình đã cho tìm được hệ số R2
Bước 2. Lần lượt hồi quy k-1 mô hình sau:
Bước 2: Tính R2 đối với các hàm hồi quy: không có mặt
một trong hai biến.
Y Y
(a) (b)
0 X 0 X
X1 X2 Xn X1 X2 Xn
Hình 1.1: (a) Phương sai của sai số không đổi và (b) Phương sai của sai số thay đổi
2. Nguyên nhân của phương sai sai số thay đổi
– Hiện tượng phương sai sai số thay đổi thường xảy ra với dữ liệu chuỗi
thời gian.
• Các hệ số hồi quy ước lượng bằng OLS vẫn là ước lượng
tuyến tính, không chệch nhưng không phải là ước lượng
hiệu quả nhất.
• Ước lượng của phương sai sai số ngẫu nhiên là ước lượng
chệch.
• Khoảng tin cậy của hệ số hồi quy mất tính chính xác.
• Kiểm định T và kiểm đinh F bị mất chính xác và mâu thuẫn
nhau.
4. Phát hiện phương sai sai số thay đổi
• Bước 1: Hồi quy mô hình đã cho, thu được phần dư ei => ei2
• Bước 2: Vẽ đồ thị ei2 theo Xi và dựa vào đồ thị để phán đoán
mô hình có hiện tượng phương sai sai số thay đổi hay không.
ei2 ei2
0 Xi 0 Xi
4.2. Kiểm định Park
• Xét mô hình: Y𝑖 = 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖 + 𝑈𝑖 (1)
• Giả thiết: Phương sai thay đổi theo một hàm của biến giải
𝛼 𝛼
𝜎𝑖2 = 𝜎 2 𝑋2𝑖2 𝑋3𝑖3 𝑒 𝑉𝑖
Do σ2i chưa biết nên ta dùng ước ượng của nó là: ei2
Các Bước Kiểm Định Park
• Bước 1: Hồi quy mô hình (1) thu được phần dư ei e2i
• Bước 2: Hồi quy mô hình:
log(e2i) = α1 + α2log(X2i) + α3log(X3i) + Vi (2)
• Bước 3: Kiểm định cặp giả thuyết:
H0: Mô hình (1) không có phương sai sai số thay đổi (R22 =0)
H1: Mô hình (1) có phương sai sai số thay đổi (R22 > 0)
𝑅 2 𝑛−3
Tiêu chuẩn kiểm định: F = 2 . ~F(2;n-3)
1−𝑅 3−1
Để kiểm tra mô hình (1) có bị hiện tượng PSSS thay đổi hay
Để kiểm tra mô hình (1) có bị hiện tượng PSSS thay đổi hay
• Chú ý: Mô hình ở bước 2 có thể có biến tích chéo hoặc không có.
4.4. Kiểm định White
VÍ DỤ: Cho mô hình: 𝑌𝑖 = 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖 + 𝑈𝑖 1
Để kiểm tra mô hình (1) có bị hiện tượng PSSS thay đổi hay
không bằng kiểm định White có tích chéo người ta hồi quy mô
Giả thiết: Phương sai sai số thay đổi nhưng phụ thuộc
tuyến tính vào [E(Y/Xi)]2, tức là:
σi 2= α1+ α2[E(Y/Xi)]2 + vi
• Thủ tục kiểm định:
– Bước 1: Hồi quy mô hình (1) ta thu được ei và 𝑌𝑖
– Bước 2: Hồi quy mô hình sau:
2
ei2 = 1 + 2 Yi + vi
thu được các hệ số hồi quy và hệ số xác định R2.
4.5. Kiểm định dựa vào biến phụ thuộc
Yi 1 Xi Ui
= 1 + 2 + (2)
i i i i
• Mô hình (2) có phương sai sai số không đổi vì:
Ui 1
Var = 2 Var(U i ) = 1
i i
• Khi đó ước lượng mô hình (2) bằng phương pháp OLS.
5.2. Khi σi 2 chưa biết
• Xét mô hình: Y𝑖 = 𝛽1 + 𝛽2 𝑋𝑖 + 𝑈𝑖 (1)
• Giả sử mô hình (1) có Var(Ui)=σi 2 thay đổi nhưng chưa biết. Khi
đó tùy thuộc vào sự thay đổi của σi 2 mà có cách khắc phục khác
nhau, cụ thể:
• Giả thiết 1: Phương sai sai số tỷ lệ với bình phương của biến giải
thích: Var (U i ) = i 2 = 2 X i 2
– Chia cả hai vế của mô hình (1) cho Xi ta có:
Yi 1 X i Ui
= 1 + 2 + (3)
Xi Xi Xi Xi
– Mô hình (3) có phương sai sai số không đổi vì:
Ui
Var = 2 Var(U i ) = 2
1
Xi Xi
– Khi đó ước lượng mô hình (3) bằng phương pháp OLS.
5.2. Khi σi 2 chưa biết
Giả thiết 2: Phương sai của sai số ngẫu nhiên tỷ lệ với biến độc lập
Var (U i ) = i = 2 X i
2
Ui 1
Var = Var (U i ) = 2
X Xi
i
E (Y X )
i E (Y X i )2 i
• Thay vì ước lượng mô hình hồi quy tuyến tính ta có thể ước
lượng một trong các mô hình sau:
log Yi = 1 + 2 log X i + U i
log Yi = 1 + 2 X i + U i
Yi = 1 + 2 log X i + U i
Bài 3. TỰ TƯƠNG QUAN
V ~N(0, a2 ) và Cov(V ; V ) = 0
Trong đó: t i j
80 80
40
40
0
0
E
-40
-40
-80
-80
-120
50 55 60 65 70 75 80 85 90 -120
-120 -80 -40 0 40 80 120
CS Residuals
E1
4. Phát hiện tự tương quan
4.2. Kiểm định Durbin- Watson
• Thống kê kiểm định Durbin- Watson:
n
t t −1
( e − e ) 2
d= t =2
n
t
e 2
t =1
• Điều kiện áp dụng thống kê Durbin-Watson:
– Mô hình có hệ số chặn.
– Mô hình không chứa biến trễ của biến phụ thuộc với tư cách là
biến độc lập.
– Không có quan sát nào bị mất trong tập số liệu.
– Chỉ dùng để kiểm định tự tương quan bậc một:
AR (1) : U t = U t −1 + Vt
4. Phát hiện tự tương quan
4.2. Kiểm định Durbin- Watson
n n n n n
(e − e (e + et −1 − 2et et −1 ) e + e − 2 et et −1
2 2 2 2 2
t t −1 ) t t t −1
d= t =2
n
= t =2
n
= t =2 t =2
n
t =2
e
t =1
2
t e
t =1
2
t t
e 2
t =1
n n
e e t t −1 e e t t −1
2−2 t =2
n
ˆ = t =2
n
d 2(1 − ˆ ) ̂ là ước lượng của
t
e 2
t =1
t
e 2
t =1
trong AR(1)
Nhận xét:
Khi 𝜌 = 0 ⇒ 𝜌ො ≈ 0 ⇒ 𝑑 = 2 => Mô hình không bị tự tương quan.
Khi 𝜌 = 1 ⇒ 𝜌ො ≈ 1 ⇒ d = 0 => Mô hình bị tự tương quan dương.
Khi 𝜌 = −1 ⇒ 𝜌ො ≈ −1 ⇒ 𝑑 = 4 => Mô hình bị tự tương quan âm.
4. Phát hiện tự tương quan
4.2. Kiểm định Durbin- Watson
Thủ tục kiểm định Durbin-Watson:
Bước 1: Hồi quy mô hình gốc thu được et và et-1
Bước 2: Tính thống kê quan sát của Durbin-Watson: dqs
Bước 3: Với =5%, n , k’=k-1 tra dLvà dU
Bước 4: Lập bảng quyết định:
MH có tự Không có MH không Không có MH có tự
tương quan kết luận có tự tương kết luận tương quan
dương quan âm
0 dL dU 4-dU 4-dL 4
Bước 5: So sánh dqs với bảng trên và kết luận.
4. Phát hiện tự tương quan
4.2. Kiểm định Durbin- Watson
Ví dụ:
Hồi quy mối quan hệ giữa sản lượng đầu ra Q(đv: nghìn sản
phẩm), vốn K(đv: triệu đồng) và lao động L (đv: người),
nghiên cứu thực hiện với một ngành công nghiệp từ 1998
đến 2020, ta có kết quả sau:
𝑈𝑡 = 𝜌1 𝑈𝑡−1 + ⋯ + 𝜌𝑝 𝑈𝑡−𝑝 + 𝑉𝑡
• Thủ tục kiểm định:
– Bước 1: Hồi quy mô hình gốc thu được: et , et-1 ,…, et-p
– Bước 2: Hồi quy mô hình sau thu được R21 :
et = 1 + 2 X 2t + ... + k X kt + 1et −1 + ... + p et − p + V1t
4. Phát hiện tự tương quan
4.3. Kiểm định Breusch- Godfrey (BG)
Ví dụ:
Cho mô hình: Yt = β1 + β2 Xt + Ut ; n = 36 (1)
Bước 6: Dùng 𝜌ො thiết lập mô hình sai phân tổng quát (lặp ở bước 3)
Bước 7: Lặp bước 4, tiếp tục cho đến khi thu ước lượng của ρ ở hai
lần lặp kế tiếp xấp xỉ bằng nhau thì dừng và dùng kết quả thu được