Th.

S Hà Văn Hiệp
 Sử dụng OLS để ước lượng mô hình hồi quy đơn
biến, hồi quy đa biến (hồi quy bội)
 Đánh giá mô hình hồi quy tuyến tính
 Các giả định đối với mô hình hồi quy tuyến tính
 Ước lượng của các hệ số trong mô hình hồi quy
tuyến tính

2
PHÂN TÍCH HỒI QUY
• Phân tích hồi quy nghiên cứu mối liên hệ phụ
thuộc của một biến (gọi là biến phụ thuộc hay
biến được giải thích) vào một hay nhiều biến
khác (được gọi là (các) biến độc lập hay giải
thích) với ý tưởng là ước lượng hoặc dự báo biến
phụ thuộc trên cơ sở giá trị đã cho của (các) biến
độc lập.
• Biến phụ thuộc là biến ngẫu nhiên, có quy luật
phân phối xác suất
• (Các) biến độc lập không phải là biến ngẫu nhiên,
giá trị của chúng đã được cho trước.

3
 Nếu y phụ thuộc vào các x theo dạng tuyến
tính (dạng đường thẳng)
Y = β0 + β1 + β2 + β3 + β4 + β5 + ε
 Nếu y phụ thuộc vào các x theo dạng phi
tuyến tính (dạng đường cong)
Y ≠ β0 + β1 + β2 + β3 + β4 + β5 + ε

4
 Mô hình hồi quy tuyến tính đơn giản
y = β0 + β1x + ε

 Phương trình hồi quy tuyến tính đơn

giản
E(y) = β0 + β1x

5
PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN
ƯỚC LƯỢNG
n Phương trình hồi qui tuyến tính đơn ước lượng

ŷ= b0 + b1 x

• Đồ thị được gọi là đường hồi qui ước lượng.

• b0 là tung độ gốc của đường.
• b1 là độ dốc của đường
• ŷ là giá trị ước lượng của y đối với giá trị x cho trước.

6
 Mô hình hồi qui Dữ liệu mẫu
y = β0 + β1x +ε x y
Phương trình hồi qui x1 y1
E(y) = β0 + β1x . .
Tham số chưa biết . .
β0, β1 xn yn

Phương trình
hồi qui ước lượng
b0 và b1
Ước lượng của ŷ= b0 + b1 x
β0 và β1 Trị thống kê mẫu
b 0, b 1

7
 Tiêu chí bình phương tối thiểu

min ∑ (y i − y i ) 2
Với:
yi = giá trị quan sát của biến phụ thuộc
đối với quan sát thứ i

yi ^ = giá trị ước lương của biến phụ thuộc

đối với quan sát thứ I

8
 Độ dốc của phương trình hồi qui ước lượng

b1 = ∑ ( x − x )( y − y )
i i

∑ (x − x ) i
2

∑x y i i − nx y
b1 = i −1
n

∑x
2
2
i − nx
i =1
9
PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU
n Tung độ gốc của phương trình hồi qui ước lượng

b0= y − b1 x

Với:
xi = giá trị của biến độc lập đối với quan sát thứ i

yi = giá trị của biến phụ thuộc đối với quan sát thứ i
_
x = giá trị trung bình của biến độc lập
_
y = giá trị trung bình của biến phụ thược
n = tổng số quan sát

10
 HỒI QUI TUYẾN TÍNH ĐƠN
n Ví dụ: Doanh số xe hơi

Quảng cáo Doanh số

TV xe hơi

1 14
3 24
2 18
1 17
3 27

11
 Độ dốc của phương trình hồi qui ước
lượng ∑ ( xi − x )( yi − y ) 20
b1
= = = 5
∑ (x i − x) 2
4

 Tung độ gốc của phương trình hồi qui

ước lượng
b0 =y − b1 x =20 − 5(2) =10

 Phương trình hồi qui ước lượng

yˆ 10 + 5x
=

12
13
SHIFT MODE 1 (Scl) = [xóa bộ nhớ]
[500MS] MODE 3 (Reg) 1 (Lin)
[570MS] MODE MODE 2 (Reg) 1 (Lin) [Nhập dữ liệu]
1 14 M+ [trên màn hình nhảy n = 1]
3 24 M+ [trên màn hình nhảy n = 2]
2 18 M+ [trên màn hình nhảy n = 3]
1 17 M+ [trên màn hình nhảy n = 4]
3 27 M+ [trên màn hình nhảy n = 5]
AC (hay ON)
Tính b0: SHIFT 2  1 = [cho b0 = 10]
Tính b1: SHIFT 2  2 = [cho b1 = 5]
Tính r: SHIFT 2  3 = [cho r = 0,9365858]

14
SHIFT 9 3 = AC [xóa bộ nhớ]
SHIFT MODE ∇ 4 Frequency? 2: OFF
1: ON 2: OFF
[500ES] MODE 2 (STAT) 2: A+BX [hồi quy tuyến tính]
[570ES] MODE 3 (STAT) 2: A+BX [hồi quy tuyến tính]

15
[Nhập dữ liệu]

1 = 3 = 2 = 1 = 3 =
 
14 = 24 = 18 = 17 = 27 =
ON
[Tính b0] SHIFT 1 7 1:A
[Tính b1] SHIFT 1 7 2:B
[Tính r] SHIFT 1 7 3:r
[Định số số lẻ] SHIFT MODE 6 Fix 0~9? 16
ĐÁNH GIÁ PHƯƠNG TRÌNH HỒI QUY
Hệ số xác định, r2, là một tiêu chuẩn mô tả để đánh
giá cường độ của mối liên hệ hồi quy, một tiêu chuẩn
đánh giá đường hồi quy phù hợp với dữ liệu tốt tới
mức độ nào.
Y

.
}
2
∑ (y − y)2 =∑ (y − yˆ )2 +
∑(yˆ − y)
{
Y
Ñoä leäch SST = SSE + SSR
khoâng ñöôïc giaûi thích
Toång ñoä leäch

{
Y
Ñoä leäch
ñöôïc giaûi thích
Y
r2 = SSR =1− SSE
SST SST

X
X
17
 SST = tổng các độ lệch bình phương toàn bộ

( y)
2
∑
∑( y − y) = ∑ y
2
SST = 2
−
i
n

 SSR = tổng các độ lệch bình phương do hồi quy

 Σx Σy 
SSR = ∑ ( yi − y ) = b1  Σxy −
2
ˆ 
 n 

 SSE = tổng các độ lệch bình phương do phần dư

SSE =∑ ( yi − yˆ i ) =Σy 2 − b1Σxy − b0 Σy

2

18
Hệ số tương quan mẫu

r = (daáu cuûa b1 ) Heä soá xaùc ñònh

r = (daáu cuûa b1 ) r 2

trong đó:
b1 = hệ số góc phương trình hồi quy ước lượng

yˆ = b0 + b1 x

19
các giả thuyết
H0: ρ = 0 H0: ρ = 0 H0: ρ = 0
Ha: ρ > 0 Ha: ρ < 0 Ha: ρ ≠ 0
Thống kê kiểm định là
r n−2
t=
1− r 2
Trị thống kê tới hạn tn-2,

20
1. Sai số ε là biến ngẫu nhiên với trung bình bằng 0
2. Phương sai của ε , ký hiệu σ 2, sẽ giống nhau
đối với tất cả các giá trị của biến độc lập.
3. Các giá trị của ε là độc lập.
4. Sai số ε là biến ngẫu nhiên tuân theo
5. phân phối chuẩn
Một số tiêu chí đánh giá về sự thích hợp của mô
hình.
Thứ nhất, dấu của các hệ số hồi quy ước lượng có
phù hợp với lý thuyết hay tiên nghiệm hay không?
Thứ hai, theo lý thuyết kinh tế thì mối quan hệ giữa
chi tiêu và thu nhập không những chỉ đồng biến mà
còn phải có ý nghĩa thống kê
Thứ ba, mô hình giải thích biến thiên trong chi tiêu
tiêu dùng tốt đến đâu? Sử dụng r2
Ngoài các tiêu chí trên, kiểm tra xem mô hình có
thỏa mãn các giả thiết của mô hình hồi quy tuyến
tính cổ điển.

22
 Để kiểm định mối liên hệ hồi quy có ý nghĩa, phải
tiến hành kiểm định giả thuyết để quyết định xem
giá trị của β1 có bằng 0 hay không.
 Hai kiểm định thường được dùng

Kieåm ñònh t vaø Kieåm ñònh F

Cả hai kiểm định đều cần đến một ước lượng của
σ2 , phương sai của e trong mô hình hồi quy.

σ ε2

23
 Ước lượng của σ ε2
 Sai số bình phương trung bình (MSE) cung
cấp một ước lượng của σ ε2 , ký hiệu là. se2
se2 = MSE = SSE/(n-2)
trong đó:
SSE = ∑ ( yi − yˆ i ) 2 = ∑ ( yi − b0 − b1 xi ) 2

 Ước lượng của se

◦ se : sai số chuẩn của ước lượng.
σ ε2

SSE
=se MSE
=
n−2
24
 Sai số chuẩn của hệ số góc
1
sb1 = se
∑ ( xi − x )
n 2

i =1
 Sai số chuẩn của tung độ góc

2
1 x
=
sb0 se + n
n ∑ ( x − x )2
i
i =1
25
 Phát biểu giả thuyết:
H0: βi ≥ 0 H0: βi ≤ 0 H0: βi = 0
Ha: βi < 0 Ha: βi > 0 Ha: βi ≠ 0

 Trị thống kê kiểm định: (Kiểm định t với df = n – 2)

bi − 0
t=
sbi
 Quy tắc bác bỏ: Bác bỏ H0 nếu
t < -tα; n-2 t > tα; n-2 |t| > tα/2; n-2

Bác bỏ H0 nếu p-value < α

26
 Kiểm định t
◦ H0: β1 = 0
Ha: β1 ≠ 0
◦ Trị thống kê kiểm định:
t = 5/1,08 = 4,63
Bác bỏ H0 nếu t > tα/2; n–2.
Với α = 0,05 , t0,025;3 = 3,182
◦ Kết luận:
Vì t = 4,63 > t0,025;3 = 3,182 nên bác bỏ H0.

27
 bi ± tα 2; n −2 sbi
hay
bi − tα 2; n −2 sbi ≤ βi ≤ bi + tα 2; n −2 sbi

 Có thể dùng một khoảng tin cậy 95% của β1

để kiểm định các giả thuyết vừa mới dùng
trong kiểm định t.
 H0 bị bác bỏ nếu giá trị được giả thuyết của β1
không nằm trong khoảng tin cậy của β1.
28
Kiểm định ý nghĩa: Kiểm định F
n Giả thuyết
H0: β1 = 0
Ha: β1 ≠ 0
n Trị thống kê kiểm định
F = MSR/MSE
Bác bỏ H0 nếu p-value < α hay F > Fα;1;n-2

Trong đó Fα;1;n-2 – phân phối F với 1 bậc tự

do ở tử số và n-2 bậc tự do ở mẫu số.

29
 Bác bỏ H0: β1 = 0 và kết luận rằng mối quan hệ
giữa x và y có ý nghĩa, chúng ta không thể kết
luận có mối quan hệ nhân quả giữa x và y
 Bởi vì chúng ta có thể bác bỏ H0: β1 = 0 và
chứng tỏ có ý nghĩa về thống kê , chúng ta
không thể kết luận có mối quan hệ tuyến tính
giữa x và y
Ước lượng và dự báo

 Ước lượng khoảng tin cậy của E(yp)

yˆ p ± tα 2;n − 2 s yˆ p
 Ước lượng khoảng dự báo của yp
yˆ p ± tα 2;n − 2 sind

31
Khoảng dự báo cho giá trị trung bình của Y

Ước lượng khoảng dự báo cho

Giá trị trung bình của Y với một giá trị riêng biệt xp
Kích thước của khoảng này dao
động theo khoảng cách tính từ trung
bình, x

1 ( x p − x )2
yˆ p ± tα / 2, n − 2 se +
n ∑ (x − x ) 2

32
Khoảng dự báo cho giá trị cá biệt của Y

Ước lượng khoảng tin cậy cho một

giá trị cá biệt của y với một giá riêng biệt xp

1 (xp − x )
2

yˆ p ± tα / 2, n − 2 se 1 + +
n ∑ ( x − x )2

33
Các ước lượng khoảng
với các giá trị khác nhau của x

Khoảng dự báo cho

một giá trị cá biệt
y của y, với xp đã cho

Khoảng tin cậy

cho giá trị trung
bình của y, với
xp đã cho

x
x xp
34
Phân tích phần dư

 Mục đích
 Kiểm tra giả định tuyến tính
 Kiểm tra phương sai không thay đổi với mọi
mức độ của x
 Đánh giá giả định phân phối chuẩn của phần dư
 Kiểm tra tính độc lập của phần dư
 Phân tích các phần dư bằng đồ thị ^
 Có thể vẽ đồ thị các phần dư theo x hoặc theo y
 Có thể tạo các biểu đồ (histogram) phần dư để
kiểm tra tính chuẩn

35
 Nếu giả định về số hạng sai số e có vẻ đáng
ngờ, các kiểm định giả thuyết về ý nghĩa của
mối liên hệ hồi quy và kết quả ước lượng
khoảng có thể không có căn cứ vững chắc.
 Các phần dư cung cấp thông tin tốt nhất về ε.
 Phần lớn phân tích phần dư dựa trên việc
xem xét các biểu đồ (graphical plots).

36
Kiểm tra giả định phương sai
không đổi
Nếu giả định phương sai của e bằng nhau với
mọi giá trị của x là đúng, và mô hình hồi quy
được giả định là một sự mô tả hay biểu diễn
thích đáng mối liên hệ giữa các biến, thì
Biểu đồ phần dư sẽ đem lại một ấn tượng
chung về một dải các điểm nằm ngang

37
 Phân tích phần dư cho phương sai
không đổi

y y

x x
Phaàn dö

x Phaàn dö x

Phöông sai thay ñoåi

 Phöông sai khoâng ñoåi
38
 Có hai cách làm:
◦ Sử dụng biểu đồ phần dư chuẩn hoá theo x
◦ Sử dụng đồ thị xác suất chuẩn (Normal
probability plot)

39
 Mô hình hồi quy bội
y = β0 + β1x1 + β2x2 + . . . + βpxp + ε

 Phương trình hồi quy bội

E(y) = β0 + β1x1 + β2x2 + . . . + βpxp

 Phương trình hồi quy bội ước lượng

^
y = b0 + b1x1 + b2x2 + . . . + bpxp

40
 Tiêu chuẩn bình phương bé nhất
min ∑ ( y i − y^ i )2
 Tính toán giá trị của các hệ số
 Các công thức tính các hệ số hồi quy b0, b1, b2,
. . . bp liên quan đến việc sử dụng đại số ma
trận. Chúng ta sẽ dựa vào các gói phần mềm
máy tính để thực hiện các tính toán.
 Lưu ý về việc giải thích các hệ số
 bi là ước lượng của sự thay đổi trong y tương
ứng với một đơn vị thay đổi trong xi khi tất cả
các biến độc lập khác được giữ không thay đổi.

41
 Mối liên hệ giữa SST, SSR, SSE
SST = SSR + SSE
2 2 2
(
∑ iy − y ) = (
∑ iy −^
y ) + ( y
∑ i i− y )^

 Hệ số xác định bội

R 2 = SSR/SST
 Hệ số xác định điều chỉnh
n−1
Ra2 = 1 − ( 1 − R 2 )
n−p−1

42
 Các giả định về số hạng sai số ε
 Sai số ε là một biến ngẫu nhiên có trung bình
bằng 0.
 Phương sai của ε , ký hiệu bằng σε 2, là bằng
nhau với mọi giá trị của các biến độc lập.
 Các giá trị của ε độc lập với nhau.
 Sai số ε là một biến ngẫu nhiên có phân phối
chuẩn phản ánh độ lệch giữa giá trị y và giá trị
kỳ vọng của y được cho bởi
 β0 + β 1x1 + β 2x2 + . . . + β pxp

43
 Giảthuyết:
H0: β1 = β2 = . . . = βp = 0
Ha: Không phải tất cả βj = 0 (có ít nhật một β j ≠ 0).
 Trị
thống kê kiểm định:
F = MSR/MSE
 Quy tắc bác bỏ:

 Bác bỏ H0 nếu F > Fα

 Sử dụng giá trị p: Bác bỏ H0 nếu giá trị p < α

Trong đó: Fα dựa trên phân phối F với p bậc tự
do ở tử số và n - p - 1 bậc tự do ở mẫu số.
44
 Baûng ANOVA (giaû söû coù p bieán ñoäc laäp)
Source of Sum of Degrees of Mean
Variation Squares Freedom Squares F
SSR MSR
Regression SSR p MSR = F=
p MSE
SSE
Error SSE n- p - 1 MSE =
n− p−1
Total SST n-1

45
 Giả thuyết:
H0: βi = 0
Ha: βi = 0
 Trị thống kê kiểm định
bi
t=
sbi
 Quy tắc bác bỏ:
• Bác bỏ H0 nếu t > tα/2

• Sử dụng giá trị p: Bác bỏ H0 nếu giá trị p < α

trong đó tα/2 dựa trên phân phối t với n - p - 1 bậc tự do

46