HỒI QUY TUYẾN TÍNH ĐƠN

Lý thuyết hồi quy (đơn biến) nghiên cứu bài toán dự báo biến ngẫu nhiên Y trên cơ
sở đã biết về biến ngẫu nhiên X.
Biến X được gọi là biến độc lập, hay gọi là biến giải thích.
Y gọi là biến phụ thuộc, hay biến được giải thích. Người ta tìm cách thay Y bởi hàm
f(X) sao cho “chính xác nhất”.
Trong mối liên hệ hàm số, với mỗi một giá trị X ta tìm được duy nhất một giá trị Y.
Tuy nhiên trong thống kê, một giá trị X có thể cho tương ứng nhiều giá trị Y khác
nhau, bởi vì ngoài biến chính là X, biến Y có thể còn chịu tác động bởi một số yếu tố
khác.
ĐN hồi quy: Hàm hồi quy của Y theo X chính là kỳ vọng có điều kiện của Y đối với X,
tức là E(Y|X).
Hàm hồi quy có dạng fY(X) = E(Y|X) = a + bX gọi là hàm hồi quy tuyến tính đơn.
Giả sử ta có 1 mẫu khi quan sát (X,Y) là: { (X1,Y1); (X2,Y2);… (Xn,Yn)}.
Ta có thể biểu diễn Yi = a + b.Xi + Ui i = 1,2, … n (*)
Coi Ui là các sai số ngẫu nhiên và giả thiết rằng chúng độc lập với nhau, cùng tuân
theo quy luật phân phối chuẩn N(0, 2).
Mô hình (*) gọi là mô hình hồi quy tuyến tính đơn.
Các bài toán được xem xét trong chương này:
1. Tìm các hệ số a , b của đường hồi quy tuyến tính mẫu.
2. Đánh giá các sai số của ước lượng và tính phù hợp ( hay đúng đắn) của hàm hồi
quy.
3. Tìm khoảng tin cậy cho các hệ số a, b của hàm hồi quy tuyến tính đơn.
4. Kiểm định giả thiết về giá trị của các hệ số a, b.
5. Dự đoán các giá trị của Y theo X.

Bài toán 1: Giả sử ta có 1 mẫu cụ thể { (xi, yi) }; i = 1,2,…,n

Hàm y ( x)  a  b . x là hàm hồi quy tuyến tính mẫu của Y theo X nếu hàm

  là nhỏ nhất.
n
Q   yi  yi
2

i 1
n

Giải bài toán cực trị tự do của hàm Q (a, b)    yi   a  b.xi  

2

i 1
 xy  x. y
ta tìm được nghiệm:  b  2
 sx

 a  y  b .x
Bài toán 2: Đặt:

    a  b x  y  n( x. y  x. y)
2
 
n n n
SSR   yi  y   y  b . x  b . xi  y  
2 2

i 1  
i 2
i 1 i 1 sX

 
n
SST   yi  y . Bấm máy n  sY
2 2

i 1

 
n
SSE   yi  yi
2
 SST - SSR
i 1

ANOVA

SS df MS Tiêu chuẩn Giá trị P

kiểm định F
Regression SSR 1 MSR = SSR MSR
(Hồi quy) F=
MSE
Residual SSE n-2 SSE
(Phần dư)
MSE =
n- 2
Total SST n-1
Kiểm định sự phù hợp của hàm hồi quy tuyến tính đơn:
Giả thiết H0: R2 = 0 hoặc H0: b = 0
H1: R  0
2
H1: b  0 ( mô hình phù hợp)
Tiêu chuẩn kiểm định:
R2 SSR
F= F=
1 R2 hoặc
SSE
n2 n-2
Miền bác bỏ: W = ( F(1;n-2) ; +)
Hệ số xác định R2:
SSR  SSE 
R2 = 100% hay R 2  1   100%
SST  SST 
* SST đo mức biến động các giá trị của Y xung quanh giá trị trung bình của nó.
* SSR là sai số do khác biệt giữa đường hồi quy mẫu và trung bình của Y. Sự khác biệt
này được giải thích bởi sự biến động của X.
* SSE được xem như sai số do những yếu tố khác ngoài X hoặc do lấy mẫu ngẫu
nhiên.
Hệ số R2 giải thích trong 100% sự biến động của Y so với trung bình của nó thì có bao
nhiêu % là do biến X gây ra.
Trong mô hình hồi quy tuyến tính đơn, R2 = rXY2. rXY: hệ số tương quan.

Sai số chuẩn của ước lượng:

2
Nếu 2 chưa biết thì ta dùng ước lượng không chệch của nó là  .
SSE
Sai số chuẩn của ước lượng là  
n2
Bài toán 3:

Các hệ số a, b trong mô hình lý thuyết f(X) = a + bX có a , b là những ước lượng

tương ứng. Khoảng tin cậy của a, b lần lượt được xác định như sau:


* Khoảng ước lượng cho hệ số góc b là: b   b ; b   b , với: 
 SSE
 b  t  ( n  2)   t  ( n  2) 
2 Sx  n 2 S x  n(n  2)
 
* Khoảng ước lượng cho tung độ gốc a là: a   a ; a   a , với: 
  x2 SSE  x 2
 a  t  ( n  2)   t  ( n  2) 
2 Sx  n 2 S x  n(n  2)

Bài toán 4:
* Giả thiết H0: b = bo
H1: b  bo
b  b0
T=
Tiêu chuẩn kiểm định: SSE
S x  n(n  2)

Miền bác bỏ: W = (-; - t (n-2)) ( t (n-2); +)

* Giả thiết H0: a = ao

H1: a  ao
a  a0
T=
Tiêu chuẩn kiểm định:
SSE  x 2
S x  n(n  2)
Miền bác bỏ: W = (-; - t (n-2)) ( t (n-2); +)

Bài toán 5:
Dự báo giá trị trung bình của Y khi X = x0 .

Khoảng ước lượng của fY(xo) :

 x  x
2
1
a  b .xo  t  ( n  2)   
0

  x  x
n
2 n 2
i
i 1