Ph©n tÝch Håi quy

Trong thùc tÕ, nhiÒu khi cÇn dù b¸o hoÆ c ­ í c l­ î ng gi¸ trÞ
cña mét ®¹i l­ î ng (biÕn ®­î c ­ í c l­ î ng, ®­î c m« t¶) theo
mét hay nhiÒu ®¹i l­ î ng kh¸c (biÕn dï ng ®Ó­ í c l­ î ng,
dï ng ®Óm« t¶) th«ng qua mét c«ng thøc nµo ®ã. Lóc ®ã
ng­ êi ta dï ng ph­ ¬ng ph¸p Ph©n tÝch Håi quy.

ThÝdô. XÐt mèi quan hÖgi÷ chØsè trÝtuÖIQ cña n häc sinh
vµ kÕt qu¶ häc tËp cña c¸c m«n trong tr­ êng. Ng­ êi ta cÇn
biÕt, liÖu cã thÓ­ í c l­ î ng chØsè IQ qua ®iÓm sè c¸c m«n häc
hay kh«ng?
NÕu c«ng thøc dï ng ®ÓbiÓu diÔn sù phô thuéc cña biÕn
®­ î c m« t¶ (cßn gäi lµ biÕn phô thuéc) vµo c¸c biÕn dï ng ®Ó
m« t¶ (® ­ î c gäi lµ biÕn ®éc lËp) cã d¹ng tuyÕn tÝnh th×
ph­ ¬ng ph¸p ® ­ î c gäi lµ håi quy tuyÕn tÝnh. T­ ¬ng tù,
ng­ êi ta cßn cã c¸c ph­ ¬ng ph¸p håi quy ®a thøc, håi quy
phi tuyÕn, v.v.
Håi quy ®¬n

Håi quy tuyÕn tÝnh ®¬n:

Y = a. X + b + e
Trong ®ã
* a lµ ®é dèc cho biÕt khi t¨ng mçi ®
¬n vÞcña biÕn ®éc lËp
X th×biÕn phô thuéc Y sÏ t¨ng hay gi¶m bao nhiªu ® ¬n vÞ;
* b lµ h»ng sè håi quy (intercept), cho
biÕt ®­êng håi quy cã ®i qua gèc täa ®é
hay kh«ng, ®iÓm xuÊt ph¸t cña Y khi X
b»ng 0 lµ ë ®©u - ©m hay d­¬ng;
* e lµ phÇn d­ håi quy, cho biÕt sai sè
cña ph­¬ng trình håi quy t¹i tõng quan s¸t.
ThÝdô. Gi¶ sö “chi phÝcho mua s¾ m” cña hé gia ® ×nh tû lÖví i
“thu nhËp bu«n b¸n” cña hé. Cã thÓdï ng ph­ ¬ng tr× nh trªn ® Ó
biÓu diÔn “chi phÝmua s¾ m” (biÕn Y ) qua “thu nhËp bu«n
b¸n” (biÕn X ) . Lóc ®ã a cho biÕt tõ mçi ®ång thu nhËp ® ­ î c,
hé gia ® ×
nh th­ êng giµnh bao nhiªu cho mua s¾ m; cßn b cho
biÕt khi kh«ng cã thu nhËp tõ bu«n b¸n, hé gia ®×
nh cã thÓmua
s¾m bao nhiªu tõ nh÷ng nguån kh¸c.
Håi quy phi tuyÕn

Trong nhiÒu bµi to¸n, gi÷a biÕn ®éc lËp vµ biÕn phô thuéc
kh«ng cã mèi quan hÖtuyÕn tÝnh. Lóc ® ã ph¶i dï ng m« h×nh
håi quy phi tuyÕn
Y = f(X) + e
Trong ®ã f lµ mét hµm sè d¹ng phi tuyÕn.

ThÝdô. C© n nÆng cña trÎ nhá sÏ t¨ng theo th¸ng tuæi cña trÎ ,
nh­ ng t¨ng kh«ng ®Òu, cµng vÒsau møc t¨ng c© n hµng th¸ng
cµng Ýt. Nh­ vËy, ph¶i dï ng mét ph­ ¬ng tr×nh håi quy phi
tuyÕn ®Ódù ®o¸n c© n nÆ ng cña trÎ theo th¸ng tuæi.
Mét sè d¹ng phi tuyÕn.
* D¹ng b×nh ph­ ¬ng: Y = a. X 2 + b , lËp ph­ ¬ng Y = a. X 3 + b
* D¹ng ®a thøc: Y = a + b. X + c. X 2 + d . X 3 + ...
* D¹ng mò: Y = e a. X +b + c
* D¹ng l« ga: Y = a.log( X ) + b
* D¹ng c¨n: Y = a. X + b + c
* D¹ng nghÞch ® ¶o Y = a /( X + b) + c
. . .
Chó ý

1. Tr­ í c khi tiÕn hµnh thñ tôc håi quy, nªn dï ng ® å thÞ®¸m m©y
®iÓm biÓu diÔn quan hÖgi­ · biÕn ® éc lËp vµ biÕn phô thuéc ®Ó­ í c
®o¸n vµ lùa chän m« h× nh håi quy thÝch hî p;

2. NÕu hai m« h×nh ®Òu ®­a ra kÕt qu¶ dù b¸o tèt nh­ nhau th×
nªn dï ng m« h×nh nµo ®¬n gi¶n h¬n ®ÓdÔgi¶i thÝch vµ sö dông
trong thùc tÕ;
¦ í c l­ î ng tham sè håi quy b»ng ph­ ¬ng ph¸p BPBN

nh HQTT Y = a. X + b + e , lÊy mÉu

Ví i m« h×
( X 1 , Y1 ),( X 2 , Y2 ),...,( X m , Ym )

X©
y dùng hµm håi quy mÉu d¹ng
Yˆi = aˆ. X i + bˆ
Yi = Yˆi + eˆi = aˆ. X i + bˆ + eˆi

CÇn t×m ­ í c l­ î ng cña c¸c tham sè sao cho tæng b×

nh ph­ ¬ng
c¸c sai sè (phÇn d­ ) lµ nhá nhÊt:
m m
∑ ei2 = ∑ (Yi − aX
ˆ i − bˆ)2 = f ( aˆ , bˆ) → min
i =1 i =1
C¸ch gi¶i quyÕt
NghiÖm trªn ®© y sÏ lµ lêi gi¶i cÇn t×
m nÕu ®
¹o hµm riªng phÇn
bËc 2 cña f t¹i ®iÓm ® ã (ma trËn Hessian)lµ mét ma trËn x¸c
®Þnh d­ ¬ng (®iÒu kiÖn ®ñ):

 ∂2 f ∂2 f   
m
   2n 2∑ X i 
ˆ
 ∂aˆ∂aˆ ∂aˆ∂b  =  i =1 
 ∂2 f ∂2 f   m m 
 ˆ   2∑ X 2∑ X 2 
ˆ ˆ  i i 
 ∂b∂a ∂b∂b   i =1
ˆ i =1 

DÔdµng kiÓm tra tÝnh x¸c ®Þnh d­ ¬ng cña ma trËn trªn, vËy
f ®¹t min t¹i ( aˆ , bˆ)
C¸ch gi¶i quyÕt
§ ¹o hµm riªng phÇn cña f sÏ triÖt tiªu t¹i ®iÓm f ®¹t min
(®iÒu kiÖn cÇn):
m
∂f
= − ∑ 2(Yi − aˆ. X i − bˆ) = 0
∂aˆ i =1
m
∂f
= − ∑ 2(Yi − aˆ. X i − bˆ) X i = 0
∂bˆ i =1
Tõ ®ã ta cã
m m m m m
∑Yi = aˆ ∑ X i + mbˆ ; ∑Yi X i = aˆ ∑ X i2 + bˆ∑ X i
i =1 i =1 i =1 i =1 i =1
m
∑ X iYi − mX Y
aˆ = im=1 ; bˆ = Y − aX
ˆ
∑ X i2 − m( X )2
i =1
Mét sè tÝnh chÊt cña tham sè håi quy ­ í c l­ î ng b»ng ph­ ¬ng
ph¸p BPBN
a) Trung b× nh cña c¸c phÇn d­ b»ng 0 :
1 m
eˆ = ∑ eˆi = 0
m i =1
b) § ­ êng th¼ng håi quy lu«n ®i qua ®iÓm trung b× nh mÉu
Y = aX ˆ + bˆ
c) Trung b× nh c¸c gi¸ trÞdù b¸o b»ng trung b× nh mÉu cña Y :
m m
1 1
Yˆ = ∑Yˆi = Y = ∑Yi
m i =1 m i =1
d) C¸c gi¸ trÞdù b¸o kh«ng t­ ¬ng quan ví i c¸c phÇn d­ :
Cov ( eˆ, Yˆ ) = 0
e) PhÇn d­ kh«ng t­ ¬ng quan ví i biÕn ®éc lËp:
Cov ( eˆ, X ) = 0
C¸c gi¶ thiÕt cæ®iÓn cña m« h×
nh håi quy ­ í c l­ î ng b»ng
ph­ ¬ng ph¸p BPBN
1) C¸c gi¸ trÞcña biÕn ®éc lËp X lµ kh«ng ngÉu nhiªn vµ ®­î c
x¸c ®Þnh tõ tr­ í c
2) Sai sè ngÉu nhiªn cã kú väng b»ng 0 :
E (e | X i ) = 0
3) Sai sè ngÉu nhiªn cã ph­ ¬ng sai cè ®Þnh:
Var ( e | X i ) = σ 2
4) C¸c phÇn d­ kh«ng t­ ¬ng quan ví i nhau:
Cov ( ei , e j ) = 0 , ∀i ≠ j
5) PhÇn d­ lµ ®¹i l­ î ng ngÉu nhiªn cã ph© n bè chuÈn:
ei  N (0, σ 2 )
§ Þnh lý Gaus-Markov
Ví i c¸c gi¶ thiÕt tõ 1 ®Õn 5 cña m« h× nh HQTT cæ®iÓn, ­ í c l­ î ng
BPBN cña c¸c thamsè håi quy a vµ b lµ c¸c ­ í c l­ î ng
- TuyÕn tÝnh
- Kh«ng chÖch
- Cã ph­ ¬ng sai bÐnhÊt (­ í c l­ î ng hiÖu qu¶) trong lí p c¸c
­ í c l­ î ng tuyÕn tÝnh kh«ng chÖch cña a vµ b ).

CM: Hai ý ®
Çu  Bµi tËp
TÝnh chÊt cña tham sè håi quy ­ í c l­ î ng b»ng ph­ ¬ng ph¸p
BPBN
a) ¦ í c l­ î ng cña c¸c tham sè lµ ­ í c l­ î ng kh«ng chÖch:
E ( aˆ ) = a ; Cov ( aˆ ) = σ 2 ( X T . X ) −1
b) C¸c phÇn d­ cã kú väng b»ng 0 :
E ( eˆ) = 0 ; Cov ( eˆ) = σ 2 ( I − X ( X T X ) −1 X T )
c) ¦ í c l­ î ng cña ph­ ¬ng sai:
m
1 1
σˆ 2 =
m − k −1
eˆT eˆ = ∑
m − k − 1 i =1
eˆi2

lµ ­ í c l­ î ng kh«ng chÖch: E (σˆ 2 ) = σ 2

d) C¸c gi¸ trÞdù b¸o cña c¸c tham sè vµ phÇn d­ kh«ng t­ ¬ng
quan ví i nhau:
Cov ( aˆ , eˆ) = 0 ; Cov ( aˆ ,σˆ 2 ) = 0
Kho¶ng tin cËy cña c¸c hÖsè håi quy
C¸c tham sè ­ í c l­ î ng ®­î c lµ ®¹i l­ î ng ngÉu nhiªn, phô thuéc
vµo mÉu quan s¸t ®­î c. Muèn ®¸nh gi¸ ®­î c ®é chÝnh x¸c cña c¸c
­ í c l­ î ng ®ã cÇn biÕt kho¶ng tin cËy cña chóng. Tr­ í c tiªn cÇn
­ í c l­ î ng ®é biÕn ®éng cña chóng:
1) § é biÕn ®éng cña sai sè
m m
σˆ (e) = ∑
2
eˆi2 = ∑ (Yi − Yˆi )2
i =1 i =1
2) § é biÕn ®éng (ph­ ¬ng sai) cña c¸c tham sè håi quy
m

σˆ 2 ( e)
∑ i
X 2
σˆ 2 (e)
Var ( aˆ ) = m ; Var (bˆ) = i =1 .m
m
∑( Xi − X ) 2
∑ i
( X − X ) 2

i =1 i =1
3) Sai sè tiªu chuÈn cña c¸c tham sè håi quy
se( aˆ ) = Var ( aˆ ) , se(bˆ) = Var (bˆ)
Kho¶ng tin cËy cña c¸c hÖsè håi quy
§ Þnh lý. Ví i c¸c gi¶ thiÕt 1 ®Õn 5 cña m« h×nh HQTT cæ®iÓn, c¸c
®¹i l­ î ng sau liªn quan ®Õn thamsè håi ­ í c l­ î ng ®­î c theo
ph­ ¬ng ph¸p BPBN:
aˆ − a bˆ − b
;
se( aˆ ) se(bˆ)
lµ ®¹i l­ î ng ngÉu nhiªn cã ph©n phèi t-Student ví i m-2 bËc tù do

HÖqu¶. Ví i x¸c suÊt ý nghÜa α cho tr­ í c, kho¶ng tin cËy cña c¸c
thamsè håi quy sÏ lÇn l­ î t lµ

aˆ ± se( aˆ ).tm − 2 (α ) ; bˆ ± se(bˆ).tm −2 (α )

trong ®ã tm −2 (α ) ®­î c x¸c ®Þnh qua ®¹i l­ î ng ngÉu nhiªn T cã
ph©n phèi t-Student ví i m-2 bËc tù do:
P{| T |≥ tm −2 (α )} = α
 KiÓm ®Þnh gi¶ thuyÕt ®èi ví i c¸c hÖsè håi quy

Ví i θ = a hoÆ
c θ = b ta ®Æ
t ra bµi to¸n kiÓm ®Þnh:
Gi¶ thuyÕt H 0 : θ = θ0
§ èi thuyÕt
- Hai phÝa H1 : θ ≠ θ 0
- Mét phÝa ph¶i H1 : θ > θ 0
- Mét phÝa tr¸i H1 : θ < θ0

C¸ch 1. Dï ng kho¶ng tin cËy cña tham sè: so s¸nh gi¸ trÞ θ0 ví i
kho¶ng tin cËy (θˆ − se(θˆ).tm −2 (α ) ; θˆ + se(θˆ).tm −2 (α ))
- NÕu θ0 n»m trong kho¶ng ®ã th×chÊp nhËn gi¶ thuyÕt,
- NÕu θ0 n»m ngoµi kho¶ng ®ã th×b¸c bá gi¶ thuyÕt

Chó ý. § èi ví i bµi to¸n kiÓm ®

Þnh mét phia, ta ph¶i dï ng x¸c suÊt ý
nghÜa 2α thay cho α .
C¸ch 2. TÝnh x¸c suÊt ý nghÜa cña tham sè ­ í c l­ î ng ®­î c:
| θˆ − θ0 |
β = P{| T |≥ }
ˆ
se(θ )
trong ®ã T lµ biÕn ngÉu nhiªn cã ph© n phèi T-Student ví i (m-2) bËc
tù do,
a) § èi ví i bµi to¸n 2 phÝa, so s¸nh gi¸ trÞβ ví i møc ý nghÜa α ® ·
®Þnh
- NÕu β > α th×chÊp nhËn gi¶ thuyÕt,
- NÕu β ≤ α th×b¸c bá gi¶ thuyÕt
b) § èi ví i bµi to¸n 1 phÝa, so s¸nh gi¸ trÞβ ví i møc ý nghÜa α ®
·
®Þnh
- NÕu β > 2α th×chÊp nhËn gi¶ thuyÕt,
- NÕu β ≤ 2α th×b¸c bá gi¶ thuyÕt
C¸ch 2’.
a) § èi ví i bµi to¸n 2 phÝa, qua ®¹i l­ î ng ngÉu nhiªn T cã ph© n
phèi t-Student ví i m-2 bËc tù do, tÝnh gi¸ trÞtí i h¹n tm −2 (α )
ví i gi¸ trÞmøc ý nghÜa α ®· ® Þnh:
α = P{| T |≥ tm −2 (α )}
So s¸nh møc chªnh lÖch gi÷a tham sè θˆ ­ í c l­ î ng ®­î c vµ gi¸ trÞθ0
ví i gi¸ trÞtí i h¹n:
| θˆ − θ0 |
- NÕu < tm −2 (α ) th×chÊp nhËn gi¶ thuyÕt,
ˆ
se(θ )
| θˆ − θ0 |
- NÕu ≥ tm −2 (α ) th×b¸c bá gi¶ thuyÕt
se(θˆ)
C¸ch 2’.
b) § èi ví i bµi to¸n 1 phÝa, qua ®¹i l­ î ng ngÉu nhiªn T cã ph©n
phèi t-Student ví i m-2 bËc tù do, tÝnh gi¸ trÞtí i h¹n
tm −2 (2α ) ví i gi¸ trÞmøc ý nghÜ a α ®· ®Þnh:
2α = P{| T |≥ tm −2 (2α )}
So s¸nh møc chªnh lÖch gi÷a tham sè θˆ ­ í c l­ î ng ®­î c vµ gi¸ trÞθ0
ví i gi¸ trÞtí i h¹n:
* Mét phÝa ph¶i
θˆ −θ
- NÕu 0 <t
m − 2 (2α ) th×chÊp nhËn gi¶ thuyÕt,
ˆ
se(θ )
θˆ −θ
- NÕu 0 ≥t
m − 2 (2α ) th×b¸c bá gi¶ thuyÕt
ˆ
se(θ )
* Mét phÝa tr¸i
θˆ −θ
- NÕu 0 > −t
m − 2 (2α ) th×chÊp nhËn gi¶ thuyÕt,
se(θˆ)
θˆ −θ
- NÕu 0 ≤ −t
m − 2 (2α ) th×b¸c bá gi¶ thuyÕt
se(θˆ)
 Håi quy béi
Håi quy béi tuyÕn tÝnh:
Y = a1 * X1 +a 2 * X 2 +...+a k * X k + b + e

* Y lµ biÕn phô thuéc, ®­î c dù b¸o b»ng c¸c biÕn cßn l¹i
* X1 , X 2 ,...,X k lµ c¸c biÕn ®éc lËp dï ng ®Ódù b¸o biÕn Y
* a1 , a 2 , ...,a k lµ c¸c hÖsè håi quy cho biÕt phÇn ®ãng gãp cña
mçi ®¬n vÞcña tõng biÕn ®éc lËp vµo sù t¨ng gi¶m cña biÕn phô thuéc ;
* b lµ h»ng sè håi quy (intercept), cho biÕt Y cã thÓnhËn gi¸ trÞban
®Çu lµ bao nhiªu khi tÊt c¶ c¸c biÕn ®éc lËp b»ng 0 ;
* e lµ phÇn d­ håi quy, thÓhiÖn sai sè cña m« h× nh ®­î c ­ í c l­ î ng

Khi vÕph¶i cña ph­ ¬ng tr×nh håi quy phÝa trªn ® ­ î c thay b»ng
mét biÓu thøc phi tuyÕn cña c¸c biÕn ®éc lËp, ta sÏ cã m« h× nh
håi quy phi tuyÕn béi.
 ThÝ dô

§ Ódù ®o¸n thu nhËp cña hé gia ® ×

nh theo c¸c yÕu tè ®Çu t­ cña
hé trong n¨m, ta cã thÓlËp ph­ ¬ng tr×
nh Håi quy béi tuyÕn tÝnh:

Y = a1 * X1 +a 2 * X 2 +...+a k * X k + b + e
* Y lµ tæng thu nhËp cña hé;
* X1 lµ diÖn tÝch ®Êt n«ng nghiÖp cña hé;
* X 2 lµ diÖn tÝch ® Êt v­ ên cña hé;
* X3 lµ diÖn tÝch ® Êt rõng;
* X 4 lµ sè tiÒn mua ph© n hãa häc;
* X5 lµ sè tiÒn mua thuèc trõ s© u;
* X 6 lµ sè tiÒn tr¶ cho tr¹m b¬m phôc vô t­ í i tiªu;
....
Nh­ vËy a1sÏ cho biÕt 1 ha ® Êt n«ng nghiÖp sÏ ®em l¹i bao nhiªu tiÒn;
a 4 cho biÕt 1000 ® ång mua ph© n bãn sÏ cho bao nhiªu thu nhËp;
a 6 thÓhiÖn tiÒn chi cho c¸c c¸n bé thñy lî i sÏ cã hiÖu qu¶ nh­ thÕnµo;
v.v.
¦ í c l­ î ng tham sè håi quy b»ng ph­ ¬ng ph¸p BPBN

LÊy mÉu
(Y1 , X 11 , X 21,..., X k1 )
(Y2 , X 12 , X 22 ,..., X k 2 )
...
(Ym , X 1m , X 2 m ,..., X km )

M« h×
nh håi quy sÏ cã d¹ng

Y1 = b + a1 X 11 + a2 X 21 + ... + ak X k 1 + e1
Y2 = b + a1 X 12 + a2 X 22 + ... + ak X k 2 + e2
...
Ym = b + a1 X 1m + a2 X 2 m + ... + ak X km + em
¦ í c l­ î ng tham sè håi quy b»ng ph­ ¬ng ph¸p BPBN

Ký hiÖu d¹ng ma trËn

b 
 Y1  a   e1 
Y   1 e 
Y =  2  , a =  a2  , e =  2 
 ...     ... 
   ...   
Y
 m a   em 
 k

vµ
 1 X 11 X 21 ... X k1 
1 X X ... X 
X = 12 22 k2 
 ... 
 
 1 X 1m X 2m ... X km 
¦ í c l­ î ng tham sè håi quy b»ng ph­ ¬ng ph¸p BPBN

M« h×
nh håi quy sÏ cã d¹ng ma trËn

Y = X .a + e

CÇn t×m ­ í c l­ î ng cña c¸c tham sè sao cho tæng b×

nh ph­ ¬ng
c¸c sai sè lµ nhá nhÊt:

m
∑i
e 2
= (Y − X .a )T
(Y − X .a ) = f ( a ) = f ( b, a1 ,..., ak ) → min
i =1

Tøc lµ

Y T .Y − 2a T . X T .Y + a T . X T . X .a = f ( a ) → min
C¸ch gi¶i quyÕt
§ ¹o hµm riªng phÇn cña f sÏ triÖt tiªu t¹i ®iÓm f ®
¹t min
(®iÒu kiÖn cÇn):
∂f
= −2 X T .Y + 2 X T . X .a = 0
∂a
VËy ta cã
a = ( X T . X ) −1 X T .Y

Chó ý. Bµi to¸n cã nghiÖm khi vµ chØkhi ma trËn nghÞch ®¶o

( X T . X ) −1 tån t¹i. § iÒu nµy x¶y ra khi vµ chØkhi h¹ng cña ma
trËn X b»ng k+1 , tøc lµ khi kh«ng cã hiÖn t­ î ng ®a céng
tuyÕn gi÷a c¸c biÕn ® éc lËp.
C¸ch gi¶i quyÕt
NghiÖm trªn ® © y sÏ lµ lêi gi¶i cÇn t×
m nÕu ®¹o hµm riªng phÇn
bËc 2 cña f t¹i ®iÓm ® ã lµ mét ma trËn x¸c ®Þnh d­ ¬ng (®
iÒu
kiÖn ®ñ):

∂2 f
= 2 X T .X
∂a ∂a

DÔdµng thÊy ® ©y lµ ma trËn cña mét d¹ng toµn ph­ ¬ng x¸c
®Þnh d­ ¬ng, vËy f ®¹t min t¹i nghiÖm võa t×m® ­ î c.
ý nghÜa hi`nh häc cña Håi quy tuyÕn tÝnh
béi

Ví i c¸c quan s¸t trong mÉu, biÕn phô thuéc Y vµ c¸c biÕn ® éc
lËp X 1, X 2 ,..., X k ®Òu lµ nh÷ng vÐc t¬trong kh«ng gian c¸c biÕn .

X© y dùng m« h× nh Håi quy tuyÕn tÝnh béi chÝnh lµ viÖc t×

m c¸c sè
thùc a1, a2 ,..., ak sao cho tæhî p tuyÕn tÝnh

Ŷ = a1. X 1 + a2 . X 2 + ... + ak . X k ,

lµm ­ í c l­ î ng cña Y , sao cho ­ í c l­ î ng ®ã sai lÖch ví i Y Ýt nhÊt,

tøc lµ vÐc t¬sai sè e (phÇn d­ , ® é lÖch ­ í c l­ î ng)

ˆ
e = Y-Y

lµ “nhá nhÊt” theo mét nghÜa nµo ®ã.

Nh­ vËy, trong kh«ng gian c¸c biÕn , ta cÇn t× m trªn siªu ph¼ng
E = lin { X 1, X 2 ,..., X k }
®iÓm Ŷ n»m gÇn Y nhÊt, d (Yˆ , Y ) ® ¹t tèi thiÓu ®èi ví i mét kho¶ng
c¸ch d nµo ® ã.
Ng­êi ta th­êng xÐt d lµ khoảng c¸ch Euclides.ˆ Lóc
Y
®ã lµ h×nh chiÕu vu«ng gãc cña lªn siªu
Y
ph¼ng E

Wp

Wq

.
Yˆ ®­îc
Trong tr­êng hîp nµy, cã thÓ dÔ dµng thÊy chÝnh
Y bÐ nhÊt cña
lµ ­íc l­îng b×nh ph­¬ng
C¸c gi¶ thiÕt cæ®iÓn cña m« h×
nh håi quy ­ í c l­ î ng b»ng
ph­ ¬ng ph¸p BPBN
1) C¸c gi¸ trÞcña c¸c biÕn ®éc lËp lµ kh«ng ngÉu nhiªn vµ ®­î c
x¸c ®Þnh tõ tr­ í c
2) Sai sè ngÉu nhiªn cã kú väng b»ng 0 :
E ( e | X 1 , X 2 ,..., X k ) = 0
3) Sai sè ngÉu nhiªn cã ph­ ¬ng sai cè ®Þnh:
Var ( e | X 1 , X 2 ,..., X k ) = σ 2
4) C¸c phÇn d­ kh«ng t­ ¬ng quan ví i nhau:
Cov (ei , e j ) = 0 , ∀i ≠ j
5) PhÇn d­ lµ ®¹i l­ î ng ngÉu nhiªn cã ph© n bè chuÈn:
ei  N (0, σ 2 )
§ Þnh lý Gaus-Markov
Ví i c¸c gi¶ thiÕt tõ 1 ®Õn 5 cña m« h× nh HQTT cæ®iÓn, ­ í c l­ î ng
BPBN cña c¸c tham sè lµ c¸c ­ í c l­ î ng
- TuyÕn tÝnh
- Kh«ng chÖch
- Cã ph­ ¬ng sai bÐnhÊt (­ í c l­ î ng hiÖu qu¶) trong lí p c¸c ­ í c
l­ î ng tuyÕn tÝnh kh«ng chÖch cña c¸c tham sè håi quy).
ng qu¸t: XÐt vÐc t¬c¸c hÖsè c = ( c0 , c1,..., ck ) . Lóc ®
Tæ ã ®èi ví i tæ
hî p tuyÕn tÝnh c T a = c0 .b + c1.a1 + c2 .a2 + ... + ck .ak ) th×­ í c l­ î ng
c T aˆ = c0 .bˆ + c1.aˆ1 + c2 .aˆ2 + ... + ck .aˆk ) lµ ­ í c l­ î ng tuyÕn tÝnh, kh«ng
chÖch vµ cã ph­ ¬ng sai bÐnhÊt. Trong ® ã, aˆ = (bˆ, aˆ , aˆ ,..., aˆ ) lµ ­ í c
1 2 k
nh ph­ ¬ng bÐnhÊt cña c¸c hÖsè håi quy a = (b, a1 , a2 ,..., ak ) .
l­ î ng b×

CM: SGK
 2. § ¸nh gi¸ chÊt l­ î ng cña m« h×
nh.

Khi ®· ­ í c l­ î ng ®­î c c¸c hÖsè cña ph­ ¬ng tr×

nh håi quy, thay
gi¸ trÞcña c¸c biÕn ®éc lËp vµo vÕph¶i (kh«ng kÓphÇn d­ e),
ta thu ®­î c mét biÕn mí i, kÝhiÖu lµ Y’. BiÕn nµy chøa c¸c gi¸
trÞdù ®o¸n cho biÕn phô thuéc Y . Ta thÊy
* BiÕn phÇn d­ e b»ng hiÖu Y – Y’;

* HÖsè t­ ¬ng quan R =r(Y,Y’) gi÷a Y vµ Y’ lí n h¬n 0

vµ nhá h¬n 1 , ph¶n ¸nh tÝnh “gÇn gòi” gi÷a hai biÕn phô
thuéc vµ dù ®o¸n. Cï ng mét cì mÉu, hÖsè nµy cµng lí n th×
m« h×nh cµng tèt, dù ®o¸n cµng chÝnh x¸c
* § èi ví i m« h×
nh tuyÕn tÝnh ®¬n, R chÝnh lµ hÖsè t­ ¬ng
quan gi÷a biÕn ®éc lËp vµ biÕn phô thuéc;

* § èi ví i m« h×
nh tuyÕn tÝnh béi, R ®­ î c gäi lµ hÖsè t­ ¬ng quan
béi gi÷a biÕn phô thuéc Y vµ tËp biÕn ® éc lËp { X 1 , X 2 ,..., X k } ,

* Trong thùc hµnh, ® ÓtiÖn tÝnh to¸n vµ nhËn xÐt, ng­ êi ta th­ êng
dï ng ®¹i l­ î ng R 2 thay cho R . § ¹i l­ î ng nµy cßn ®­ î c gäi lµ
hÖsè x¸c ®Þnh.
.
3. § ¸nh gi¸ chÊt l­ î ngcña m« h× nh qua viÖc ph©
n tÝch c¸c
sai sè.

Sau khi ®· ­ í c l­ î ng ®­î c m« h×

nh, cã thÓdï ng ®å thÞ®
¸m
m©y ®iÓm biÓu diÔn quan hÖgi÷a phÇn d­ håi quy vµ biÕn
phô thuéc ®ÓkiÓm tra

a) TÝnh thuÇn nhÊt cña c¸c sai sè,

b) Xu thÕthay ®æi nµo ®ã cña sai sè, nÕu cã.

Tõ ®
ã t×
m c¸ch hiÖu chØnh m« h×
nh cho phï hî p h¬n.
Mét sè d¹ng ph©n bè cã thÓcña sai sè
D¹ng 1:

C¸c sai sè tËp trung quanh trôc y , t­ ¬ng ® èi ®Òu vÒhai phÝa so
ví i trôc ®ã vµ hÇu nh­ kh«ng thay ® æi theo y . Mäi gi¸ trÞcña
biÕn y ® Òu ® ­ î c ­ í c l­ î ng ví i mét ® é chÝnh x¸c gÇn nh­
nhau. M« h× nh ® ·® ­ î c lùa chän ® óng ® ¾n. NÕu ®é ph© n t¸n
vÉn lí n (hÖsè R nhá), muèn n© ng cao chÊt l­ î ng cña m« h× nh
th×ph¶i t¸c ® éng vµo c¸c biÕn ® éc lËp (thªm hoÆ c biÕn ®æi, söa
ch÷a c¸c biÕn m« t¶ ch¼ ngh¹n).
 D¹ng 2.

TÝnh chÝnh x¸c cña m« h× nh bÞgi¶m (sai sè lí n h¬n) khi y

t¨ng lªn. Trong tr­ êng hî p nµy cã thÓbiÕn ®æi Y ®Ó®­a vÒ
m« h× nh thÝch hî p h¬n hoÆ c ph¶i dï ng c¸c m« h× nh nhiÒu
møc
Gi¸ trÞ­ í c l­ î ng trong m« h×
nh bÞthõa ë ®o¹n nµy song l¹i
hôt ë ®o¹n kh¸c cña biÕn y . CÇn xem xÐt thªm c¸c ® å thÞ
gi÷a sai sè vµ c¸c biÕn m« t¶ ® Ólùa chän l¹i m« h×
nh. Cã
thÓxÐt thªm ® Õn c¸c m« h×
nh phi tuyÕn.
 4. § ¸nh gi¸ m« h×
nh qua viÖc kiÓm ®Þnh c¸c gi¶ thuyÕt
thèng kª.
HÖsè t­ ¬ng quan béi R cña ph­ ¬ng tr× nh håi quy ch­ a nãi
lªn ®Çy ®ñ ®­î c chÊt l­ î ng cña m« h× nh.
- NÕ u hai m« h× nh cã c¸c biÕn m« t¶ kh¸c nhau xuÊt hiÖn
trong ph­ ¬ng tr×
nh håi quy th×dï ng hÖsè t­ ¬ng quan béi
kh«ng kÕt luËn ® ­ î c m« h×nh nµo tèt h¬n.
- Cã thÓviÖc lo¹i bá bí t mét sè biÕn nµo ® ã ra khái ph­ ¬ng
tr×nh håi quy tuy lµm thay ® æi hÖsè t­ ¬ng quan béi, song
vÒthùc chÊt l¹i kh«ng lµm gi¶m ® ¸ng kÓchÊt l­ î ng cña m«
h× nh.
- Trong thùc hµnh, nhiÒu khi dï ng Ýt biÕn m« t¶ trong ph­ ¬ng
tr×nh håi quy thדkinh tÕ” h¬n, mÆ c dï sai sè ­ í c l­ î ng cã
thÓlí n h¬n.
Nh­ vËy, ph¶i dùa vµo c¸c phÐp kiÓm ®Þnh ® ÓtiÕn hµnh
® ¸nh gi¸, lùa chän m« h× nh.
 Bµi to¸n kiÓm ®Þnh 1.
KiÓm ®Þnh gi¶ thuyÕt H: a1 = a2 = ... = am = 0
§ Þnh lý. Gi¶ sö R lµ hÖsè t­ ¬ng quan béi trong m« h× nh håi
quy tuyÕn tÝnh
Y = b + a1 X1 + a2 X 2 + ... + am X m + e ,
ví i gi¶ thiÕt c¸c sai sè cã ph©n bè chuÈn vµ ® éc lËp ví i nhau.
Lóc ® ã cã thÓdï ng biÕn F(m,n-m-1) cã ph© n phèi Fisher ví i
(m,n-m-1) bËc tù do (n lµ cì mÉu) ® ÓkiÓm® Þnh gi¶ thuyÕt H
vÒsù b»ng kh«ng cña tÊt c¶ c¸c hÖsè håi quy .Ê
Cô thÓ, ta thiÕt lËp tû lÖ
R2 / m
s=
(1 − R 2 ) /(n − m − 1)
TiÕp ®ã tÝnh x¸c suÊt
p = x¸c suÊt ®Ó F(m,n-m-1) >s
Råi so s¸nh p ví i møc alpha ®ÓquyÕt ®
Þnh chÊp nhËn hay
b¸c bá gi¶ thuyÕt H .
* NÕu p > alpha ta ph¶i chÊp nhËn H , coi tÊt c¶ c¸c hÖ
sè a1 = a2 = ... = am = 0 . Nh­ vËy mäi biÕn ® éc lËp ®Òu
kh«ng cã vai trß g×® èi ví i m« h×nh håi quy, kh«ng cã rµng
buéc nµo gi÷a c¸c biÕn nµy vµ biÕn phô thuéc bªn vÕtr¸i cña
ph­ ¬ng tr×
nh. Lóc ® ã m« h× nh håi quy kh«ng tèt, cÇn t×
m m«
h×nh kh¸c.
* NÕu p <= alpha ta b¸c bá H , kh¼ ng ®Þnh r»ng trong sè
c¸c hÖsè a1, a2 ,..., am ph¶i cã mét sè hÖsè thùc sù kh¸c 0 .
Nh­ vËy, ph­ ¬ng tr× nh håi quy thùc sù cã nghÜa, sai sè håi quy
sÏ “kh«ng ® ¸ng kÓ” vµ cã nhiÒu kh¶ n¨ng do c¸c t¸c ® éng ngÉu
nhiªn g©y ra. Lóc ® ã m« h× nh ®· thµnh lËp ®­ î c lµ “tèt”.

Cã thÓdï ng x¸c suÊt p nµy ®Ólùa chän m« h× nh. Trong hai

m« h× nh cã cï ng mét sè l­ î ng biÕn ®éc lËp, m« h×nh nµo cã
x¸c suÊt p nµy nhá h¬n th×tèt h¬n. NÕu hai m« h× nh cã x¸c
suÊt p nµy xÊp xØnhau, m« h× nh nµo chøa Ýt biÕn ®éc lËp h¬n
sÏ tèt h¬n.
 Bµi to¸n kiÓm ®Þ
nh 2.
KiÓm ®Þnh gi¶ thuyÕt Hi : ai = 0 ví i mét i nµo ®ã cÇn
kiÓm tra.
Dï ng phÐp kiÓm ® Þnh nµy ta cã thÓx¸c ®Þnh râ rµng ®­ î c biÕn
®éc lËp nµo thùc sù cã ®ãng gãp cho ph­ ¬ng tr×nh håi quy
tuyÕn tÝnh.
§ ÓkiÓm ® Þnh c¸c gi¶ thuyÕt nµy, ng­ êi ta dï ng biÕn T(n-m-1)
lµ mét biÕn cã ph© n phèi Student (n-m-1) bËc tù do, ví i n lµ
sè l­ î ng quan s¸t, m lµ sè l­ î ng biÕn ®éc lËp cã mÆ t trong
ph­ ¬ng tr× nh håi quy.
§ èi ví i mçi hÖsè ai øng ví i biÕn ®éc lËp Xi , ta thµnh lËp
tham sè ti vµ tÝnh x¸c suÊt
pi =x¸c suÊt ®Ó| T(n-m-1) | >| ti |
TiÕp ®
ã, so s¸nh pi ví i møc nghÜa alpha ® ·® Þnh:
- NÕu pi > alpha th×chÊp nhËn H i , coi ai = 0,
- NÕu pi <=alpha th×b¸c bá H i , kh¼ ng ®Þnh ai kh¸c 0 .
 BiÕn g©y nhiÔu vµbiÕn bÞg©
y nhiÔu

Trong ph­ ¬ng tr×

nh håi quy, mét biÕn ® éc lËp cã thÓthùc chÊt
kh«ng g©y ¶nh h­ ëng ®èi ví i biÕn phô thuéc song v×chÞu t¸c
®éng cña mét biÕn kh¸c mµ l¹i tá ra cã vai trß nµo ®ã.

Ng­ î c l¹i, còng cã thÓmét biÕn ® éc lËp cã vai trß nhÊt ®Þnh ®
èi
ví i viÖc dù ® o¸n biÕn phô thuéc, song v×t¸c ® éng cña mét biÕn
thø ba mµ vai trß cña nã bÞche lÊp ® i

Do ® ã ng­ êi ta cÇn ph¶i x¸c ®Þnh ®­ î c nh÷ng biÕn g©

y nhiÔu
(t¸c ®éng) vµ biÕn bÞnhiÔu (chÞu t¸c ® éng).
Cã thÓdï ng phÐp kiÓm ® Þnh 2 trªn ®Óv¹ch ra nh÷ng biÕn g© y
nhiÔu vµ nh÷ng biÕn bÞnhiÔu. Trong sè c¸c biÕn xuÊt hiÖn trong
ph­ ¬ng tr×
nh håi quy, nªn quan t©m nh÷ng biÕn mµ hÖsè cña nã
kh¸c 0 mét c¸ch cã nghÜa (x¸c suÊt kiÓm ® Þnh nhá h¬n møc
cho phÐp).
Chó ý: - Trong nhiÒu ph­ ¬ng tr×nh håi qui, cã khi kh«ng nªn lo¹i
bá nh÷ng biÕn mµ hÖsè cña nã kh«ng kh¸c 0 mét c¸ch cã nghÜa,
v×theo thùc tÕchóng vÉn cã ® ãng gãp nµo ® ã hoÆ c cã t¸c dông hiÖu
chØnh nh÷ng ¶nh h­ ëng th¸i qu¸ cña nh÷ng biÕn kh¸c.
- Cã nh÷ng biÕn thÓ hiÖn vai trß cña m× nh trong ph­ ¬ng tr×nh håi
quy ví i mét tæhî p biÕn ®éc lËp nµy nh­ ng l¹i kh«ng thÓhiÖn vai
trß trong mét tæhî p biÕn kh¸c. Do ®ã nªn tiÕn hµnh ph© n tÝch nhiÒu
m« h× nh kh¸c nhau ®Óso s¸nh.
- Ph¶i dùa vµo ý nghÜa thùc tÕ®Ólùa chän m« h×
nh håi quy.
ThÝdô. - Cã thÓdù ® o¸n c©n nÆng cña trÎ nhá theo chiÒu cao,
song c¶ hai biÕn nµy ®Òu bÞchi phèi cña th¸ng tuæi cña trÎ . Do
®ã biÕn th¸ng tuæi lµ biÕn g©y nhiÔu, nªn dù ®o¸n c© n nÆng cña
trÎ theo th¸ng tuæi chø kh«ng theo chiÒu cao.

- C¶ l­ î ng n­ í c ®¸ vµ n­ í c gi¶i kh¸t tiªu thô trong thµnh phè

®Òu chÞu sù chi phèi cña nhiÖt ®é hµng ngµy. Nh­ vËy, nhiÖt ®é
lµ biÕn ®iÒu khiÓn (g© y nhiÔu) khi xÐt mèi quan hÖgi÷a l­ î ng
n­ í c ®¸ vµ n­ í c gi¶i kh¸t tiªu thô.
 Bµi to¸n kiÓm ®Þnh 3.
§ Óso s¸nh sù h¬n kÐm cña hai m« h× nh håi quy ví i c¸c sè
biÕn m« t¶ kh¸cnhau, ta cã thÓxÐt bµi to¸n sau:
Gi¶ sö q < p < n lµ c¸c sè nguyªn, cÇn so s¸nh m« h× nh håi
quy tuyÕn tÝnh ví i Y ® ­ î c m« t¶ qua p biÕn X1 , X 2 ,..., X p
ví i m« h×
nh ®­ î c m« t¶ qua q biÕn X1, X 2 ,..., X q .
§ Þnh lý. Gäi R p vµ Rq lµ hÖsè t­ ¬ng quan béi cña hai m«
h×nh nãi trªn. LËp tû sè
2 2
n− p R p − Rq
F= * ,
p − q 1− Rp 2

Lóc ® ã tû sè trªn cã ph©n phèi Fisher ví i (n-p) vµ (p-q)

bËc tù do.
Theo ®Þnh lý ®ã, ta cã thÓsö dông thèng kª Fisher ®ÓkiÓm
®Þnh sù h¬n kÐm cña hai m« h× nh nªu trªn.
1. Ta thµnh lËp gi¶ thuyÕt
H: hai m« h× nh tèt nh­ nhau
®Óso ví i ®èi thuyÕt
K: m« h× nh ví i p biÕn ®éc lËp (nhiÒu biÕn h¬n) sÏ tèt h¬n
m« h× nh ví i q biÕn
2. Ví i tû sè thµnh lËp nh­ trong ®Þnh lÝphÝa trªn, ta cã thÓ
dï ng ph© n phèi Fisher ® ÓtÝnh x¸c suÊt p øng ví i phÐp
kiÓm ® Þnh nµy.
3. So s¸nh x¸c suÊt p mí i tÝnh,® ­ î c ví i møc nghÜa alpha
® ·® Þnh tr­ í c.
- NÕu p > alpha , ta chÊp nhËn gi¶ thuyÕt H , coi hai m«
h× nh tèt nh­ nhau. Lóc ® ã nªn lÊy m« h×nh nµo dï ng Ýt biÕn
® éc lËp h¬n.
- NÕu p <= alpha , ta b¸c bá gi¶ thuyÕt H , c«ng nhËn
m« h× nh dï ng nhiÒu biÕn ® éc lËp h¬n lµ tèt h¬n. Lóc ®ã nªn
xÐt thªm vÒmÆ t “kinh tÕ” ®ÓquyÕt ®Þnh chän m« h× nh nµo.
 ý nghÜ
a h×
nh häc.
Y

Wp

Wq

Ta thÊy Yˆq (Yˆp  Yˆq) vµ Yˆp (Y  Yˆp ) , do ®ã

2 2 2 2 2 2
Y - Yˆp =Y - Yˆp , Yˆp - Yˆq = Yˆp - Yˆq .

2 2 2
Yˆp Yˆq Y
2
- Yˆp Yˆ 2 - Yˆ 2 Yˆ - Yˆ 2
n- p p q n- p p q
F =( 2 - 2 )/ ( 2 )= = .
Y Y Y p - q Y 2 - Yˆ 2 p - q Y - Yˆ 2
p p

§ ã lµ tû lÖcã hiÖu chØnh cña b×nh ph­ ¬ng ®é dµi c¸c vÐc t¬chiÕu. NÕu tû
lÖnµy gÇn 0 th׶nh cña hai phÐp chiÕu rÊt gÇn nhau, hai m« h× nh lµ t­ ¬ng
®­¬ng, ta cã thÓchän m« h× nh cã sè biÕn m« t¶ Ýt h¬n mµ vÉn cã ®­î c
“chÊt l­ î ng håi quy” hÇu nh­ kh«ng thay ®æi.
 5. § a céng tuyÕn

§ a céng tuyÕn hoµn h¶o. HiÖn t­ î ng ®a céng tuyÕn hoµn

h¶o x¶y ra khi tån t¹i c¸c h»ng sè c0 , c1 , c2 ,..., ck kh«ng ®ång
thêi b»ng 0 sao cho
c0 + c1 X 1 + c2 X 2 + ... + ck X k = 0

HiÖn t­ î ng ®a céng tuyÕn hoµn h¶o x¶y ra khi h¹ng cña ma

trËn sè liÖu X nhá h¬n k+1, tøc lµ ®Þnh thøc det( X ) cña nã
T −1
b»ng 0 . Lóc ®ã kh«ng tån t¹i ma trËn nghÞch ® ¶o ( X X ) vµ
kh«ng t×m® ­ î c lêi gi¶i cho ph­ ¬ng tr×
nh håi quy chuÈn.
 5. § a céng tuyÕn

§ a céng tuyÕn kh«ng hoµn h¶o. NÕu det( X ) ≠ 0 song

det( X ) ≈ 0 th×ta nãi cã hiÖn t­ î ng ®a céng tuyÕn mét phÇn
(kh«ng hoµn h¶o) x¶y ra. HiÖn t­ î ng nµy x¶y ra khi tån t¹i
c¸c h»ng sè c0 , c1, c2 ,..., ck kh«ng ®ång thêi b»ng 0 vµ mét
biÕn ngÉu nhiªn (nhiÔu) V cã ph­ ¬ng sai t­ ¬ng ®èi nhá sao
cho
c0 + c1 X 1 + c2 X 2 + ... + ck X k + V = 0

NÕu cã hiÖn t­ î ng ®a céng tuyÕn x¶y ra cã thÓvÉn tån t¹i ma

T −1
trËn nghÞch ®¶o ( X X ) nh­ ng vÉn cã nh÷ng hËu qu¶
nghiªm träng.
 5. § a céng tuyÕn
HËu qu¶ cña ®
a céng tuyÕn.
1. V×det( X ) ≈ 0 nªn ­ í c l­ î ng
aˆ = ( X T X ) −1 X T Y
th­ êng kh«ng æn ®Þnh, cã ph­ ¬ng sai rÊt lí n, kho¶ng
tin cËy cña c¸c hÖsè ­ í c l­ î ng ®
­ î c th­ êng rÊt réng.
2. Sai sè tiªu chuÈn cña c¸c hÖsè rÊt lí n dÉn ®
Õn khi tiÕn
*
hµnh kiÓm ® Þnh gi¶ thuyÕt H 0 : ai = ai , ta dÔph¶i chÊp
nhËn gi¶ thuyÕt, v×thèng kª
t = (aˆi − ai* ) / se(aˆi )
dï ng ®ÓkiÓm ®Þnh sÏ cã gi¸ trÞnhá.
3. C¸c ­ í c l­ î ng sÏ rÊt nh¹y ví i nh÷ng thay ®
æi (dï rÊt nhá)
cña sè liÖu.
 5. § a céng tuyÕn

Ph¸t hiÖn vµkh¾

c phôc ®a céng tuyÕn.
1. XÐt ma trËn hÖsè t­ ¬ng quan cña c¸c biÕn ® éc lËp:
Trong sè nh÷ng biÕn ®éc lËp t­ ¬ng quan m¹nh ví i nhau
(hÖsè t­ ¬ng quan gÇn 1 hoÆc -1), lo¹i bá bí t chØgi÷ l¹i
mét biÕn.
2. Sö dông ph­ ¬ng tr×nh håi quy phô: LËp PT håi quy mét
biÕn ®éc lËp theo c¸c biÕn ®éc lËp cßn l¹i. NÕu hÖsè t­ ¬ng
quan béi gÇn 1 th×bá bí t biÕn ®éc lËp ®­î c xÐt.

3. Bæsung thªm quan s¸t vµo tËp sè liÖu hoÆc lËp mÉu mí i.
 6. M« h×
nh håi quy ®a thøc.

ThÝdô. § Ó­ í c l­ î ng s¶n l­ î ng cña c¸c gièng lóa kh¸c nhau, ng­ êi

ta gieo trång thÝnghiÖm vµ thu thËp sè liÖu vÒs¶n l­ î ng thu ho¹ch
(biÕn ®­î c m« t¶) vµ c¸c chØtiªu vÒkhèi l­ î ng 1000 h¹t, sè h¹t trªn
b«ng, sè b«ng trªn khãmvµ sè khãmtrªn mÐt vu«ng (c¸c biÕn m« t¶).

Mèi liªn hÖgi÷a biÕn phô thuéc vµ c¸c biÕn ®éc lËp kh«ng cßn lµ
tuyÕn tÝnh, cÇn dï ng m« h×
nh håi quy bËc cao h¬n ®Óm« t¶ quy luËt.
 Chó ý.

- B»ng c¸ch kiÓm ® Þnh tÝnh kh¸c 0 cña c¸c hÖsè gij , ta cã
thÓx¸c ® Þnh tÝnh t­ ¬ng t¸c cña c¸c biÕn ® éc lËp trong m«
h×nh håi quy. Cã nghÜa lµ kiÓm tra ® ­ î c xem c¸c biÕn ® éc
lËp cã “céng h­ ëng” ví i nhau trong viÖc t¸c ® éng lªn biÕn
phô thuéc hay kh«ng.

- B»ng ph­ ¬ng ph¸p t­ ¬ng tù nh­ trªn, ta cã thÓthµnh lËp c¸c
m« h×nh håi quy ®a thøc bËc cao h¬n.
 M« h×
nh bËc hai.

Ví i c¸c biÕn ®
éc lËp X1, X 2 ,..., X m vµ biÕn phô thuéc Y , ta t× m
c¸c hÖsè håi quy α i , γ ij , i, j = 1, 2,..., m , ®Ó­ í c l­ î ng Y :
m m m
Y  b ai X i  gij X i X j  e
i 1 i 1 j 1

LËp c¸c biÕn mí i

Zij  X i X j , i, j = 1, 2,..., m

m« h× nh trªn ®©
y®­î c®­ a vÒm« h×
nh tuyÕn tÝnh th«ng th­ êng
ví i m  m2 biÕn ®éc lËp.
7. M« h×
nh håi quy phi tuyÕn tæ
ng qu¸t.

Gi¶ sö cã mÉu ( X 1, Y1 ),( X 2 , Y2 ),...,( X m , Ym ) . Ta muèn x©

y
dùng hµm håi quy mÉu d¹ng
Yi = f ( a , X i ) + ei
trong ®ã f lµ mét hµm phi tuyÕn phô thuéc vµo vÐc t¬tham sè s
thµnh phÇn a = ( a1 , a2 ,..., as ) . Ta cÇn t×
m ­ í c l­ î ng cña c¸c
tham sè sao cho tæng b× nh ph­ ¬ng c¸c sai sè (phÇn d­ ) lµ nhá
nhÊt:
m m
∑ ei2 = ∑ (Yi − f (aˆ, X i ))2 = g (aˆ, bˆ) → min
i =1 i =1
¦ í c l­ î ng tham sè håi quy b»ng ph­ ¬ng ph¸p lÆ
p

Gi¶ sö f lµ mét hµm kh¶ vi liªn tôc. Lóc ®ã ®¹o hµm riªng phÇn cña g
sÏ triÖt tiªu t¹i ®iÓm (gi¸ trÞcña tham sè) g ®¹t min:
m
−1 ∂g ∂f ( a , X i )
. = ∑ (Yi − f ( a , X i )) = 0 , j = 1,..., s
2 ∂a j i =1 ∂a j
Tøc lµ
G T ( a ).(Y − f ( a )) = 0 (*)

ví i
 ∂f ( a , X 1 ) ∂f ( a , X 1 ) 
 ∂a ... 
 Y1   f (a , X1 )  1 ∂as
Y =   ; f (a ) =   ; G =  ... 
     
Y   f ( a , X m )   ∂f ( a , X ) ∂f ( a , X m ) 
 m   m ... 
 ∂a1 ∂as 
B­ í c 1. Cho mét gi¸ trÞban ®Çu nµo ®ã cña vÐc t¬c¸c tham sè .
Lóc ® ã, theo § Þnh lý gi¸ trÞtrung b×
nh ta cã

f = f + G ().()

trong ®ã . Thay gi¸ trÞcña f vµo (*) ta nhËn ®­î c hÖph­ ¬ng tr×
nh
( aˆ , bˆ)