REGRESYON ANALİZİ

BÖLÜM 3-4
Yayın Tarihi: 17-08-2008

3. ÇOK DEĞİŞKENLİ
DOĞRUSAL REGRESYON
• ÇOK • Çok değişkenli regresyon
DEĞİŞKENLİ modelinde bir y bağımlı
DOĞRUSAL değişkeni, k adet bağımsız
REGRESYON değişkenin, x1, x2, …, xk
FONKSİYONU
doğrusal bir fonksiyonu olarak
ifade edilmektedir.
(3.1) y = f ( x1 ,K, xk )
• Bu modele bir sabit terim
eklenerek fonksiyon,
(3.2) y = β 0 + β1 x1 + β 2 x2 + K + β k xk + ε

1
 • DENKLEM • n adet gözlem mevcut ise model, n
SETİ adet denklemden oluşan bir settir,
y1 = β 0 + β1 x11 + β 2 x12 + K + β k x1k + ε1
y2 = β 0 + β1 x21 + β 2 x22 + K + β k x2 k + ε 2
…………………………………………..
yi = β 0 + β1 xi1 + β 2 xi 2 + K + β k xik + ε i (3.3)
……………………………………………
yn = β 0 + β1 xn1 + β 2 xn 2 + K + β k xnk + ε n

• DENKLEMİN • n adet denklem matris ve vektörler

MATRİS VE formunda açık olarak aşağıdaki gibi
VEKTÖRLERLE
GÖSTERİMİ
ifade edilirler.
⎡ y1 ⎤ ⎡1 x11 x12 K x1k ⎤ ⎡ β 0 ⎤ ⎡ ε1 ⎤
⎢ y ⎥ ⎢1 x x22 K x2 k ⎥ ⎢ β1 ⎥ ⎢ε 2 ⎥
⎢ 2⎥ = ⎢ 21 ⎥⎢ ⎥ +⎢ ⎥ (3.4)
⎢ M ⎥ ⎢M M M K M ⎥⎢ M ⎥ ⎢ M ⎥
⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥
⎣ yn ⎦ ⎣1 xn1 xn 2 K xnk ⎦ ⎣ β k ⎦ ⎣ε n ⎦

2
• DENKLEMİN • Eşitlik (3.4) daha kısa olarak
MATRİS VE y = Xβ + ε (3.5)
VEKTÖRLERLE • Bağımlı değişken y, n×1 boyutlu bir
GÖSTERİMİ VE
BOYUTLAR
sütun vektörüdür.
• Hata terimleri ε, n×1 boyutlu bir
sütun vektörüdür.
• Parametreler β, (k+1)×1=p×1
boyutlu bir sütun vektörüdür.

• DENKLEMİN • Bağımsız değişken matrisi X, n×p

MATRİS VE boyutludur.
VEKTÖRLERLE • Bu matrisin birinci sütunu bir
GÖSTERİMİ VE sayılarından oluşmaktadır.
BOYUTLAR
• Bu değerlerin β0 sabit terimine
karşılık gelen x0 değişkenini temsil
ettikleri düşünülebilir.

3
• EKK • Eşitlik (3.5) kullanılarak hata terimi,
METODU
ε = y − Xβ (3.6)
• Hata kareler toplamı
εT ε = ( y − Xβ ) ( y − Xβ )
T
(3.7a)
εT ε = y T y -βT XT y -y T Xβ + βT XT Xβ (3.7b)

) Ref. Tanım 14

• NORMAL • Normal denklemler

DENKLEMLER
VE ( XT X)b = XT y (I18.3)
PARAMETRE • Parametre tahmin vektörü
TAHMİN b = ( XT X) −1 XT y (I18.4)
VEKTÖRÜ
) Ref. İspat 18

4
 • (XTX) MATRİSİ • Parametre tahmin vektörünün elde
edilebilmesi için (XTX) matrisinin
tersi alınabilir bir matris olması
gereklidir.
• Tersinin alınabilmesi için (XTX)
matrisinin sütunlarının doğrusal
bağımsız olması gereklidir.
• Bu konu bir matrisin rankı kavramı
ile yakın olarak ilgilidir.
) Ref. Tanım 16

• KESTİRİLMİŞ
DEĞERLER • Kestirilmiş değerler vektörü
VEKTÖRÜ yˆ = Xb (3.8)
• Eşitlik (I18.4) eşitlik (3.8) de yerine
konarak,
[ ]
yˆ = X(X T X ) X T Y
−1
(3.9)
• Köşeli parantez içindeki matris
regresyon analizinde çok önemlidir
ve izdüşüm matrisi ya da hat matris
olarak adlandırılır.
H = X (X T X ) X T
−1
(3.10)
• Eşitlik (3.9) da yerine konarak,
yˆ = Hy (3.11)
10

5
• İZDÜŞÜM
MATRİSİ

• Eşitlik (3.10) ile tanımlanan izdüşüm matrisi,

o Simetrik (HT=H),
o İdempotent (HH=H),
matristir.
) Ref. Tanım 20 ve 21

11

• ARTIK
VEKTÖRÜ

e = y − yˆ (3.12a)
e = y − Xb (3.12b)
• Eşitlik (3.11) yerine konarak,
e = y − Hy = (I − H )y (3.13a)
• Eşitlik (3.13a) da y yerine eşitlik (3.5) konarak
ve (I20.4) kullanılarak,
e = (I − H )ε (3.13b)

12

6
• ARTIK VEKTÖRÜ
VE X-MATRİSİ

• Eşitlik (3.12b) Eşitlik (I18.3) de yerine

konarak,
(XT X )b = (XT X )b + XT e
elde edilir.
• Bu eşitliğin sağlanabilmesi için,
XT e = 0 (3.14)
olması gereklidir. Bu EEK nın temel bir
sonucudur.

13

• SABİT TERİMLİ
MODELLER: ARTIK
TOPLAMI SIFIRDIR
• Eşitlik (3.14) de X matrisinin birinci sütunu
x1 = 1 olduğundan
∑ ei = e = 0 (3.15)
eşitliğini verir.
• Regresyon modelinin sabit terim içerdiği
durumlarda, EEK hata terimleri daima sıfır
ortalamaya sahiptir.
• Eşitlik (3.14) ün diğer elemanları hata
terimlerinin her bir x değişkeni ile sıfır
korelasyona (örnek korelasyonu) sahip
olduğunu belirtir.
14

7
• ŞANS
VEKTÖRÜNÜN
BEKLENEN
DEĞERİ
• n adet elemanlı, y = ( y1 ,K, yn ) bir şans
vektörünün beklenen değeri,
⎡ E ( y1 ) ⎤ ⎡ μ1 ⎤
⎢ ⎥
E ( y ) = ⎡⎣ E ( yi ) ⎤⎦ = ⎢ M ⎥ = μ y = ⎢ M ⎥ (T23.1)
⎢ ⎥
⎣⎢ E ( yn ) ⎥⎦ ⎢⎣ μ n ⎥⎦

) Ref. Tanım 23

15

• ŞANS
MATRİSİNİN
BEKLENEN
• n×m boyutlu, bir Y şans matrisinin beklenen
DEĞERİ
değeri,

E ( Y ) = ⎡⎣ E ( yij ) ⎤⎦
⎡ E ( y11 ) K E ( y1m ) ⎤
⎢ ⎥
=⎢ M K M ⎥
⎢⎣ E ( yn1 ) K E ( ynm ) ⎥⎦
⎡ μ11 K μ1m ⎤
= μy = ⎢ M K M ⎥
⎢ ⎥
⎢⎣ μ n1 K μ nm ⎥⎦ (T23.2)

) Ref. Tanım 23 16

8
 • ŞANS VEKTÖRÜNÜN
VARYANS-KOVARYANS
MATRİSİ
• n adet elemanlı, y = ( y1 ,K, yn ) bir şans
vektörü ele alınsın. n×1 boyutlu bir şans
vektörünün varyans-kovaryans matrisi:
⎡ σ 2 ( y1 ) σ ( y1 , y2 ) K σ ( y1 , yn ) ⎤
⎢ ⎥
⎢σ ( y2 , y1 ) σ 2 ( y2 ) K σ ( y2 , yn ) ⎥
σ (y) =
2
(T24.2)
⎢ M M M M ⎥
⎢ ⎥
⎢⎣σ ( yn , y1 ) σ ( yn , y2 ) K σ 2 ( yn ) ⎥⎦
) Ref. Tanım 24
17

• ŞANS
VEKTÖRÜNÜN
DOĞRUSAL
FONKSİYONLARI

• Bir şans vektörü w, bir şans vektörünün y bir

sabitler matrisi A ile çarpımından elde edilir.
w = Ay (T26.1)
Burada w boyutu k×1, y boyutu n×1 olan şans
vektörleri A ise boyutu k×n olan sabitler
matrisidir.
) Ref. Tanım 26
18

9
• ÖRNEK
ORTALAMASININ
BEKLENEN DEĞERİ
VE VARYANSI
• Eğer y1 ,K, y n ortalaması μ varyansı σ2 olan
birbirinden bağımsız şans değişkenleri ise,
⎡ μ ⎤ ⎡1⎤
E (y ) = μ y = M ⎥ = ⎢M⎥ μ = 1μ
⎢ (T29.1)
⎢ ⎥ ⎢⎥
⎢⎣ μ ⎦⎥ ⎢⎣1⎦⎥
⎡1 0 K 0⎤ ⎡σ 2 0 K 0⎤
⎢0 1 K 0⎥ ⎢ 0 σ 2 K 0⎥
⎥
σ 2 (y ) = σ 2 ⎢ ⎥=⎢
⎢M M M M⎥ ⎢ M M K M ⎥ (T29.2)
⎢ ⎥ ⎢ ⎥
⎣0 0 K 1⎦ ⎣ 0 0 K σ 2⎦
= σ 2I
) Ref. Tanım 29 19

• MATRİS
NOTASYONUNDA
EKK
VARSAYIMLARI

• Hatalar ortalaması sıfır, sabit σ2 varyanslı ve

kovaryansları sıfır olan bir dağılama (normal)
sahiptirler.
E(ε)=0 (3.16)
σ (ε ) = σ I
2 2
(T25.1)
) Ref. Tanım 25

20

10
• ŞANS DEĞİŞKENİN
DOĞRUSAL
FONKSİYONU
OLARAK
TAHMİNLENEN
DEĞERLER

• Tahminlenen değerler b, ŷ ve e şans

değişkeninin doğrusal fonksiyonlarıdır.
[ ]
b = (XT X ) X T y = Ay
−1
(3.17)
[ −1
]
yˆ = Xb = X (X T X ) XT y = Hy (3.18)
e = y − yˆ = y − Hy = (I − H )y (3.19)

21

• REGRESYON
SONUÇLARININ
BEKLENEN
DEĞERİ

• Modelin beklenen değeri,

E(y)= Xβ (I20.1)
Parametre tahminlerinin beklenen değeri,
E (b ) = β (I20.2)
Kestirimin beklenen değeri,
E (yˆ ) = Xβ (I20.3)
Artık vektörünün beklenen değeri,
E (e ) = 0 (I20.5)
) Ref. İspat 20
22

11
• REGRESYON
SONUÇLARININ
VARYANSLARI

• y=Xβ+ε modeli için şans değişkeninin

varyansı
σ 2 ( y ) = Iσ 2 (I21.1)
Parametre tahminleri için varyans
σ 2 (b ) = ( XT X) −1σ 2 (I21.2)
Kestirim için varyans
σ 2 (yˆ ) = Hσ 2 (I21.3)
Artık vektörünün varyansı
σ 2 (e ) = [(I − H )]σ 2 (I21.4)
) Ref. İspat 21

23

• GAUSS-MARKOV
TEOREMİ: MATRİS
NOTASYONUNDA

• EKK tahminleyicileri, doğrusal sapmasız

tahminleyiciler sınıfında minimum varyanslı
tahminleyicilerdi.
• EKK tahminleyicilerinin
o Eşitlik (3.17) ile doğrusal ve
o Eşitlik (I20.2) ile sapmasız ve
o Eşitlik (I24.1) ile minimum varyanslı
oldukları matris notasyonunda ispatlanmıştır.
) Ref. İspat 20 ve 24

24

12
• REGRESYON
TAHMİNLERİNDE
SAPMA

• Eğer varsayılan model,

E (y ) = Xβ1 (3.20)
yanlış, gerçek model
E (y ) = Xβ1 + X 2 β 2 (3.21)
ise parametre tahminleri
b 1 = (X T X ) X T y
−1
(3.22)
sapmalı olacaktır.
• Sapmalı tahminleyici
E (b1 ) = β1 + (XT X ) X T X 2 β 2
−1
(3.23)
) Ref. İspat 22

25

• SAPMA
MATRİSİ

• Sapma değeri sadece varsayılan model ile

gerçek model arasındaki farka bağımlı
değildir.
• Regresyon hesaplamalarında kullanılan X-
değişkeninin değerlerine de bağımlıdır.
• (X T X ) X T X 2 matrisi sapma ya da eşyapı
−1

matrisi olarak adlandırılır.

26

13
• SAPMANIN KESTİM
DEĞERİ VE
PARAMETRE
VARYANSI
ÜZERİNDEKİ ETKİSİ
• Model (3.20) için kestirim değeri, yˆ = Xb1
olup beklenen değeri,
E (yˆ ) = Xβ1 + XAβ 2 (I23.1)
sonuç olarak kestirim değerinin de sapmalı
olduğu görülür.
• Parametrelerin varyans-kovaryans matrisi ise,
σ 2 (b1 ) = (XT X ) σ 2
−1
(I23.2)
değişmediği görülür.
) Ref. İspat 23
27

4. KARESEL FORMLAR VE
VARYANS ANALİZİ

14
• KARESEL
FORM
• Model, regresyon ve artık kareler toplamları
ile bir doğrusal kontrastın ya da doğrusal
hipotezler kümesinin testi için kullanılan
kareler toplamlarının tümü Y şans değişkeninin
karesel formudur.
) Ref. Tanım 31
• Diğer bir deyişle kareler toplamlarının her biri
yTAy
şeklinde yazılabilir.
• yTAy şans değişkeni Y ye göre karesel
formdur.
• Burada A matrisi katsayılar matrisi olup, tanım
matrisi olarak adlandırılır.
29

• DOĞRUSAL
KONTRAST
• c1 = y1 + y2 − 2 y3 (4.1)
bir doğrusal kontrasttır.
) Ref. Tanım 32 ve 33
• Doğrusal kontrastın katsayıları bir vektörü
tanımlar.
(
aT = (1 1 −2 ) (4.2)
• Kareler toplamlarının beklenen değerindeki σ2
nin katsayısını 1 e eşitlemek için bu vektörün
her bir elemanı vektörün normuna bölünür.
⎛ 1 1 − 2⎞
aT = ⎜ ⎟ (4.3)
⎝ 6 6 6⎠
) Ref. Tanım 34
• Elde edilen doğrusal kontrast
1 1 2
C1 = a T y = y1 + y2 − y3 (4.4)
6 6 6 30

15
• DOĞRUSAL
KONTRASTIN
KARELER
TOPLAMI
• Doğrusal kontrastın kareler toplamı,
SS (C ) = y Ay
1
T
(I25.1)
1 2 1 2 4 2 2 4 4
SS (C1 ) = y1 + y2 + y3 + y1 y2 − y1 y3 − y2 y3
6 6 6 6 6 6
) Ref. Tanım 34
• Karesel formdaki A=aaT matrisi karesel
formun tanım matrisidir.
• Karesel formun tanım matrisi daima
simetriktir.
) Ref. Tanım 35
31

FARKLI BİR
DOĞRUSAL
KONTRAST

• İkinci bir doğrusal kontrast ele alınsın,

1 1
C2 = d T y = y1 − y2 + 0 y3 (4.5)
2 2
• Katsayılar vektörü,
⎛ 1 1 ⎞
dT = ⎜ − 0⎟ (4.6)
⎝ 2 2 ⎠
• Karesel form SS(C2)=yTDy olup tanım matrisi
D=ddT
⎡ 1 2 −1 2 0 ⎤
D = ⎢ −1 2 1 2 0 ⎥
⎢ ⎥
⎣⎢ 0 0 0 ⎦⎥ 32

16
• KARESL
FORMLARIN
SERBESTLİK
DERECESİ
• Her iki kareler toplamı da 1 serbestlik
derecesine sahiptir.
• Bir karesel formun serbestlik derecesi tanım
matrisinin rankına eşittir.
• Eğer tanım matrisi idempotent ise rankı izine
eşittir, r(A)=iz(A).
• Eğer katsayılar vektöründeki elemanlar
vektörün normuna bölünmeseydi A ve D
matrisleri idempotent olmayabilirdi.
33

• İKİ DOĞRUSAL
KONTRASTLI
DURUM
• İki doğrusal fonksiyon birlikte incelenebilir.
Her iki kontrast için katsayılar matrisi,
⎡1 6 1 6 −2 6 ⎤
KT = ⎢ ⎥
⎣⎢1 2 −1 2 0 ⎦⎥
• Doğrusal kontrastlar
⎡y ⎤
⎡1 6 1 6 −2 6 ⎤ ⎢ 1 ⎥
K y=⎢
T
⎥ y2
⎢⎣1 2 −1 2 0 ⎥⎦ ⎢ ⎥
⎢⎣ y3 ⎥⎦

34

17
• İKİ DOĞRUSAL
KONTRASTLI
DURUM

• İki kontrast için tanım matrisi

⎡ 2 3 − 1 3 − 1 3⎤
F = KK T = ⎢ −1 3 2 3 −1 3⎥
⎢ ⎥
⎢⎣ −1 3 −1 3 2 3 ⎥⎦
• Karesel form,
yTKKTy=yTFy
• Tanım matrisi F idempotenttir ve izi 2 olup
karesel formun serbestlik derecesi 2 dir.

35

• KARESEL
FORMLARIN
ORTOGONALLİĞİ
• Aynı y vektörünün iki karesel formu eğer
tanım matrislerinin çarpımı DA=0 ise
ortogonaldir.
) Ref. İspat 32
• Diğer bir deyişle iki katsayılar vektörü
ortogonal dTa=0 ise bu iki doğrusal fonksiyona
ait karesel formlar ortogonaldir.
DA=ddTaaT=0
Ancak ve ancak dTa=0 ise gerçekleşir.
36

18
 • ORTOGONALLİĞİN
AVANTAJLARI

• İki doğrusal fonksiyon ortogonal ise onlara ait

kareler toplamları (ve serbestlik dereceleri)
toplanabilirlik özelliğine sahiptir.
• Toplanabilirlik özelliği ikiden fazla kareler
toplamı içinde geçerli olabilir. Bunun için tüm
kontrastlar (doğrusal fonksiyonlar) ikişerli
olarak ortogonal olmalıdır.
• Karesel formların ortogonalliği, her bir farklı
kareler toplamında içerilen bilgiparçalarının
birbirinden bağımsız olduğunu belirtir.

37

• MATRİS
NOTASYONUNDA
KARELER
TOPLAMLARI
• Toplam kareler toplamı,
SS (T ) = y T y = ∑ yi2 = y12 + y22 + L + yn2 (4.7)
• Model kareler toplamı,
SS ( M ) = yˆ T yˆ = bT XT y = ∑ yˆi2 = yˆ12 + yˆ 22 + L + yˆ n2 (4.8)
) Ref. İspat 26
• Artık kareler toplamı,
SS ( e ) = eT e = y T y − bT XT y = ∑ ei2 = e12 + e22 + L +en2 (4.9)

38

19
 • MATRİS
NOTASYONUNDA
KARELER
TOPLAMLARI
• Gözlemlerin toplamı,
1T y = ny = ∑ yi = y1 + y2 + L + yn (4.10)
• Sabitin (ortalamanın) kareler toplamı, eşitlik
(4.10) kullanılarak
SS ( b0 ) = y T 11T y n = ny 2 = ( ∑ yi ) n
2
(4.11)
• Regresyon kareler toplamı,
SS ( b1 / b0 ) = bT XT y − y T 11T y n = y T ( H − J n ) y (4.12)
) Ref. İspat 27

39

• VARYANS
ANALİZİ VE • Modelin uyumunu sağlamadaki amaç
KARESEL bağımsız değişkenlerde içerilen bilgiyi
FORMLAR
kullanarak bağımlı değişkendeki mevcut
değişkenliğin olabildiğince büyük bir
kısmını açıklamaktadır.
• Bağımsız değişkenlerin modele yaptığı
katkı Y bağımlı değişkeninin toplam
kareler toplamının, bağımsız değişkenler
tarafından açıklanabilen kısımları ile
ölçülür .
• Toplam kareler toplamının ayrıştırılan her
bir bileşeni Y değişkenindeki bir karesel
formdur.
• Belirli bir kareler toplamı ile onun
serbestlik derecesi ve farklı kareler
toplamları arasındaki ortogonalite, karesel
formdaki tanım matrisi ile belirlenir. 40

20
• VARYANS
ANALİZİ VE
KARESEL
FORMLAR
• Gözlenmiş bağımlı değişken vektörü y, eşitlik
(3.12a) da belirtildiği gibi , y nin tahminlemiş
ortalama vektörü ve hata terimleri vektörü
olarak iki kısma ayrılabilmekteydi.
y = yˆ + e
• y vektörünün bu ayrışımı, bağımlı değişkenin
toplam kareler toplamının benzer bir ayrışımını
elde etmek için kullanılabilir.
y T y = yˆ T yˆ + eT e (I28.2)
) Ref. İspat 28
• Toplam kareler toplamları, H ve (I-H) tanım
matrisleri kullanılarak iki karesel form
şeklinde ayrıştırılabilir.

41

• KARESEL FORMLAR
VE KARELER
TOPLAMLARI

• Eşitlik (I28.1) e göre

HT(I-H)=H-H=0 (I28.1)
bu iki karesel form birbirine ortogonaldir.
• Karesel formlar birbirine ortogonal
olduğundan toplanabilecektir.
• Eşitlik (I28.2) y şans değişkeninin karesel
formları şeklinde ifade edilebilir.
y T Iy = y T Hy + y T ( I − H ) y (I28.3)
) Ref. İspat 28

42

21
• KARESEL
FORMLAR VE
KARELER
TOPLAMLARI
• Toplam kareler toplamı,
y T y = y T Iy (4.13)
tanım matrisi birim matristir.
• Model kareler toplamı,
yˆ T yˆ = y T Hy (4.14)
tanım matrisi izdüşüm matrisidir.
• Artık kareler toplamı,
eT e = y T (I − H )y (4.15)
tanım matrisi birim matris ile izdüşüm
matrisinin farkıdır.
43

• KARESEL FORMLARIN
SERBESTLİK
DERECELERİ

• Birim matris idempotent olduğundan izi

matrisin boyutuna eşittir.
• Bu nedenle toplam kareler toplamının
serbestlik derecesi vektördeki eleman sayısına
eşittir.
iz (I ) = n (4.16)
• İdempotent matrisler içinde sadece birim
matris tam ranklıdır.

44

22
• KARESEL
FORMLARIN
SERBESTLİK
DERECELERİ

• H matrisinin rankı X matrisinin rankı ile

belirlenir.
• Tam ranklı modeller için X matrisinin rankı
sütun sayısına eşittir.
) Ref. İspat 29
• Sütun sayısı aynı zamanda parametre p
sayısına eşitir.
• Model tam ranklı olduğunda model kareler
toplamının serbestlik derecesi p olacaktır.

45

• KARESEL
FORMLARIN
SERBESTLİK
DERECELERİ

• Artık kareler toplamlarının serbestlik derecesi

(I-H) matrisinin rankı ile belirlenir.
• (I-H) matrisi idempotent olduğundan rankı
izine eşittir.
• iz(I-H)=iz(In)-iz(H)
iz(I-H)=n-p

46

23
• DİĞER KARELER
TOPLAMLARI
• Toplam kareler toplamı modele ve hata
terimine bağlı kareler toplamları şeklinde
açıklandı.
• Y nin sıfıra göre değişkenliği yerine bazen
ortalaması çevresindeki değişkenliği ile
ilgilenilebilir.
• Bu durumda bağımsız değişkenlerdeki bilgi ile
bu değişkenliğin ne kadarının açıklanabildiği
araştırılır.
• Bağımsız değişkenlerden hiçbir bilgi elde
edilemediği durumlarda, Y nin en iyi
kestiricisi, anakütle ortalamasının mevcut en
iyi tahminidir.
47

• SABİT • Modelde bağımsız değişkenler mevcut

TERİMLİ olduğunda, bağımsız değişkenlerin Y’nin
MODEL kestirimine (Y nin ortalaması hariç) ne
kadarlık bir katkıda bulunduğu sorusu ile
karşılaşılır.
• Bağımsız değişkenler ile elde edilen bilginin
ölçümü, modelde bağımsız değişken mevcut
iken elde edilen SS(M) değeri ile bağımsız
değişken bulunmadığında elde edilen SS(M)
değeri arasındaki farktır.
• Model bağımsız değişken içermiyorsa sadece
bir tek μ (ortalama) parametresi mevcuttur.
• Başka bir deyişle model Yi = β 0 + ε = μ + ε
şeklinde olacaktı.

48

24
• DÜZELTME
FAKTÖRÜ VE
REGRESYON
KARELER
TOPLAMI
• Bu durumda SS(μ), SS(b0) ile belirtilecektir.
• SS(b0) düzeltme faktörü olarak adlandırılır.
• Bağımsız değişken(ler) tarafından ilave
kareler toplamı regresyona bağlı kareler
toplamı olarak adlandırılır ve SS(R) ile
belirtilir.

49

• SABİT TERİMLİ
MODEL
PARAMETRE
TAHMİNİ

• Modelde sabit terim μ mevcut olduğunda da

model y = Xβ + ε formunda yazılabilir.
• Bu modeldeki X, sadece birlerden oluşan bir
sütün vektörü ve β0=μ olup bir tek elemanı
temsil eder.
• Model parametrelerinin tahmini,
⎛1⎞
b = (1T 1) 1T y = ⎜ ⎟1T y
−1
(4.17a)
⎝n⎠
ve eşitlik (4.10) kullanılarak,
b= y (4.17b)
50

25
 • ORTALAMANIN
(SABİTİN)
KARELER
TOPLAMI

• Model kareler toplamı SS ( M ) = b T X T Y olup

model bağımsız değişken içermediğinden
SS (b0 ) = b T (1T y )
• Eşitlik (4.17a) kullanılarak, eşitlik (4.11) elde
edilir;
⎛1⎞
SS ( b0 ) = ⎜ ⎟ y T (11T )y
⎝n⎠

51

• ORTALAMANIN • Düzeltme faktörünü veren karesel form için

(SABİTİN) tanım matrisi,
SERBESTLİK
⎡1 1 L 1⎤
DERECESİ ⎢ ⎥
⎛1⎞ T 1 ⎢1 1 L 1⎥ 1
⎜ ⎟ (11 ) = = J (4.18)
⎝n⎠ n ⎢M M O M ⎥ n
⎢ ⎥
⎣1 1 L 1⎦
eşitliği ile verilebilir.
• (1 n)J matrisi, rankı izine
iz[(1 n)J ] = 1 (4.19)
eşit olan bir idempotent matristir.
• Matrisin rankı 1 e eşit olduğundan düzeltme
faktörü 1 serbestlik derecesine sahip olacaktır.

52

26
• REGRESYONUN
SERBESTLİK
DERECESİ
• Bir modelde bağımsız değişken(ler)in kareler
toplamına yaptığı katkı, regresyon kareler
toplamı,
SS ( R ) = SS ( M ) − SS (b0 )
Eşitlik (4.12) ile tanımlanır,
SS (b1 / b0 ) = y T (H − J n)y
• Sonuç olarak SS (R ) için tanım matrisi
(H − J n) elde edilir.
• Tanım matrisinin serbestlik derecesi,
idempotent olduğundan,
iz (H − J n ) = iz (H ) − iz (J n ) = p − 1 (4.20)
53

• ÜÇ BİLESENLİ
VARYANS ANALİZİ

• Tanım matrisi (J n) , ( H − J n) ve (I − H )
matrislerine ortogonaldir.
• Bunun sonucunda toplam kareler toplamı ,üç
ortogonal bileşene ayrıştırılabilir.
y T y = y T (J n)y + y T (H − J ) n)y + y T (I − H )y (4.21a)

SS (T ) = SS (b0 ) + SS ( R ) + SS (e) (4.21b)

n =1 + p-1 + n-p

54

27
• TANIM MATRİSLERİ
VE KARESEL
FORMLARLA İLGİLİ
SONUÇLAR
• Regresyon analizinde kullanılan tüm tanım
matrisleri idempotentdir.
• J/n, (H-J/n), (I-H) tanım matrisleri birbirlerine
çifterli olarak ortogonaldir.
• Bunun son ucu olarak düzeltilmemiş toplam
kareler toplamı birbirine ortogonal kareler
toplamlarına ayrılabilmektedir.
• Bir karesel formun serbestlik derecesi tanım
matrisinin rankına eşittir.
• Matris idempotent ise rankı izine eşittir.
55

• KARESEL
FORMLARIN
BEKLENEN DEĞERİ
• Y bağımlı değişkeninin varyans analizinde
hesaplanan her bir karesel formu, model
parametrelerinin tahminlenmiş bazı
fonksiyonlarıdır.
• Varyans analizindeki herhangi bir kareler
toplamı, gözlemlerin karesel fonksiyonudur.
• Hipotez testleri ve varyans bileşenlerinin
tahminlenmesinde kareler toplamlarının
beklenen değerlerinin E (y T Ay ) elde edilmesi
oldukça önemlidir.

56

28
• KARESEL FORMLARIN
BEKLENEN DEĞERİ
• EKK varsayımları altında , E (y ) = Xβ ve
σ 2 (y ) = Iσ 2 , eşitlik (I30.1) kullanılarak,
karesel formun beklenen değeri,
E (y T Ay ) = σ 2 iz ( A) + β T X T AXβ (4.22)
olarak verilebilir.
) Ref. İspat 30
• Varyans analizinde karesel formların beklenen
değeri A matrisi yerine uygun bir tanım matrisi
kullanılarak elde edilir.
• A matrisi idempotent olduğunda σ 2 nin
katsayısı karesel formun serbestlik derecesine
eşit olacaktır. 57

• MODEL KARELER
TOPLAMININ
BEKLENEN DEĞERİ

• Modelin kareler toplamının beklenen değeri,

E [SS ( M )] = E ( y T Hy ) = σ 2 iz (H ) + β T X T HXβ
= pσ 2 + β T X T Xβ (4.23)
şeklindedir.
Not: iz (H ) = p ve HX = X olduğu hatırlanmalıdır.
• Bu eşitlikteki ikinci terim (kesişim terimi β0
ıda içeren) β vektörünün bir karesel formudur.

58

29
• REGRESYON KARELER
TOPLAMININ BEKLENEN
DEĞERİ
• Regresyona bağlı kareler toplamının beklenen
değeri
E [SS ( R)] = E [y T ( H − J n)y ] = σ 2iz (H − J n) + βT XT ( H − J n)βX
E [(SS ( R ))] = kσ 2 + βT XT (I − J n) Xβ (4.24)
şeklindedir.
Not: XT H = XT olduğu hatırlanmalıdır.
• β vektörüne göre karesel bir form olan ikinci terim
model kareler toplamındaki ifadeden farklıdır.
• Bu farkı oluşturan X T (I − J n) X matrisidir.

59

• β VEKTÖRÜNDEKİ
FARK

• X matrisinin ilk sütunu bir sabit sütun

olduğundan, kareler toplamlarını ve
çarpımlarını içeren ilk sütun sıfır olacaktır.
• Bu nedenle X T (I − J n) X matrisinin ilk satır ve
sütunu sıfırlardan oluşacaktır.
• Bunun sonucu olarak karesel ifadede β0
ortadan kalkar.
• Başka bir deyişle, regresyon kareler toplamının
beklenen değerinde sadece bağımsız
değişkenlerin regresyon katsayıları
içerilmektedir.
60

30
• ARTIK KARELER
TOPLAMININ
BEKLENEN DEĞERİ

• Artık kareler toplamının beklenen değeri

E [SS (e)] = E [y T (I − H )y ] = σ 2iz (I − H ) + βT XT (I − H )βX
E [SS (e)] = (n − p )σ 2 + βT XT ( X − X)β
E [SS (e)] = (n − p )σ 2 (4.25)
şeklindedir.
Not: HX = X olduğu hatırlanmalıdır.

61

• KARELER
ORTALAMASI
• Her bir beklenen değer ifadesinde σ 2 katsayısı
kareler toplamlarının serbestlik derecesini
belirtir.
• Kareler toplamlarını, karesel ortalamaya
dönüştürmek için her bir beklenen değer
serbestlik derecesine bölünür.
• Sonuç olarak her bir kareler ortalamasındaki σ 2
katsayısı 1 e eşit olacaktır.
E [ MS ( R ) ] = σ 2 + ⎡⎣βT XT (I − J n) Xβ ⎤⎦ k (4.26)
E [MS (e)] = σ 2 (4.27)
) Ref. İspat 34
62

31
• MS(R) NİÇİN MS(e)
DEĞERİNE
ORANLANIR
• Eşitlik (4.27) artık kareler ortalamasının, σ 2
nin sapmasız bir tahmini olduğunu gösterir.
• Regresyon kareler ortalaması, β0 hariç tüm
βi’lerin karesel bir fonksiyonu artı σ 2 nin bir
tahminidir.
• Sonuç olarak MS(R) ve MS(e) ifadelerinin
karşılaştırılması regresyon katsayılarının veya
eşdeğer olarak bağımsız değişkenlerin
anlamlılığının değerlendirilmesine temel
oluşturur.
• E[MS(R)] ifadesindeki ikinci terim β nın
karesel bir fonksiyon olduğu için negatif
olamaz.
63

• F-TESTİNİN
HİPOTEZİ

• E[MS(R)] ifadesi bağımsız değişkenlerin, yi

nin kestirebilirliğine yaptığı katkıyı belirtir.
• Katkı büyüdükçe MS(R) değeri ile MS(e)
değeri arasındaki fark da büyüyecektir.
• Gözlenmiş MS(R) değerinin gözlenmiş MS(e)
değerine oranı , β0 hariç tüm βi değerlerinin
sıfıra eşit olduğu
H0: β1=β2=…=βk= 0 (4.28)
karmaşık hipotezin test edilmesini sağlar.

64

32
• MODEL SAPMASININ
TEST ÜZERİNDEKİ
ETKİSİ
• Bu beklenen değer ifadelerinin tümü varyans
analizinde kullanılan modelin gerçekten doğru
model olduğunu kabul eder.
• Eğer kullanılan model yanlış ise,
E (y ) = Xβ1 + X 2β 2 ≠ Xβ1 olacak ve artık
kareler toplamının ikinci terimi sıfıra
yaklaşmıyacaktır.
E [SS (e )] = σ 2iz (I − H ) + [Xβ1 + X 2β 2 ] (I − H )[Xβ1 + X 2β 2 ]
T

E [SS (e )] = σ 2 (n − p ) + βT2 XT2 (I − H )X 2β 2 (4.29)

ve kareler ortalaması
E [MS (e )] = σ 2 + βT2 XT2 (I − H )X 2β 2 (n − p ) (4.30)
65

• MODEL
SAPMASININ TEST
ÜZERİNDEKİ
ETKİSİ

• Bu terimde, herhangi önemli bağımsız

değişkenin regresyon katsayısının karesel bir
fonksiyonu mevcut olacaktır.
• Bu gibi durumlarda MS (e) , σ 2 pozitif sapmalı
bir tahminin olabilecektir.

66

33
• KARESEL
FORMLARIN
DAĞILIMI
• Karesel formların olasılık dağılımları
parametrik anlamlılık testleri için bir temel
oluşturur.
) Ref. Tanım 36
• Bu testler ve parametrelerle ilgili güven
aralıklarının oluşturulabilmesi için hataların
normal dağıldığı varsayımına ihtiyaç vardır.
• Hataların normal dağıldığının kabul edilmesi
aynı zamanda y nin de normal dağıldığı
anlamına gelmektedir.
• Normallik varsayımın sağlanmadığı
durumlarda, parametrik anlamlılık testleri
yaklaşık olarak kabul edilmelidir. 67

• TEOREM

A matrisi idempotent bir matris olmak üzere, y

şans değişkeni, E (y ) = μ ve σ 2 (y ) = Vσ 2 olan bir
normal dağılış gösteriyor ise,
y T (A σ 2 )y karesel formu, serbestlik
derecesi A matrisinin rankına r(A) ve merkezi
olmayan parametresi Ω = (μT Aμ) 2σ 2 olan bir
merkezi olmayan ki-kare dağılışı gösterir.
Not: Burada μ = Xβ ve V = Iσ 2 olabilir.

68

34
• DAĞILIMLAR VE MERKEZİ
OLMAYAN PARAMETRELER
• Model kareler toplamı,
SS (M ) y T Hy
= ~ χ2 p ,Ω
σ2 σ2
Ω = βT XT Xβ 2σ 2
• Artık kareler toplamı,
SS (e ) y T (I − H )y
= ~ χ n2− p
σ2 σ2
Ω = βT XT (I − H )Xβ 2σ 2 = 0(4.31)
Not: Bu bir merkezi ki-kare dağılımıdır.

69

• DAĞILIMLAR VE MERKEZİ
OLMAYAN PARAMETRELER

• Sabitin (ortalamanın) kareler toplamı,

SS (b0 ) y T (J n )y
= ~ χ2
1, Ω
σ2 σ2
Ω = βT XT (J n )Xβ 2σ 2 = (1T Xβ ) 2nσ 2
• Regresyon kareler toplamı,
SS (b1 / b0 ) y T (H − J n )y
= ~ χ2
k ,Ω
σ2 σ2
Ω = βT XT (H − J n )Xβ 2σ 2 = βT XT (I − J n )Xβ 2σ 2 (4.32)

70

35
• TESTLER İÇİN
YORUMLAR

• Bu durumda ε nun normal dağıldığı varsayımı,

σ 2 ile bölünen kareler toplamlarının ki-kare
değişkeni olduğunu belirtir.
• Ki-kare dağılımı ve karesel formların
arasındaki ortogonalite anlamlılık testleri için
temel oluşturmaktadır.

71

• TESTLER İÇİN
YORUMLAR
• Örneğin boş hipotezin doğru olduğu
durumlarda,
ƒ t-istatistiği bir normal sapmanın,
ölçeklenmiş bir bağımsız merkezi ki-
kare değişkeninin kare köküne oranını
verir.
ƒ F-istatistiği de bir ölçeklenmiş
merkezi olmayan ki-kare değişkeninin
(eğer boş hipotez doğru ise merkezi ki-
kare değişkeninin) ölçeklenmiş
bağımsız merkezi ki-kare değişkenine
oranını vermektedir.
72

36
 • TESTLER İÇİN
YORUMLAR

• Her bir durumdaki ölçekleme ki-kare şans

değişkeninin kendi serbestlik derecesine
bölünmesiyle gerçekleştirilir.
• Bir merkezi ki-kare dağılımının merkezi
olmayan parametresi sıfıra eşittir.

73

• TESTLER İÇİN
YORUMLAR

• Merkezi olmayan parametre Ω = (μT Aμ) 2σ 2

iki nedenle önemlidir.
ƒ Birincisi, F-oranının payının merkezi
olmayan parametresinin sıfıra eşit
olmasının gerektirdiğinden boş
hipotezinin açık bir ifadesini sağlar.
ƒ İkincisi, merkezi olmayan parametrenin
büyüklüğü ile yanlış bir boş hipotezi
belirlemenin ölçüsü olan testin gücü
belirlenir.

74

37
• TESTLER İÇİN
YORUMLAR
• SS (e) σ 2 bir merkezi ki-kare değişkenidir,
çünkü ikinci terimi sıfıra eşittir, (eşitlik 4.31).
• SS ( R) σ 2 için merkezi olmayan parametre
(eşitlik 4.32),

βT XT (I − J n) Xβ
Ω=
2σ 2
şeklindedir.
• Bu durumda SS ( R ) σ 2 nin merkezi bir ki-
kare değişkeni olabilmesi için Ω = 0 olması
gereklidir. Bunun içinde β1 = β 2 = ... = β k = 0
eşitliği sağlanmalıdır.
75

• F-TESTİ

• Sonuç olarak, F-oranının

MS ( R )
F= (4.33)
MS ( e )
β 0 hariç tüm β j sıfıra eşit olduğu hipotezini
test etmek için kullanılabileceği görülmektedir.
• Bu hipotez
H0 : β ∗ = 0 (4.34)
H1 : β ≠ 0
∗

ifade edilebilir.
• Burada β ∗ , β 0 hariç k×1 boyutlu regresyon
katsayıları vektörüdür.
76

38
• F-TESTİ
• Gözlenmiş bir F-oranının 1 den yeterince
büyük olması merkezi olmayan parametrenin
sıfıra eşit olmadığını belirtir.
• Paydaki ki-kare değişkeninin merkezi olmayan
parametresi büyüdükçe F-oranı da
büyüyecektir.
• Bunun sonucunda da yanlış bir boş hipotezin
belirlenmesi olasılığı da büyüyecektir.
• Bu olasılık testin gücü olarak adlandırılır
• Bir F -testinin gücü her bir ki-kare
değişkeninin, özellikle paydadaki ki-kare
değişkeninin, serbestlik derecesi arttıkça artar.

77

• HİPOTEZ
TESTLERİ

• Bazı durumlarda araştırmacılar gerekli olandan

daha genel modelleri kullanırlar.
• Gerçek model bilinmediğinden kullanılması
gereken modellerle ilgili bazı varsayımları ve
şüpheleri de mevcuttur.
• Uyumu yapılan model
y = β 0 + β1 x1 + β 2 x2 + ε
• Doğru olabileceği düşünülen model
y = β 0 + β ( x1 − x2 ) + ε

78

39
• HİPOTEZ
TESTLERİ:
DOĞRUSAL
HİPOTEZ
• Modelin kontrolü nasıl gerçekleştirilecek?
• Bu amaçla, β1=-β2=β ya da eş değer olarak,
β1+β2=0 olup olmadığı sorusunun cevabı
araştırılmalıdır.
• Yukarıdaki soru istatistikte, H0:β1+β2=0 boş
hipotezine karşılık, H1:β1+β2≠0 alternatif
hipotezin testine karşılık gelir.
• H0 hipotezinin β ların doğrusal bir
kombinasyonu ile ilgili bir ifadeyi içermesi
nedeniyle bu tiplere doğrusal hipotez adı
verilir.
79

• HİPOTEZ
TESTLERİ
• MS ( R ) nin MS (e) ye oranı, β0 hariç tüm β
ların sıfıra eşit olduğu hipotezinin test
edilmesine imkan vermektedir.
• Fakat bazı durumlarda daha esnek hipotez
testlerinin oluşturulması gerekebilir.
• Bu kısımda β nın doğrusal fonksiyonlarını
içeren herhangi bir hipotezin testi için genel bir
metot verilecektir.
• Eğer boş hipotez bir tek doğrusal fonksiyonu
içeriyorsa basit hipotez, birden fazla
fonksiyonu eş anlı olarak içeriyorsa karmaşık
hipotez olarak adlandırılır.
80

40
• GENEL DOĞRUSAL
HİPOTEZ
• Genel doğrusal hipotez
H0 : KT β = m (4.35)
H1 : K β ≠ m
T

şeklinde tanımlanır.
• Burada KT, r×p boyutlu test edilecek
parametrelerin r adet doğrusal fonksiyonunu
tanımlayan katsayılar matrisidir.
• KT matrisinin her bir sırası bir doğrusal
fonksiyonun katsayılarını içerir.
• m ise genellikle sıfırlardan oluşan r×1
boyutlu bir sabitler vektörüdür.
) Ref. Örnek 4.1
81

• GENEL DOĞRUSAL
HİPOTEZ
• H0 daki r adet doğrusal denklem doğrusal
bağımsız olmalıdır, fakat ortogonal olmaları
gerekli değildir.
• Doğrusal bağımsızlık KT matrisinin tam ranklı
r(KT)=r olduğu belirtir.
• Bunun sonucu olarak da H0 daki denklemler
m’nin her türlü seçimi için tutarlı olacaktır.
• H0 daki doğrusal fonksiyon sayısı β daki
parametre sayısını aşamaz, aştığı durumlarda
KT matrisi tam ranklı olmayabilecektir.
82

41
• GENEL DOĞRUSAL HİPOTEZİN
BEKLENEN DEĞER VE VARYANSI
• Boş hipotezin geçersiz olabilmesi için H0 daki
hipotezlerden herhangi birinin (veya daha
fazlasının) yanlış olması gerekmektedir.
• KTβ-m in EKK tahminleri, β yerine b
yazılarak KTb -m şeklinde elde edilir.
• Normal dağılışı da kapsayan EKK varsayımları
altında, KTb -m ortalaması,
E (K T b − m ) = K T β − m (4.36)
Not: Eğer boş hipotez doğru ise,
E (K T b − m) = 0 , olacaktır.
• Varyansı;
σ 2 (K T b − m) = K T ( XT X) −1 Kσ 2 = Vσ 2 (I31.2)
olan bir normal dağılış gösterecektir.
) Ref. İspat 31
83

• HİPOTEZ İÇİN
KARELER
TOPLAMI
• H 0 : K T β = m doğrusal hipotezi için kareler
toplamı
−1
θ = (K T b − m)T ⎡⎣K T ( XT X) −1 K ⎤⎦ (K T b − m ) (4.37)
eşitliğinden hesaplanır.
) Ref. İspat 31
• Bu ifade tanım matrisi
−1
A = ⎡⎣K T ( XT X) −1 K ⎤⎦ (4.38)
T
olan K b-m nin bir karesel formudur.
• Tanım matrisi ise σ2 böleni hariç KTb-m
doğrusal fonksiyonun varyans-kovaryans
matrisinin tersidir. 84

42
• HİPOTEZ KARELER
TOPLAMININ BEKLENEN
DEĞERİ

• Karesel formun serbestlik derecesi, AV matrisi

idempotent olduğundan,
iz(AV)=iz(Ir)=r (4.39)
• Karesel formun beklenen değeri, eşitlik (4.22)
kullanılarak,
−1
E (θ ) = rσ 2 + (K T β − m)T ⎡⎣K T ( XT X) −1 K ⎤⎦ (K T β − m ) (4.40)
şeklinde bulunur.

85

• KARELER
TOPLAMININ
DAĞILIMI
• Normallik varsayımı kullanılarak, θ σ 2
değişkeni r serbestlik dereceli merkezi
olmayan bir ki-kare dağılışı gösterir.
• Serbestlik derecesi r(A)=r(K)=r.
• Merkezi olmayan parametre ise,
(K T β − m)T [K T ( XT X) −1 K ] (K T β − m)
−1

Ω= (4.41)
2σ 2
şeklindedir.

86

43
• HİPOTEZİN
TESTİ

• Eğer H0 hipotez doğru ise merkezi olmayan

parametre sıfıra eşit olacaktır.
• Hipotezi test etmek için kullanılacak F-
istatistiği için pay kısmı θ/r şeklinde verilen bir
kareler ortalamasına sahip olacaktır.
• Bu test için payda kısmı ise σ2 nin sapmasız bir
tahmini olan MS(e) den oluşacaktır.
MS (θ ) θ r (K ) θ r
F= = = 2 (4.42)
MS ( e ) s2 s

87

• TESTİN
SONUÇLARI

• Verilen hipotezler için tüm kareler toplamları

kullanılan modele bağlıdır.
• Bu nedenle bir bağımsız değişkenin modelden
çıkarılması yada ilave edilmesi her bir hipotez
için kareler toplamlarını değiştirecektir.

88

44
• HİPOTEZ TESTLERİ İÇİN ÖZEL
DURUMLAR:
TEK BİR PARAMETRENİN TESTİ
• β vektörü üzerindeki bir basit hipotezde
H 0 : βi = 0 (4.43)
T
K bir satır vektörüdür.
K T = [0 L 0 1 0 L 0] ve m=0
• Burada 1 değeri βi ye karşılık gelen
pozisyondadır.
• Eşitlik (4.37) ile verilen hipotez kareler
toplamı,
(K T b − m)
SS ( H 0 ) = θ = T T −1 =
2
bi2
K (X X ) K cii
• Burada cii değeri, (XTX)-1 matrisinin i+1-inci
elemanıdır. 89

• HİPOTEZ TESTLERİ İÇİN ÖZEL

DURUMLAR:
TEK BİR PARAMETRENİN TESTİ
• Hesaplanan test değeri,
b2
F= i2 (4.44)
cii s
olup tablo değeri F(1,n-p).
• Eğer hipotez,
H 0 : βi = βi0 (4.45)
gibi sıfırdan farklı bir değerin testi ise,
(bi − β i 0 )2
F= (4.46)
cii s 2
şeklindedir.
90

45
• HİPOTEZ TESTLERİ İÇİN
ÖZEL DURUMLAR:
TEK BİR PARAMETRENİN
TESTİ

• Bu hipotez için kareler toplamı, tüm diğer

bağımsız değişkenler de modelde iken, xi
bağımsız değişkenin modele yaptığı katkıyı
ölçer.
• Bu kareler toplamı i-inci bağımsız değişken
için kısmi kareler toplamı olarak adlandırılır.

91

• BAZI ÖZEL BASİT

HİPOTEZLER İÇİN
KT MATRİSİ

• H 0 : β 2 − β 3 = 0 ya da H 0 : β 2 = β 3
KT bir satır vektörüdür.
K T = [0 0 1 − 1 L 0] ve m=0
• H 0 : β1 + β 2 = 1
KT bir satır vektörüdür.
K T = [0 1 1 0 L 0] ve m=1

92

46
• HİPOTEZ TESTLERİ İÇİN ÖZEL DURUMLAR:
PARAMETRELERİN BİR ALT SETİNİN TESTİ
• İlk olarak,
KT=[0 Is] ve m=0
Burada 0 boyutu s×(p-s) olan sıfır matrisidir. m
ise s elemanlı sütun vektörüdür.
• Hipotez,
H 0 : β p − s +1 = β p − s + 2 = L = β p = 0 (4.47)
şeklin son s adet parametrenin sıfıra eşitliğini
ortak olarak test eder.
• Bu amaçla X ve b yeniden düzenlenir.
⎡b ⎤
y = [X r X s ]⎢ r ⎥ + e = X r b r + X s b s + e (4.48)
⎣b s ⎦
Burada Xr boyutu n×(p-s) olup X deki ilk p-s
sütundan oluşur. Xs ise n×s boyutlu olup son s
sütundan oluşur.
93

• HİPOTEZ TESTLERİ İÇİN ÖZEL DURUMLAR:

PARAMETRELERİN BİR ALT SETİNİN TESTİ
• (XTX) matrisi ise,
⎡X r X r X r X s ⎤
T T

(X X ) = ⎢ T
T
⎥ (4.49)
⎣X s X r X s X s ⎦
T

şeklinde bölümlenir.
• Hipotez kareler toplamı θ yı elde etmek için,
⎡b ⎤
K T b − m = [0 I s ]⎢ r ⎥ − 0 = b s
⎣b s ⎦
ve
⎡(X Tr X r ) (X Tr X s ) ⎤ ⎡ 0
−1 −1

K (X X ) K = [0 I s ]⎢ T
T T −1
−1 ⎥ ⎢ ⎥
⎣ (X s X r ) ( X s X s ) ⎦ ⎣ I s
−1 T

K T (X T X ) K = (X Ts X s )
−1 −1

bulunur. 94

47
• HİPOTEZ TESTLERİ İÇİN ÖZEL DURUMLAR:
PARAMETRELERİN BİR ALT SETİNİN TESTİ
• (XTs X s ) matrisi ise,
−1

(X T
s
−1
[
X s ) = XTs X s − X Ts X r (XTr X r ) X Tr X s
−1
]
−1

) Ref. İspat 35
{ [ ] }
(XTs X s )−1 = XTs I − X r (XTr X r )−1 XTr X s
−1

(XTs X s )−1 = (XTs M r X s )−1

olup burada
[
M r = I − X r (X Tr X r ) X Tr
−1
] (4.50)
• Sonuç olarak hipotez kareler toplamı,
θ = b s (XTs M r X s )b Ts (4.51)
ve kareler ortalaması,
θ
MS (θ ) =
s
95

• HİPOTEZ TESTLERİ İÇİN ÖZEL

DURUMLAR:
PARAMETRELERİN BİR ALT
SETİNİN TESTİ

• Eşitlik (4.42) de tanımlanan F-testi uygulanır.

Kritik değer F(s,n-p)
• Bu hipotez için kareler toplamı, tüm diğer
bağımsız değişkenler de modelde iken, s adet
bağımsız değişkenin modele yaptığı katkıyı
ölçer.

96

48
• TAM VE
İNDİRGENMİŞ
MODEL
• Mevcut model, tam model olarak adlandırılır.
• Bu model boş hipotezde test edilen tüm
parametreleri de içermelidir.
• İkinci model ise boş hipotezin doğru olduğu
kabul edilerek tam modelden elde edilir.
• Elde edilen modele İndirgenmiş model adı
verilir.
• Bunun nedeni de indirgenmiş modeldeki
parametre sayısının daima tüm modeldekinden
az olmasıdır.

97

• TAM VE
İNDİRGENMİŞ
MODEL
• Örneğin, boş hipotez H 0 : β 2 = c şeklinde ise,
burada c bilinen birer sabit, indirgenmiş
modelde β 2 yerine c yazılır.
• Bu durumda β 2 artık tahminlenmesi gereken
bir parametre olmaktan çıkacaktır.
• Herhangi bir hipotez için kareler toplamının
alternatif genel formülü, iki modelin hata
terimi kareler toplamları arasındaki fark
yardımı ile belirlenebilir.
• İndirgenmiş modelin artık kareler toplamı tam
modelin artık kareler toplamından büyük veya
en azından ona eşit olmalıdır.
98

49
 • MODELLER
• X matrisinin eşitlik (4.48) de tanımlandığı gibi
bölümlendiği varsayılsın.
• Tam model
X=[Xr Xs] (4.52)
• İndirgenmiş model ise sadece Xr den oluşur.
• Sadece Xr matrisindeki değişkenlerin y üzerine
regresyonu gerçekleştirilsin.

99

• İNDİRGENMİŞ
MODEL İÇİN
ARTIKLAR

• er bu regresyonun (indirgenmiş modelin) artık

vektörüdür.
• Eşitlik (3.19) kullanılarak
er=(Ir-H)y
er=Mry (4.53)
elde edilir. Buradaki Mr ile eşitlik (4.50) deki
Mr denktir.

100

50
• KARELER
TOPLAMLARINDAKİ
FARKLARDAN θ NIN
HESAPLANMASI
• Herhangi bir genel hipotez için kareler toplamı
θ = SS (er ) − SS (e )
= eTr e r − eT e = b s (XTs M r X s )bTs (4.53)
şeklinde hesaplanabilir.
• SS (e) ’in serbestlik derecesi (n − p ) dir.
• Tam modelde boş hipotez ile getirilen s adet
doğrusal bağımsız kısıtlama nedeni ile,
indirgenmiş modelin parametre sayısı (p-s)
olacaktır.
101

• θ NIN TEST
EDİLMESİ
• İndirgenmiş modelin serbestlik derecesi,
[n-(p-s)]
• Bunun sonucunda θ nın serbestlik derecesi
[n-(p-s)]- (n-p)=s
olacaktır.
• Eşitlik (4.42) de tanımlanan F-testi uygulanır.
Kritik değer F(s,n-p)
• Bu testin diğer bir ifadesi,
F= T
(eTr e r − eT e ) s
(4.54)
(e e ) (n − p )
102

51
• θ İÇİN SS(M) VE SS(R)
DEĞERLERİNİN KULLANILMASI
• Aynı sonuç, m = 0 boş hipotezi için, model
kareler toplamları arasındaki fark yardımı ile
elde edilebilir.
θ = SS ( M ) − SS ( M r ) (4.55)
• Eğer β0 modelde içeriliyor, fakat boş hipotezde
içerilmiyorsa regresyon kareler toplamları
arasındaki fark da
θ = SS ( R ) − SS ( Rr ) (4.56)
θ yı verecektir.
• Bununla birlikte boş hipotezde β0 ın mevcut
olması halinde θ, regresyon kareler toplamları
arasındaki farktan hesaplanmaz.
• Sonuç olarak θ için regresyon kareler
toplamları arsındaki fark daima
kullanılamamaktadır. 103

• KARELER
TOPLAMLARININ
R NOTASYONU
• Değişkenlerin bir alt setindeki kısmi regresyon
katsayılarının her birinin sıfıra eşit olduğunu
belirten boş hipotez için oluşturulan kareler
toplamı, boş hipotezde belirtilen parametreler
alt setine ve modeldeki tüm parametre setine
bağımlıdır.
• Bu iki durumu, parametre seti ve alt seti, daha
açık olarak belirleyebilmek için kareler
toplamlarının daha uygun bir notasyonuna
ihtiyaç vardır.

104

52
• PARAMETRE SETİ
VE ALT SET
• SS ( M ) = R( β 0 , β1 ,K, β k ) ifadesi parantez
içinde listelenen parametreleri içeren modele
bağlı kareler toplamını belitsin.
• β0 ı içermeyen bir βj alt setindeki tüm
parametrelerin sıfıra eşit olduğunu belirten
hipotez test edilmek istensin.
• Sıfıra eşitliği test edilen βj alt setinin son r
adet parametreden oluştuğu kabul edilsin:
SS (M ) = R( β 0 , β1 ,K, β k − r , β k − r +1 ,K, β k )
SS (M r ) = R( β 0 , β1 ,L, β k − r )

105

• R NOTASYONUNDA
TAM VE
İNDİRGENMİŞ
MODEL
• Hipotez kareler toplamı,
θ = SS (M ) − SS (M r )
= R ( β 0 , β 1 ,K, β k ) − R ( β 0 , β 1 ,K, β k − r )
• Kareler toplamlardaki bu fark R notasyonunda
θ = R( β k − r +1 , β k − r + 2 ,K, β k / β 0 , β1 ,K, β k − r ) (4.57)
• Dikey işaretten önceki βj parametreleri boş
hipotezde sıfıra eşitliği test edilen
parametrelerdir.
• İşaretten sonraki parametreler ise modelde
sabit tutulan parametrelerdir.
106

53
 • R NOTASYONUNDA
TAM VE İNDİRGENMİŞ
MODEL
• Tam model parantez içindeki tüm
parametrelerden oluşur.
• İndirgenmiş model ise işaretten sonraki
parametreleri içerir.
• Bu notasyona göre
SS ( R ) = SS ( M ) − SS (b0 )
SS ( R ) = R ( β1 ,K, β k / β 0 )

107

• ARDIŞIK • R notasyonunu açıklamak üzere üç bağımsız

KARELER değişken ve bir sabit terim içeren doğrusal
TOPLAMLARI model ele alınsın.
• Eğer değişkenler modele x1, x2 ve x3 sırasına
göre alınırsa, ardışık kareler toplamları,
o R ( β 1 / β 0 ) ifadesi, sadece x0 ı içeren
modele x1 in yaptığı katkının kareler
toplamıdır.
o R( β 2 / β 0 , β 1 ) ifadesi, x0 ve x1’in etkisi göz
önüne alındıktan sonra x2 nin yaptığı
katkının kareler toplamıdır.
o R( β 3 / β 0 , β 1 , β 3 ) ifadesi, x0, x1 ve x2’nin
etkisi göz önüne alındıktan sonra x3 ün
yaptığı katkının kareler toplamıdır.
• Bağımsız değişkenlerin modele ilave edilme
sırası değiştirilerek farklı ardışık kareler
toplamlarının setleri elde edilebilir. 108

54
• KISMİ KARELER
TOPLAMLARI
• Bu örnek için kısmi kareler toplamları,
R( β1 / β 0 , β 2 , β 3 )
R( β 2 / β 0 , β1 , β 3 )
R( β 3 / β 0 , β1 , β 2 )
şeklindedir.
• Bu ifadelerin her biri, fark işaretinden sonraki
parametreleri içeren modele, fark işaretinden
önceki değişkenin eklenmesinin oluşturduğu
ilave kareler toplamıdır.
• Kısmi kareler toplamları βj basit hipotezini test
etmeye uygun kareler toplamlarıdır.
109

• BİLEŞİK HİPOTEZ İÇİN ARDIŞIK

KARELER TOPLAMLARI
• Kısmi kareler toplamları βj=0 bileşik
hipotezini test etmeye uygun değildir.
• Ardışık kareler toplamları, bileşik hipotezi test
etmek için gerekli kareler toplamını elde etmek
için düzenlenebilir.
• Üç değişkenli, x1, x2 ve x3, model için
Ho: β2=β3=0 ele alınsın,
R( β 2 , β 3 / β 0 , β1 ) = R( β 0 , β1 , β 2 , β 3 ) − R ( β 0 , β1 )
R ( β 2 , β 3 / β 0 , β 1 ) = [R ( β 0 , β 1 , β 2 , β 3 ) − R ( β 0 , β 1 , β 2 )
+ [R ( β 0 , β1 , β 2 ) − R( β 0 , β1 )]
R ( β 2 , β 3 / β 0 , β 1 ) = [R ( β 3 / β 0 , β 1 , β 2 ) + R ( β 2 / β 0 , β 1 ) ]

110

55
 • ARDIŞIK KARELER
TOPLAMLARI VE
REGRESYON
KARELER
TOPLAMI
• Ardışık kareler toplamları tam model için,
regresyon kareler toplamının toplanabilir
bölümlerini oluşturur.
SS ( R ) = R(β1 , β 2 , β 3 / β 0 )
= R (β 1 / β 0 ) + R (β 2 / β 0 , β 1 ) + R (β 3 / β 0 , β 1 , β 2 )
= R (β 3 / β 0 ) + R (β 1 / β 0 , β 3 ) + R (β 2 / β 0 , β 1 , β 3 )
111

DÜZELTİLMİŞ R2≡ Ra2

• R2 formülü eşitlik 2.16a ile verilmiştir.

• R2 formülündeki kareler toplamlarının
serbestlik dereceleri dikkate alınarak yapılan
bir düzeltme ile Ra2 elde edilir.
SS (e ) (n − p ) ⎛ n −1 ⎞
(4.58) Ra2 = 1 − = 1 − (1 − R 2 )⎜ ⎟
SS (Tc ) (n − 1) ⎝ n − p ⎠

112

56
DÜZELTİLMİŞ R2≡ Ra2

• Ra2 parametre sayıları farklı modellerin

karşılaştırılmasında ve
• Tamamen farklı iki ya da daha fazla veri
setinden elde edilen modellerin
karşılaştırılmasında kullanılır.

113

• R2 nin DAĞILIMI

• H0 hipotezi altında F hesap değeri bir F(v1,v2)

dağılımına sahiptir.
• Bir istatistiksel teoreme göre,
(4.59) R 2 ~ B⎛⎜ v1 , v2 ⎞⎟
1 1
⎝2 2 ⎠
2
• Sonuç olarak R kullanılarak H0 hipotezine
karşı H1 hipotezinin testi gerçekleştirilebilir.
• Bu testin sonucu standart F testinin sonucuna
tamamen denk olacaktır.
• İçin kritik değer (I38.3) den elde edilir.
) İspat 38

114

57