REGRESYON ÇÖZÜMLEMESİ

İki ya da daha çok değişken arasındaki ilişkinin yapısı “Regresyon Çözümlemesi”

ile incelenir.

Tanım: Bir bağımlı değişkenin bir ya da birden çok bağımsız değişken ile
ilişkilendirilmesi, aralarında bağıntı kurulması, bu bağıntının çözümlenmesi
“regresyon (bağlanım)” adını alır.

Regresyon çözümlemesinde “açıklanan / bağımlı değişken” ve “açıklayıcı /

bağımsız değişken” olmak üzere iki değişken ile ilgilenilir. Burada ilgilenilen olayı
tanımlayan raslantı değişkeni “bağımlı değişken”, bu olayla ilgili ya da olayı
etkileyen değişken ise “bağımsız değişken” olarak tanımlanır.

Amaç: Regresyon çözümlemesinin amacı, bağımsız değişken değiştikçe

bağımlı değişkenin nasıl değiştiğini incelemektir.

Regresyon çözümlemesi,

a. Basit doğrusal regresyon çözümlemesi,

b. Çoklu doğrusal regresyon çözümlemesi,
c. Doğrusal olmayan regresyon çözümlemesi

olarak sınıflanabilir.

Basit Doğrusal Regresyon Çözümlemesi

N sayıda  x i ,yi  gözlem çifti için basit doğrusal regresyon modeli aşağıdaki gibi
yazılır.

yi  0  1x i  i , i  1,2, ,N

Burada 0 ve 1 regresyon katsayılarıdır ve aşağıdaki gibi açıklanır.

0 : Regresyon doğrusunun y eksenini kestiği nokta. Matematiksel fonksiyonun

bir katsayısıdır. Eğer x’in tanım aralığında sıfır var ise anlamlı bir şekilde
yorumlanabilir.

1 : Regresyon doğrusunun eğimi. Bağımsız değişkendeki 1 birimlik değişime karşı

bağımlı değişkendeki değişim miktarı.

 : Hata (yanılgı) terimi

X: Bağımsız değişken

Y: Bağımlı değişken

Regresyon çözümlemesinde xi’ler sabit yi’ler raslantı değişkenidir.

1
 Regresyon
doğrusu:
E  yi   0  1x i

Tüm kitleyi gözlemek her zaman mümkün olmadığından N tane  x i ,yi  gözlem
çiftinden n tanesi örnekleme seçilerek “regresyon örneklemi” oluşturulur.

Örneklem için regresyon modeli aşağıdaki gibi yazılır.

yi  b0  b1x i  ei , i  1,2, ,n

Burada,

b0 : 0 ’ın tahmini

b1 : 1 ’ın tahmini

ei : i. gözlem için artık değeri. Gözlenen değer ile kestirilen değer arasındaki
farktır  ei  yi  y
ˆi 

y
E  yi   0  1xi

Örneklem bağlanım
yi doğrusu: ˆ 0  b0 
ŷi  ˆ 0  ˆ 1xi
 
 
i
 ˆ1  b1 
ŷ i
ŷ i i
ei

yi
x

ŷi : yi ’nin örneklem bağlanım doğrusu üzerindeki izdüşümüdür.

 ŷi  b0  b1xi , i  1,2, ,n

2
Regresyon Varsayımları:

1. E  i   0 , i  1, ,N
Eğer 0 terimi modelde yer alması gerekirken yer almıyorsa bu varsayım
sağlanmayabilir.
2. V  i   2 , i  1, ,N yani hatalar sabit ve aynı varyansa sahip olmalıdır
 2
1  22   N2  2 
Eğer bu varsayım sağlanmazsa değişen varyanslılık sorunu ortaya çıkar.
3. Cov  i ,  j   0, i  j için. Hatalar ilişkisiz olmalıdır, bu aynı zamanda
gözlemlerin ilişkisiz olduğu anlamına gelir.
4. İstatistiksel çıkarsamalar için (güven aralıkları, hipotez testleri vb.) hatalar
normal dağılımlı olmalıdır. Yani, i ~ N 0, 2 olmalıdır.  
Regresyon Parametrelerinin Tahmini (Kestirimi)-En Küçük Kareler (EKK) Yöntemi:

b0  y  b1x

  x   y 
x y i i 
n
i i
ÇTxy
b1  
  xi 
2
KTx
 x i2  n

  x   y  
ÇTxy   x i yi  x  x  yi  y    x i yi  nxy (Çarpımlar toplamı)
i i
i
n

 x 
2

KTx   x    x i  x    x i2  nx 2
i 2
2
i  (Kareler toplamı)
n

Örnek 1: 7 tarlaya konan gübre miktarları ile tarlalardan alınan verim miktarları
aşağıda verilmiştir. Bu veri kümesi için uygun regresyon modelini yazınız.

Gübre (x) 100 200 300 400 500 600 700

Verim (y) 40 50 50 70 65 65 80

2800 420
Çözüm: n=7 x i  2800 y i  420 x 
7
 400 y 
7
 60

x 2
i  1.400.000 y 2
i  26350 x y
i i  184500

ÇTxy   x i yi  nxy  184500  7  400 60   16500

KTx   x i2  nx 2  1400000  7  400   280000

2

3
 ÇTxy 16500
b1    0,059
KTx 280000
b0  y  b1x  60  (0,059) 400   36,4

Regresyon denklemi (modeli): ŷi  36,4  0,059x i

b0’ın yorumu: hiç gübre kullanılmadığından tarladan 36,4 birim verim alınır.

b1’in yorumu: gübre miktarındaki 1 birimlik artış, verimde 0,059 birim artışa neden
olur.

Örnek 2: Silindir sayısı ile yakıt tüketimi arasındaki saçılım grafiğini çiziniz ve
yorumlayınız. Regresyon denkleminin bir kestirimini elde ediniz.

Silindir sayısı (x) 4 4 6 6 8 8

Yakıt tüketimi (y) 9,1 10,6 12 15,3 17,5 17,2

Çözüm: Saçılım grafiği: x ile y arasındaki saçılım grafiği incelendiğinde iki

değişken arasında doğrusal bir ilişki olduğu söylenebilir. Dolayısıyla, iki değişken
arasında doğrusal regresyon çözümlemesi yapılabilir.

İki değişken arasında doğrusal regresyon çözümlemesi yapılabilmesi için iki

değişken arasındaki saçılım grafiğinin aşağıdaki biçimlerde olması gerekir.

4
Saçılım grafiği aşağıdaki biçimde ise, iki değişken arasında doğrusal bir ilişki
yoktur, doğrusal regresyon çözümlemesi yapılamaz.

Regresyon denkleminin elde edilmesi:

36 81,7
n=6 x i  36 y i  81,7 x 
6
6 y 
6
 13,62

x 2
i  232 y 2
i  1175,35 x yi i  520,2

ÇTxy   x i yi  nxy  520,2  6 6 13,62   30

KTx   x i2  nx 2  232  6 6  16

2

ÇTxy 30
b1    1,875
KTx 16
b0  y  b1x  13,62  (1,875) 6   2,37

Regresyon denklemi (modeli): ŷi  2,37  1,875x i

5
b0’ın yorumu: sıfır silindirli araba olmadığından yorumu anlamsızdır.

b1’in yorumu: silindir sayısı 1 arttığında yakıt miktarında 1,875 birimlik artış olur.

Parametre Kestirimlerinin Özellikleri:

1. E b0   0 , E b1   1 Parametre kestirimleri yansızdır.

 1 x2  2
2. V b0       , V b1  
2
, Sb0  V b0  , Sb1  V b1 
 n KTx  KTx
 
3. i ~ N 0, 2 ise b0 ~ N0 ;V b0   , b1 ~ N1;V b1   olur.

Yanılgı (Hata) Varyansının Kestirimi:

Hata varyansı: V  i   2

Hata varyansı bilinmeyeceği için bu varyansın tahmini: V  ei   

ˆ2

 e  e e   y  yˆ 
2 2 2
AKT
V  ei   
ˆ 2
 i
 i
 i i
  e  0'dır.
s.d. n2 n2 n2

AKT: Artık Kareler Toplamı.

Toplam Değişkenliğin Parçalanması:

Toplam değişkenliğin parçalanması, y’deki değişimin ne kadarının bağımsız

değişkenlerce yani bağlanım denklemiyle açıklandığını belirlemek için yapılır.

KTy    yi  y  : y’deki toplam değişim

2

KTy  AKT  BKT

AKT=   yi  y
ˆ i  : Artık Kareler Toplamı. y’deki toplam değişkenliğin bağımsız
2

değişkenlerce açıklanamayan kısmı.

BKT=   ŷi  y  :Bağlanım Kareler Toplamı. y’deki toplam değişkenliğin bağımsız

2

değişkenlerce açıklanabilen kısmı.

BKT    y
ˆ i  y   b1ÇTxy
2

AKT    yi  y
ˆi   KTy  BKT
2

AKT
ˆ2 
  AKO (AKO:Artık Kareler Ortalaması)
n2

6
 BKT BKT
BKO    BKO (BKO : Bağlanım Kareler Ortalaması)
bağımsız değişken sayısı 1

Örnek 3: Örnek 1’de bulduğunuz regresyon denklemi için hata varyansının

tahminini ve parametre kestirimlerinin standart sapmalarını bulunuz.

Çözüm: ŷi  36,4  0,059x i bulunmuştu.

KTy  AKT  BKT

KTy   yi2  ny2  26350  7 60   1150

2

BKT  b1ÇTxy   0,05916500   973,5

AKT  KTy  BKT  1150  97305  176,5

AKT 176,5
ˆ2 
AKO     35,3
n2 5

̂  35,3  5,94 (artık varyansı-yanılgı varyansının kestirimi)

 1 x2  1 4002 
ˆ2  
Sbo     35,3   5
 n KTx   7 280000 

ˆ2
 35,3
Sb1    0,0112
KTx 280000

Regresyon modeli: ŷi  36,4 0,059x i 5,94

(5) (0,0112)

Belirtme Katsayısı (R2):

Regresyon modelinin veriye uyumunun bir göstergesidir. Bu katsayı, bağımlı

değişkendeki değişimin yüzde kaçının bağımsız değişkenler tarafından
açıklanabildiğini gösterir.

BKT
R2 
KTy

Örnek 4: Örnek 1’deki veri için R2’yi bulunuz.

BKT 973,5
Çözüm: R2    0,85
KTy 1150

7
Verimdeki değişimin %85’i gübre miktarı ile açıklanabilmektedir.

Hipotez Testleri: Doğrusal regresyon denkleminin anlamlılığı F testinden

yararlanılarak yapılır.

AKO ve BKO varyans göstergeleridir ve bunların her biri ki-kare dağılımına

sahiptir. İki ki-kare dağılımının birbirine oranı F dağılımını verir. Basit
doğrusal regresyon denkleminin anlamlılık testi yukarıdaki gibi t testiyle
yapılabildiği gibi F testiyle de yapılabilir. Her iki test ile de aynı sonuç elde
edilir.

H0 : 1  0 (Doğrusal regresyon denklemi anlamlı değildir)

H0 : 1  0 (Doğrusal regresyon denklemi anlamlıdır)

BKT 1 BKO
Test istatistiği: F   , F  F;1;n2  H0 red
AKT n  2  AKO

F testiyle hipotezin test edilmesinde varyans çözümleme çizelgesinden de

yararlanılabilir. Bu çizelge aşağıdaki gibi oluşturulur.

Değişim Kaynağı sd KT KO F
Toplam n-1 KTy   yi2  ny2 -
BKO  BKT 1 BKO
Bağlanım 1 BKT  b1ÇTxy F
AKO
Artık n-2 AKT  KTy  BKT AKO  AKT n  2 

Örnek 5: Örnek 1’deki veri için elde edilen regresyon modelinin anlamlı
olup olmadığını %5 yanılma düzeyinde hem t hem de F testi ile test ediniz.

Çözüm:
H0 : 1  0 (Doğrusal regresyon denklemi anlamlı değildir)
Hs : 1  0 (Doğrusal regresyon denklemi anlamlıdır)
Varyans çözümleme tablosu:
Değişim Kaynağı sd KT KO F
Toplam 6 1150 -
973,5
Bağlanım 1 973,5 973,5 F   27,58
35,3
Artık 5 176,5 35,3

F;1;n2  F0,05;1;5  6,6

F  27,58  F0,05;1;5  6,6 olduğundan H0 red.