Nelinearna regresija

Od korelacije do predikcije
Naći model (pravu) za koju će biti najmanja odstupanja
tačaka (empirijske vrednosti) od predviđenih (vrednosti na
pravoj)
Metod najmanjih kvadrata – minimalna kvadrirana
odstupanja
regresiona linija

realna
predviđena
 Od korelacije do predikcije
regresiona linija

realna
predviđena S xy Sy
b1  2
r
S x Sx
b - nagib b0  M y  b1M x
a - intercept

y  a  b* x ili y  b0  b1 * x
 • Predviđene vrednosti na kriterijumu
y*  b0  b1 * x
• Empirijski dobijene vrednosti na kriterijumu
y  b0  b1 * x  g
• Greška predviđanja (rezidual)
g  y  y*
• Minimum funkcije
n n n

g
i 1
2
i   ( yi  y )   ( yi  b0  b1 x1i )
i 1
* 2
i
i 1
2
 Od korelacije do predikcije
regresiona linija

realna
SSe
SSt predviđena
SSr
prosek

b - nagib
a - intercept

y  a  b* x
SSt  SSr ( predvidjeno)  SSe( greska)
 Koeficijent determinacije
SSt  SSr ( predvidjeno)  SSe( greska)
n

SSr  i
( y *
 M y ) 2

r 
2
 i 1
n

 i
SSt
( y  M y ) 2

i 1

• r2 = proporcija objašnjene varijanse

• Npr. ako je r2 = 0.9, to znači da 90 % zavisne
varijable (Y) možemo predvideti (objasniti)
na osnovu (X)
• Determinacija = kvadrirana korelacija
 Značajnost predikcije
• Standardna greška ocene = standardna devijacija
distribucije rezuduala
n

 i
( y  y * 2
i )
n 1
SE yx  i 1
 Sy (1  r )
2

n2 n2

• Fišerov f statistik n2

• Snidikorova distribucija uzorkovanja f r 2

1 r 2

Ho – r2=0 (nema predviđanja): p<0.05 – odbacujemo Ho

 Značajnost intercepta i nagiba
• Ho: b0=0
• Statistik t ima studentovu distribuciju
uzorkovanja b0
• ako je p<0.05 odbacujemo Ho
t 
SEb0
• Ho: b1=0
• Statistik t ima studentovu distribuciju
b1
uzorkovanja t
• ako je p<0.05 odbacujemo Ho SEb1
 Multipla regresija
• Korelacioni multivarijatni nacrt
• Dva i više prediktora (numeričkih)
• Jedan kriterijum (numerički)
• Naći takvu kombinaciju prediktora koja daje
najbolje predviđanje kriterijuma
• Prednosti:
– Ispitivanje predviđanja jedne pojave preko više
prediktora istovremeno
– Bolja predikcija zavisne pojave
– Uvažava međuzavisnost prediktora?
 Y

regresiona ravan
realna vrednost Y
SSe
SSt predviđena vrednost Y’
SSr
prosek svih vrednosti M

b1 - nagib

a - intercept
X1

b2 - nagib

X2
SSt = SSr (predviđeno) + SSe (greška)
Y=b1*X1+b2*X2+a
 SS r
SSt  SSr  SSe R 2

SS t
• R2 – multipli koeficijent determinacije
– globani (glavni) efekat
– stepen predviđanja vrednosti na kriterijumu preko svih
prediktora zajedno
– Npr. ako je R2 = 0.9, to znači da 90 % zavisne varijable
(Y) možemo predvideti (objasniti) na osnovu svih
prediktora zajedno
– Determinacija = kvadrirana korelacija
• I dalje je moguće odrediti pojedinačne doprinose
– Npr r12 (doprinos prvog prediktora) i r22 (doprinos
drugog prediktora)
 Korekcija determinacije
• Koeficijent multiple determinacije izražen
preko pojedinačnih korelacija
R  b1ryx1  b2 ryx 2  ...  bn ryxn
2

• Koeficijent multiple determinacije precenjuje

populacijsku vrednost
• Precenjivanje raste sa porastom broja prediktora
• Korigovani koeficijent determinacije
n 1
R 2
 1 (1  R )
2

n  m 1
kor
Značajnost multiple determinacije
2
R /m
f 
(1  R ) /( n  m  1)
2

• Fišerov F statistik
• Snidikorova distribucija uzorkovanja

Ho – nema predviđanja; p<0.05 – odbacujemo Ho

 Odnos pojedinačnih i multiplog
efekta
• Prediktori nisu • Prediktori jesu
međusobno korelisani - međusobno korelisani-
rx1x2= 0 rx1x2≠ 0

y y

x1 x2 x1
? x2

R r r
2
1
2
2
2
R  r r
2
1
2
2
2
 Regresioni koeficijenti
• “b” koeficijenti (ponderi) doprinos svakog
pojedinačnog prediktora
• “β” - standardizovani koeficijenti (moguće
upoređivanje doprinosa prediktora)

y  b1  x1  b2  x2  b3  x3 ...  a
• Linearni kompozit
• Koliko prediktora – toliko elemenata jednačine
(pondera) + intercept
 Regresija kao recept
• Prediktori – sastojci
• Ponderi određuju količinu sastojaka

b1* b2*

b0 + b1*x1 + b2*x2 .... = y

b1* b2*
 Parcijalne i semiparcijalne
korelacije
• Povezanosti svakog pojedinačnog prediktora
sa kriterijumom
– Parcijalne - korelacija prediktora sa kriterijumom
kada su vrednosti ostalih prediktora konstantne
– Semiparcijalne – dodatni doprinos prediktora
nakon predikcije na osnovu ostalih prediktora

semiparcijalna y
r2 – x2 i y
korelacija x1 i y

x1 x2
 Imaž i antiimaž prostor
• Ako umesto vrednosti varijable u matricu
unesemo greške predviđanja te varijable
pomoću preostalih prediktora
• Deo varijable nepovezan sa ostalima -
ANTIIMAŽ
• Deo varijable koji ona deli sa ostalima -
IMAŽ
Nelinearnost korelacije

r=0
Nelinearnost korelacije
 Binarna kriterijumska varijabla i
linearni regresioni model
• Ako napravimo linearni model za predviđanje
– za one koji imaju više od 8 stresnih događaja predviđena
verovatnoća može biti veća od 1!! (besmisleno)
• Predviđene vrednosti su ocenjene verovatnoće dobijanja
prehlade
 Binarna kriterijumska varijabla i
linearni regresioni model
• Adekvatniji model za predviđanje za binarni kriterijum je
nelinerni.
• Jedan od najčešće korišćenih je logistički model.
• Aproksimacija sigmoidalnom krivom (S kriva)
 Logistički regresioni model sa
više prediktorskih varijabli
• Ocena logističkog regresionog modela na uzorku:
 m 
exp  b0   b j x j 
( b0  b1 * x1  b2 * x2 ...  bm * xm )
e
p  j 1 
 m 
1  exp  b0   b j x j 
 j 1 
• p je ocena verovatnoće pripadanja određenoj kategoriji kriterijumske
varijable;
• xj je rezultat na prediktorskoj varijabli j;
• b0 i bj su ocenitelji logističkih regresionih parametara
• verovatnoća je u nelinearnoj vezi sa prediktorima
 Logistički model
Y = 1 / (1/u + (b0 * (b1**x)))



 

0.95 






















0.90













logit





0.85 













0.80 







0.75 

-5.00 -2.50 0.00 2.50 5.00

x
 Logistički model
Y = 1 / (1/u + (b0 * (b1**x)))
• U zavisnosti od raspona na osi X može izgledati
i ovako: 

 

0.95 





















0.90 











logit





0.85 











0.80 







0.75 

-5.00 -2.50 0.00 2.50 5.00

x
 Logaritamski model
Y = b0 + (b1 * ln(x))

 
 
 




  









6.00

















logaritam ska




4.00 















2.00 








0.00






0.00 2.00 4.00 6.00

x
y = logb x
 Y=ln x
Baza je e=2.7182...
Eksponencijalni model
 Eksponencialni model
Y = b0 * e(b x). 1

8.00 



7.00 










6.00 

eksponenc











5.00 












4.00 














3.00 



 


-5.00 -2.50 0.00 2.50 5.00

http://www.youtube.com/watch?v=DXJAzt4jF3k
Odnos eksponencijalnih I
logaritamskih
Eksponencialni sa osnovom b0(compound)
model
Y = b0(b1x)


60.00
IF (x > 0) compound = 2** x

40.00 





20.00 
 





























0.00

0.00 2.00 4.00 6.00

x
y = e−x
 Model rasta (Growth) model
8.00
Y = e**(b0 + (b1 * x)). 



7.00 








6.00 






growth







5.00 













4.00 
















3.00 


 


-5.00 -2.50 0.00 2.50 5.00

S-kriva
Y = e**(b0 + (b1/x))
 Power model
Y = b0 * (x**b1).
6.50

 


 

 














6.00 







power

















5.50  





















5.00
0.00 2.00 4.00 6.00

x
http://www.youtube.com/watch?v=DXJAzt4jF3k
 Inverzni model
Y = b0 + (b1 / x).
  

 
 






8.00















6.00 







inverz







4.00 














2.00 














0.00 



0.00 2.00 4.00 6.00

x
 S-kriva
Y = e**(b0 + (b1/x))

8.00
  
  















sfunkcija

6.00 















4.00











2.00 

















0.00 2.00 4.00 6.00

x
• Ovde, nagib “b" nije konstantan.
• Na višim nivoima od X, ista količinu promjena
u X proizvodi mnogo manje promjene u Y.
• Ima plato
• Pogodna za modeliranje habituacije, limena i
sl.
Učenje
 Polinomske funkcije
• Prethodne funkcije se nazivaju i monotonim
funkcijama zato što u celom rasponu vrednosti
rastu ili opadaju u zavisnosti od predznaka
koeficijenta
• Postoje funkcije kod kojih kada X raste Y prvo
raste, pa zatim opada.
• Rast i pad se mogu dešavati više puta u
rasponu X.
Periodične funkcije
 Polinomialne funkcije
• Najjednostavniji model
• Y = a gde je Y konstanta
• Drugi model je linearni Y = a + b (X)
• Sledeći kvadratni Y = a + b (X) + b2 (X*X)
• Kubni Y = a + b (X) + b2 (X*X) + b3 (X*X*X)
 kvadratni model
Y = b0 + (b1 * x) + (b2 * x**2)


COMPUTE kvad ratna = 1+x + x ** 2 40.00



30.00 

 



 
 

20.00  
 


 


 
 
 

 

 
 


10.00  



 
 
 

 

 
 




 

0.00
-5.00 -2.50 0.00 2.50 5.00

x
 Kubni model
Y = b0 + (b1 * x) + (b2 * x**2) + (b3 * x**3).


COMPUTE kubna = 1+x + x ** 2+x**3

200.00






100.00 














































0.00 

 









-100.00 


-5.00 -2.50 0.00 2.50 5.00

x
 Kontrasti
• Polinomski (Polynomial) Poredi prvo linearni pa kvadratni kubni etc.
efekat. Koristan je za nelinearne trendove.
Primer funkcije drugog stepena
Primer funkcije 3. stepena
Primer funkcije 4. stepena
Analogija funkcije 4. stepena – bistabilna stanja
Primer u spss
 PASW/SPSS Curve Estimation

• Dozvoljava samo jednu zavisnu i jednu

nezavisnu varijablu i daje grafički prikaz u 2d
prostoru
• Svi modeli podrazumevaju kvantitativne
zavisne i nezavisne varijable, dakle merenje na
najmanje intervalnom nivou
• Slučajno distribuirani reziduali
• Linearna nezavisnost (ne smeju se koristiti
varijable koje su kombinacija drugih varijabli)
• Zavisna varijabla mora biti normalno
distribuirana
• Zavisna varijabla mora imati jednaku varijansu
na svim nivoima nezavisne varijable
• Ako su obe varijable binarne svi modeli će dati
linearnu ekstrapolraciju.
• Kada je zavisna binarna a nezavisna
kontinuirana onda je log linerni model model
izbora (logistička regresija)
Kubna funkcija
 Najčešći problemi
• Polinomi višeg reda uvek imaju bolji fit nego nižeg
reda, kako odabrati model (poređenje R2)
• Greška se uvećava na stepen (važno imati pouzdana
merenja)
• Nestabilnost (Potrebno je uvek napraviti
krossvalidaciju)
• Teško tumačiti beta koeficijente
• Outlieri imaju vrlo veliki uticaj
• Koristeći nelinearne modele moguće je sve ufitovati
(teorija postaje još važnija)
Korelacija i uzročnost?
Outlier