Prof.

Lily Neuman 1

‫פרופ' לילי נוימן‬

 ‫‪Prof.Lily Neuman‬‬ ‫‪2‬‬

‫נושאי השיעור‬

‫מקדם המתאם הלינארי של ‪Pearson‬‬ ‫‪‬‬

‫רגרסיה לינארית פשוטה‬ ‫‪‬‬
‫רגרסיה לינארית מרובה‬ ‫‪‬‬
‫ניתוח רב‪-‬משתני ‪ -‬מושגים נוספים‬ ‫‪‬‬
 ‫‪Prof.Lily Neuman‬‬ ‫‪3‬‬

‫קשר סטטיסטי בין משתנים‬

‫נתבונן בשני משתנים כמותיים ‪ X‬ו‪.Y-‬‬
‫משמעות של קשר סטטיסטי‪:‬‬
‫שינוי ערך במשתנה אחד גורר אחריו שינוי ערך במשתנה‬
‫השני‪.‬‬

‫‪i‬‬ ‫‪1‬‬ ‫‪2‬‬ ‫…‬ ‫‪n‬‬

‫‪X‬‬ ‫‪x1‬‬ ‫‪x2‬‬ ‫…‬ ‫‪xn‬‬
‫‪Y‬‬ ‫‪y1‬‬ ‫‪y2‬‬ ‫…‬ ‫‪yn‬‬
‫‪Prof.Lily Neuman‬‬ ‫‪4‬‬

‫קשר סטטיסטי‬
‫בין משתנים‬
 Prof.Lily Neuman 5

(Pearson) ‫מקדם המתאם של פירסון‬

r = r ( x, y ) = rx , y =
∑[( xi − X ) ⋅ ( yi − Y )]
= =
∑[( xi − X ) ( yi − Y ) ]
2 2

cov( X , Y )
=
σ X ⋅σ Y
 Prof.Lily Neuman 6

(Pearson) ‫מקדם המתאם של פירסון‬

∑[( xi − X )( yi − Y )]
cov( X , Y ) =
n

∑[( xi − X )( xi − X )]
σ = 2
X
n
∑[( y i − Y )( y i − Y )]
σY =
2

n
 Prof.Lily Neuman 7

(Pearson) ‫מקדם המתאם של פירסון‬

r ( X , Y ) = r (Y , X )
− 1 ≤ r( X , Y ) ≤ 1
r≈0
r →1
r → −1
 ‫‪Prof.Lily Neuman‬‬ ‫‪8‬‬

‫מקדם המתאם של פירסון )‪(Pearson‬‬

‫דוגמא לחישוב ‪:r‬‬
‫‪14‬‬

‫‪12‬‬

‫‪10‬‬

‫‪8‬‬

‫‪6‬‬

‫‪4‬‬

‫‪2‬‬

‫‪0‬‬
‫‪0‬‬ ‫‪5‬‬ ‫‪10‬‬ ‫‪15‬‬ ‫‪20‬‬ ‫‪25‬‬
 Prof.Lily Neuman 9
(Pearson) ‫מקדם המתאם של פירסון‬
xi − X yi − Y ( xi − X ) 2 ( yi − Y ) 2 ( xi − X )( yi − Y )

X Y
50 250
X = = 10 σ X2 = = 50 σ X = 7.07

15 1
5 5
35 76
Y = =7 σ Y2 = = 15.2 σ Y = 3.9
7 5
135
Cov( X , Y ) = = 27
5

cov( X , Y ) 27
r = r ( x, y ) = = = 0.97
σ X ⋅σ Y 7.07 ⋅ 3.9
 ‫‪10‬‬
‫ורגרסיה – דוגמא ‪1‬‬ ‫מתאם‬
‫‪Prof.Lily Neuman‬‬

‫בטבלה נתונים המשקל ורמת הכולסטרול של ‪ 15‬גברים בגילאי ‪50-55‬‬

‫שגובהם ‪ 175-178‬ס"מ‬

‫(‬
‫‪1‬‬
 ‫‪Prof.Lily Neuman‬‬ ‫‪11‬‬

‫מתאם ורגרסיה – דוגמא ‪1‬‬

 ‫‪Prof.Lily Neuman‬‬ ‫‪12‬‬

‫פונקציית ניבוי‬

‫נתבונן בשני משתנים כמותיים ‪ X‬ו‪.Y-‬‬

‫אם קיים קשר סטטיסטי בין שני המשתנים ‪ X‬ו‪ ,Y-‬אז ניתן לבנות‬
‫פונקציה שמתארת קשר זה‪ ,‬כלומר‪:‬‬
‫) ‪Y = F(X‬‬
‫הפונקציה ‪ F(X) =Y‬נקראת פונקצית ניבוי‪.‬‬
‫אם הפונקציה ‪ (F(X‬היא פונקציה לינארית‪ ,‬זאת אומרת יש לה צורה‪:‬‬

‫‪F ( X ) = a + bX‬‬
‫אז אומרים שבין משתנים ‪ X‬ו‪ Y-‬יש קשר לינארי‪.‬‬
‫חוזק הקשר הלינארי נמדד על‪-‬ידי מקדם המתאם של פירסון‪.‬‬
 ‫‪Prof.Lily Neuman‬‬ ‫‪13‬‬

‫רגרסיה לינארית פשוטה‬

‫המטרה היא ללמוד על הקשר הלינארי בין משתנה‪) X‬המוגדר‬
‫כמשתנה בלתי תלוי( לבין המשתנה ‪) Y‬המוגדר כמשתנה תלוי(‬
‫ולבנות פונקציית ניבוי של ‪ Y‬על‪-‬ידי ‪:X‬‬

‫‪F ( X ) = a + bX‬‬
‫‪a + bX‬‬
 ‫‪Prof.Lily Neuman‬‬ ‫‪14‬‬

‫רגרסיה לינארית פשוטה‬

 Prof.Lily Neuman 15

‫רגרסיה לינארית פשוטה‬

‫עיקרון בניית קו הרגרסיה‬

i 1 2 … n
X x1 x2 … xn
Y y1 y2 … yn

yˆ i = a + bxi
ei = yi − yˆi = yi − a − bxi
 ‫‪Prof.Lily Neuman‬‬ ‫‪16‬‬

‫רגרסיה לינארית פשוטה‬

‫עיקרון בניית קו הרגרסיה‬
‫‪Y‬‬
‫‪yn‬‬

‫‪en‬‬
‫‪y1‬‬
‫‪ŷ2‬‬ ‫‪ŷn‬‬
‫‪e1‬‬ ‫‪e2‬‬
‫‪y2‬‬
‫‪ŷ1‬‬

‫‪X‬‬

‫̂‪y‬‬
‫‪Q = ∑e‬‬ ‫‪2‬‬
‫‪i‬‬ ‫‪→ min‬‬
 Prof.Lily Neuman 17

‫רגרסיה לינארית פשוטה‬

 2
Q = ∑ e = ∑( yi − yi ) = ∑( yi − a − bxi )
2
i
2

∂Q ∂Q
Q = min ⇒ = 0, =0
∂a ∂b
∂Q 
1. : ∑(−2)( y i − a − bx i ) = ∑(−2)( y i − y i ) = ∑(−2)ei = 0 ⇒ ∑ ei = 0
∂a
∂Q 
2. : ∑(−2)( y i − a − bxi ) xi = ∑(−2)( y i − y i ) xi = ∑(−2)ei xi = 0 ⇒ ∑ ei xi = 0
∂b

na + b ∑ xi = ∑ yi
a ∑ xi + b ∑ xi2 = ∑ xi yi
 Prof.Lily Neuman 18

‫נוסחאות לחישוב משואת קו הרגרסיה הלינארית הפשוטה‬


y = a + bx

n ∑ xi yi − (∑ xi )(∑ yi )
b= =
∑ xi − (∑ xi ) 2

∑( x − x )( y − y ) ∑ xy − n ⋅ x ⋅ y
= = ... =
∑( x − x ) 2
(n − 1) S x
a = y − bx
 ‫‪Prof.Lily Neuman‬‬ ‫‪19‬‬

‫רגרסיה לינארית פשוטה‬

‫דוגמא‪ .‬לבנות קו רגרסיה לחיזוי המשקל של בעל החיים לפי הגובה‬
‫שלו‪.‬‬

‫‪i‬‬ ‫‪‬‬
‫‪y = a + bx‬‬

‫)‪Xi (ʮ"ʱ‬‬
‫‪72‬‬ ‫‪64‬‬
‫= ‪X‬‬ ‫= ‪=9 Y‬‬ ‫‪=8‬‬
‫‪8‬‬ ‫‪8‬‬
 Prof.Lily Neuman 20

‫רגרסיה לינארית פשוטה‬

∑ ( x − x )( y − y )
b= =
∑ (x − x) 2

(2 − 9)(3 − 8) + (4 − 9)(2 − 8) + (5 − 9)(13 − 8) + ... + (17 − 9)(10 − 8)

= =
(2 − 9) + (4 − 9) + (5 − 9) + ... + (17 − 9)
2 2 2 2

80
= = 0.4
200

a = y − bx = 8 − 0.4 ⋅ 9 = 4.4

‫קו רגרסיה‬:

y = 4.4 + 0.4 ⋅ x
 ‫‪Prof.Lily Neuman‬‬ ‫‪21‬‬

‫רגרסיה לינארית פשוטה‬

‫משוואת הקו ‪ y= 0.4x + 4.4‬על גרף הנתונים‬

‫משקל בעל חיים ביחס לגובהו‬

‫‪25‬‬

‫‪20‬‬

‫‪15‬‬

‫‪10‬‬

‫‪5‬‬

‫‪0‬‬
‫‪0‬‬ ‫‪5‬‬ ‫‪10‬‬ ‫‪15‬‬ ‫‪20‬‬
‫)ס"מ( ‪x‬‬
 ‫‪Prof.Lily Neuman‬‬ ‫‪22‬‬

‫דוגמא על הקשר בין כולסטרול ומשקל‬

 Prof.Lily Neuman 23

‫דוגמא על הקשר בין כולסטרול ומשקל‬

cholesterol levels and weight of 15 men

Prediction
350

yˆ = 190 x = 70 cholesterol (mg /100ml)

300

yˆ = 280 x = 90 250

yˆ = 370 x = 110 200

150

100
55 60 65 70 75 80 85 90 95 100 105 110
w eight (Kg)
 ‫‪Prof.Lily Neuman‬‬ ‫‪24‬‬

‫טיב החיזוי של רגרסיה‬

‫כדי להעריך את טיב החיזוי של רגרסיה משתמשים במדד‬
‫שנקרא אחוז הניבוי והוא מסומן ב ‪.R^2‬‬
‫חישוב אחוז הניבוי‪:‬‬
‫‪‬‬
‫) ‪∑ ( yi − y‬‬ ‫‪2‬‬
‫= ‪R‬‬
‫‪2‬‬

‫) ‪∑ ( yi − y‬‬ ‫‪2‬‬

‫‪‬‬
‫‪SS reg‬‬ ‫) ‪= ∑( yi − y‬‬ ‫‪2‬‬

‫‪SS y = ∑( yi − y ) 2‬‬
 Prof.Lily Neuman 25

‫טיב החיזוי של רגרסיה‬


x = 2; y = 3 y = a + bx
(2 − 2)(4 − 3) + (1 − 2)(2 − 3) + (3 − 2)(3 − 3)
b= = 0 .5 a = y − b x = 3 − 0 .5 ⋅ 2 = 2
( 2 − 2) + (1 − 2) + (3 − 2)
2 2 2


y = 2 + 0.5 ⋅ x
  
y1 = 2 + 0.5 ⋅ 2 = 3 y2 = 2 + 0.5 ⋅ 1 = 2.5 y3 = 2 + 0.5 ⋅ 3

∑( y i − y ) 2 (3 − 3) 2 + (2.5 − 3) 2 + (3.5 − 3) 2
R =
2
= = 0.25
∑( y i − y ) 2
(4 − 3) + (2 − 3) + (3 − 3)
2 2 2
 Prof.Lily Neuman 26

‫דוגמא לרגרסיה לינארית פשוטה‬

Number of birth to unmarried mothers

x t

1 1980
2 1981
3 1982
4 1983
 Prof.Lily Neuman 27

Number of births to unmarried mothers

200
180 Birth to younger mother(<19 yr.)
160 Birth to older mothers (>40 yr.)
140
120
Births

100
80
60
40
20
0
1978 1980 1982 1984 1986 1988 1990 1992
Years
 Prof.Lily Neuman 28

‫דוגמא לרגרסיה לינארית פשוטה‬

yˆ = −3.2 x + 154.7 yˆ = 8.1 x − 5.4

R 2 = 0.34 R 2 = 0.86
2
adjR 2
= 0.25 adjR = 0.85

S X2 = 9.167 S X2 = 9.167
SY2 = 274.678 SY2 = 688.989
SYX = 14.33 SYX = 10.34

≈
 Prof.Lily Neuman 29

Multiple linear regression

yˆ = b0 + b1 x1 + b2 x2 + .....+ bk xk
where bi is a regression coefficient, b0 is the intercept,
xi are independent variables.

Y
ID Curren
Hospitaliza
(days)