‫שיעור ‪ - 6‬פירוש המודל ורגרסיה היררכית‬

‫ערכי ה‪ β-‬מציינים את ההשפעה הנקייה אחרי "ניכוי" ההשפעות העקיפות‪.‬‬

‫המודלים מאפשרים לנו לקבל השפעות נקיות אחרי שמנטרלים את הקשרים העקיפים‪ .‬אם אני רוצה‬
‫לדעת מה ההשפעה הנקייה של תמיכה חברתית על ‪ ,PTSD‬אחרי שמנטרלים את המתאמים בין תמיכה‬
‫לשאר המשתנים ‪-‬אני מסתכל על ‪ .β2‬הבטאות נותנות לנו את הגודל של ההשפעה הישירה של המשתנה‬
‫הרלוונטי (טראומה\תמיכה\‪ )IQ‬על ‪.PTSD‬‬
‫מבחינת הגודל‪ ,‬לבטאות יש סדר גודל כמו מתאמים למרות שהן לא מתאמים‪ .‬אם אתם רגילים שמתאם‬
‫‪ 0.3‬מתחיל להיות מעניין ומתאם ‪ 0.5‬הוא כבר גדול – אז כנ"ל לגבי הבטאות‪.‬‬
‫מבחינת פרשנות‪ ,‬את הבטאות אפשר להשוות בין משתנים שונים כי זה בציוני תקן‪ .‬אם יש הבדלים‬
‫בסקאלות – כמו למשל בגרות (‪ )0-100‬ופסיכומטרי (‪ )300-800‬כמנבאים לציוני תואר ראשון‪ ,‬אז יהיה‬
‫מאוד קשה להסתכל על המקדמים הגולמיים שלהם כי כל מקדם גולמי מתייחס לסקאלה ויש לו רזולוציה‬
‫שונה‪ .‬לכן המשקלות הגולמיים לא מאפשרים להשוות בין ה‪ b-‬של הפסיכומטרי ל‪ b-‬של הבגרות‪.‬‬
‫הבטאות כן מאפשרות את זה – אם לפסיכומטרי יש ‪ β 0.4‬ולבגרות ‪ ,0.2‬אפשר להגיד שהפסיכומטרי‬
‫משפיע יותר‪.‬‬
‫על אף שאי אפשר להשוות ביניהם‪ ,‬אפשר בהחלט לפרש מקדמים גולמיים במונחים של ציוני גלם‪.‬‬
‫למשל‪ ,‬מה שווה כל תוספת של נקודה באינטליגנציה לציון ‪ .PTSD‬יש מודלים של רגרסיה שמנבאים‬
‫תוחלת חיים – אז אתם יכולים להגיד כמה חודשים בחיים מפחיתה כל סיגריה שאתם מעשנים ביום ("על‬
‫כל סיגריה‪ ,‬אתם מפסידים ‪ X‬חודשים מהחיים")‪ .‬שימו לב שהיתרון של המקדמים זה אחרי שמנטרלים‬
‫את כל יתר ההשפעות‪ .‬אם אני שם במודל רגרסיה גם כמה חברים יש לכם וכמה שנים חיו ההורים שלכם‪,‬‬
‫צריך לנטרל אותם כדי להגיד כמה שווה כל סיגריה בניבוי משך החיים שלכם‪.‬‬
‫מה קורה במקרה שצריך לטפל בקבוצת משתנים כמבטאת דבר אחד?‬
‫למשל‪ ,‬אנחנו רוצים לדעת מה ההשפעה של אינטליגנציה אחרי שאני מנטרל גיל‪ ,‬מין וסטטוס‪ .‬ההבחנות‬
‫בין משתנים אלו לא מעניינות אותי ואני רוצה לטפל בהם כאילו הם משתנה אחד‪ .‬דוגמא נוספת היא‬
‫תמיכה חברתית שהיא דבר מאוד רחב שאפשר לפרק אותו לתמיכה מההורים‪ ,‬תמיכה מחברים ותמיכה‬
‫מבן\בת זוג – אך לא מעניין אותי ההבדל ביניהם‪.‬‬
‫כשאני רוצה לטפל בקבוצה שלמה של משתנים‪ ,‬הפרשנות כפי שהוצגה עד עכשיו לא עוזרת‪ .‬נגיד‬
‫שתמיכה מההורים זה ‪ ,X1‬תמיכה מחברים זה ‪ X2‬וכך הלאה‪ ,‬ולכל אחד תהיה בטא משלו‪ .‬המשמעות של‬
‫הבטאות היא למשל מה ההשפעות של תמיכת בן זוג אחרי שאני מנטרל תמיכה מהורים ומחברים – וזה‬
‫לא מה שרציתי‪ ,‬כי אני רוצה לדעת תמיכה חברתית באופן כללי‪.‬‬
 ‫כדי לטפל בבעיה הזו‪ ,‬יש לנו רגרסיה היררכית‪.‬‬
‫דוגמא א'‪ :‬ניבוי חומרת ‪PTSD‬‬ ‫‪‬‬
‫מודל ‪ :1‬מנבא מתוך חומרת טראומה ואינטליגנציה‪.‬‬ ‫‹‬
‫מודל ‪ : 2‬מנבא מתוך חומרת טראומה‪ ,‬אינטליגנציה ותמיכה חברתית אשר נמדדת באמצעות‬ ‫‹‬
‫שלושה משתנים‪.‬‬
‫כרגע יש לי שני מודלים ולכל מודל יהיה אחוז שונות מוסברת (‪ .)R2‬אני אקבל תשובה לשאלה שלי אם‬
‫תהיה עלייה משמעותית בכוח ההסברי ‪ -‬אם מודל ‪ 2‬מסביר הרבה יותר טוב ממודל ‪ ,1‬זה עונה לי על‬
‫השאלה שתמיכה חברתית מנבאת ‪( PTSD‬במקרה זה – מקטינה)‪.‬‬
‫בשביל לנתח את זה אני חייב לצרף את כל מקורות התמיכה למשתנה "תמיכה"‪ .‬השיטה החלופית והיותר‬
‫מוצלחת היא לא לצרף למשתנה אחד אלא לעשות השוואה בין מודלים‪ .‬במודל ‪ 1‬לא תהיה תמיכה‬
‫חברתית ובמודל ‪ 2‬יהיו טראומה‪ ,IQ ,‬ושלושה משתנים שונים של תמיכה חברתית שלכל אחד בטא‬
‫משלו‪ .‬הבטאות מספרות לך על תמיכת הורים\בן זוג וכו'‪ ,‬אבל הן לא עונות לך על השאלה הגלובלית‬
‫שמעניינת אותך ‪ -‬תמיכה חברתית‪ .‬כדי לפתור את הבעיה אני משווה בין שני המודלים האלה‪ .‬אני מסתכל‬
‫בכמה מודל ‪ 2‬מנבא יותר טוב מאשר מודל ‪ ,1‬וככה אני יכול לדעת האם התוספת הזו (תמיכה חברתית)‬
‫משפרת את הניבוי‪.‬‬
‫דוגמה ב'‪ :‬תרומת יכולות רקע (חשיבה מתמטית‪ ,‬כושר ביטוי מילולי‪ ,‬שליטה באנגלית) לניבוי‬ ‫‪‬‬
‫הצלחה אקדמית אחרי ניכוי השפעות עקיפות שמערבות משתנים דמוגרפיים‪.‬‬
‫מודל ‪ : 1‬ניבוי באמצעות משתנים דמוגרפיים‪.‬‬ ‫‹‬
‫מודל ‪ : 2‬ניבוי באמצעות משתנים דמוגרפיים ומשתני יכולת רקע (‪ 3‬משתנים(‪.‬‬ ‫‹‬
‫אנחנו יודעים שאנשים יכולים להיות יותר טובים בתחומים האלה בגלל הסטטוס הסוציו‪-‬אקונומי (אפשר‬
‫מורים פרטיים‪ ,‬תמיכה מההורים וכו')‪ ,‬אבל אני רוצה לנטרל את הדברים האלה ולדעת האם היכולת הזאת‬
‫תורמת בלעדית להצלחה אקדמית‪.‬‬
‫אני עושה מודל ראשון ומנבא הצלחה אקדמית רק באמצעות משתנים דמוגרפיים‪ .‬במודל השני אני מנבא‬
‫באמצעות משתנים דמוגרפיים וכל משתני היכולת‪ .‬גם כאן מה שמעניין אותי זה בכמה הניבוי השתפר בין‬
‫המודלים‪.‬‬
‫יש לכל משתנה בטא משלו‪ ,‬ולכן בשביל לקבל תחליף בטא עושים את השיטה הזו של רגרסיה היררכית‪.‬‬
‫אנחנו מסתכלים בכמה השתפר הניבוי במודל ‪ 2‬יחסית למודל ‪ – 1‬אם הניבוי הרבה יותר מוצלח זה מעיד‬
‫על כך שהיכולות האקדמיות תורמות מעבר למשתנה הרקע בלבד (מעמד סוציו‪-‬אקונומי)‪ .‬אנחנו לא נדע‬
‫מה ה‪ ,β-‬אנחנו נדע מה אחוז השונות המוסברת באמצעות תמיכה חברתית (השונות שהיא מסבירה מעבר‬
‫למשתנה הרקע)‪ -‬כמה שונות מוסברת התווספה בגין זה שהוספנו שלושה משתנים‪.‬‬
‫הוספת מנבאים לא יכולה להוריד את ה‪ ,R2-‬רק לא לשנות אותו או להעלות אותו‪ .‬כשבונים את נוסחת‬
‫הרגרסיה המרובה‪ ,‬ומוסיפים משתנים שלא תורמים כלום – המשקל שלהם הוא ‪ 0‬ולכן הם לא משפיעים‬
‫על המשוואה‪ .‬כלומר‪ ,‬הוספת מנבאים לעולם לא תזיק אלא רק תשפר את ה‪( R2-‬עם זאת‪ ,‬יש בעיה של‬
‫‪.)overfitting‬‬
‫בשתי הדוגמאות למודל ‪ 2‬יהיה ה‪ R2-‬גדול יותר או שווה למודל ‪ ,1‬והשאלה שלנו היא האם התוספת הזו‬
‫אמתית או לא אמתית (‪ \ overfitting‬סתם משחקים עם מספרים)‪.‬‬
‫עוד שאלות ב‪00:19-00:24‬‬ ‫‪‬‬

‫אומדן גודל התרומה לניבוי – איך אני בודק?‬

‫האם ביחס למודל ‪ , 1‬מודל ‪ 2‬מראה‪:‬‬
 ‫הגדלה בערך ‪ – R2‬משווים בין ה‪ R2 -‬של המודלים‪.‬‬ ‫‹‬
‫הגדלה בערך ‪ -R2 Adjusted‬משווים כדי לנהל את העניין של ‪.overfitting‬‬ ‫‹‬
‫הגדלה בערך ‪ R2‬כפי שנאמד בתיקוף הצולב ‪ -‬עוד דרך לדעת אם יש ‪.overfitting‬‬ ‫‹‬
‫בנוסף לכך‪ ,‬אנחנו יכולים לשאול האם התוספת מובהקת‪ .‬אם היא מובהקת ‪ -‬אין בעיה של ‪.overfitting‬‬
‫לסיכום‪ ,‬אם יש עלייה ב‪ ,R2-‬וגם עליה ב‪ R2 -‬בתיקוף צולב – זה אומר שיש תוספת אמתית למשתנים‬
‫הנוספים‪ .‬חוץ מזה – אפשר גם לעשות בדיקת מובהקות‪.‬‬

‫שאלה‪ :‬אם אתה רוצה לדעת האם משתנה אחד משפיע לך על המודל‪ ,‬למה אתה לא בודק ישירות את המתאם בין אותו משתנה למנבא שלך‬
‫ואז אם יש מתאם הוא משפיע ואם לא אז לא?‬
‫שים לב – מתאם הוא תוצר של השפעות ישירות אך גם עקיפות‪ .‬כמו שראינו במקרה של משתנה מדכא‪ ,‬מתאם יכול להיות גם כשאין לך‬
‫שום השפעה של המשתנה אלא רק דרך השפעות עקיפות‪ .‬לכן מתאם לא פותר את הבעיה‪.‬‬
‫שתי דוגמאות להשפעות עקיפות‪ .1 :‬מורידים לגמל שלמה רגל ואומרים לו לקפוץ‪ ,‬ומגיעים למסקנה שגמל שלמה בלי רגליים לא שומע‪.2 .‬‬
‫מגיעים למסקנה שסוכרזית משמינה כי יש מתאם גבוה בינה לבין אנשים עם משקל עודף‪.‬‬

‫בדיקת מובהקות – רקע כללי ותזכורת‬

‫שתי אידיאולוגיות מתחרות להכרעה בין שתי הפותזות מתחרות‪:‬‬
‫‪ –H‬אין תרומה אמתית לניבוי באוכלוסייה‪.‬‬ ‫‪0‬‬ ‫‹‬
‫‪ –H‬אין תרומה אמתית לניבוי באוכלוסייה‪.‬‬ ‫‪1‬‬ ‫‹‬
‫יש שתי גישות בסטטיסטיקה‪ .‬בשתיהן המטרה שלנו היא להכריע מה נכון מתוך המדגם על האוכלוסייה‪.‬‬
‫בדיקת השערת האפס ‪ :NHT‬גישה שכיחותנית‬ ‫‪‬‬
‫בוחנים את )‪ – P(data| H 0‬ההסתברות לקבל נתונים כאלה בדגימה מקרית מתוך אוכלוסייה שבה‬ ‫‹‬
‫מתקיים ‪H. 0‬‬
‫אם ערך ‪ P‬נמוך מ‪ – 0.05 ,0.01 ,0.005‬דוחים את ‪H. 0‬‬ ‫‹‬
‫שתי אופציות החלטה‪H 0 :‬נדחית‪ ,‬לא יודע‪.‬‬ ‫‹‬

‫בדיקת השערות בייסיאנית באמצעות ‪Bayes Factor BF‬‬ ‫‪‬‬

‫מחשבים את היחס בין ההסתברות ‪H 0‬ל‪H 1 -‬מבחינת )‪ – P( H 0|data‬ההסתברות שההשערה‬ ‫‹‬
‫נכונה בהינתן הנתונים‪ .‬הפוך מהגישה הקודמת‪.‬‬
‫החתכים המקובלים – אם השערה אחת סבירה יותר מהשניה בלפחות פי ‪( 3‬או ‪)10\5‬‬ ‫‹‬
‫שלוש אפשרויות החלטה‪H 0 :‬נבחרת‪H 1 ,‬נבחרת‪ ,‬לא יודע ‪ .‬בשביל חוקרים זה בונוס כי יש‬ ‫‹‬
‫אפשרות לקבל את ‪H 0‬שאי אפשר היה לעשות קודם‪.‬‬
‫בהסקה בייסיאנית אני יכול לקבל פי כמה היפותזה אחת יותר סבירה מהשנייה‪:‬‬
‫‪H.‬‬ ‫‪1‬‬ ‫‪ - BF10‬פי כמה ‪H 1‬יותר סבירה מ ‪ – BF01 ; H 0‬פי כמה ‪H 0‬יותר סבירה מ‬ ‫‹‬
‫הם תמורת מראה אחד של השני וניתן להמירם בקלות זה בזה‪ BF10 = 1/BF01 ,‬ולהפך‪.‬‬
‫נחשון מעדיף את הגישה הבייסיאנית כי הגישה השכיחותנית לא עונה על השאלה‪ -‬זה שהיפותזה אחת לא‬
‫סבירה לא אומר שהשנייה סבירה‪.‬‬
‫בדיקה שכיחותנית‪:‬‬
 ‫יש לנו שני מודלים‪ )1 :‬מנבא את ‪ fear of death‬באמצעות אמוציות; ‪ )2‬מנבא את ‪fear of death‬‬
‫באמצעות אמוציות ‪ +‬שני מנבאים‪.‬‬
‫לכל מודל יש ‪ R2‬משלו – מודל ‪ ;0.0343 :1‬מודל ‪0.108 :2‬‬
‫ניתן לראות שיש קפיצה גדולה של ‪ 7%‬בין המודלים‪ .‬השאלה שלנו כרגע האם התוספת‬
‫הזאת מובהקת‪.‬‬
‫כדי לבדוק את זה יש לנו את ה‪ :Model comparisons-‬הוא עושה מודל ‪ 1‬פחות מודל ‪.2‬‬
‫הדלתא ‪ R2‬היא ‪( 0.0737‬ההפרש בין ה‪ R2 -‬של‬
‫המודלים)‪ .‬הוא עושה לנו מבחן ‪ F‬עם ‪ 2‬דרגות חופש‬
‫במונה ו‪ 131‬במכנה ומתקבל ‪.P-value 0.006‬‬
‫בדיקה בייסיאנית‪:‬‬
‫הגישה הבייסיאנית בונה את כל המודלים האפשריים‪.‬‬
‫בלי מנבאים – רק ממוצע‬
‫בלבד– המודל‬ ‫מעניינים אותנו שניים‬
‫המלא והמודל החלקי‪.‬‬
‫כל מודל (‪1‬‬ ‫)‪ – P(M‬ה‪ Prior‬של‬ ‫‹‬
‫המודלים)‬ ‫לחלק למספר‬
‫‪posterior‬‬ ‫– )‪P(M|data‬‬ ‫‹‬
‫ובנתונים)‬ ‫(מתחשב בפריור‬
‫חידשו לנו‬ ‫‪ – BFm‬כמה הנתונים‬ ‫‹‬
‫(לא מעניין)‪.‬‬
‫פקטור שלנו‬ ‫‪ – BF10‬הבייס‬ ‫‹‬
‫‪-\posterior‬‬ ‫‪posterior- H 1‬‬
‫‪H 0‬‬
‫‪–  0.5776‬‬ ‫ה‪ BF-‬של המודל המלא‬
‫לא ידוע כי זה‬ ‫לא מובהק‪ .‬התשובה היא‬
‫לא קטן משליש ולא גדול משלוש‪ .‬ה‪ BF-‬של המודל החלקי ‪. 0.0789‬‬
‫פי כמה יותר סביר שהתוספת של המנבאים עזרה מאשר שלא‪:‬‬

‫קיבלנו ‪ .BF = 7.32‬אפשר לקבל את ‪H 0‬ולהסיק כי התוספת של שלושת המנבאים מובהקת והם אכן‬
‫תרמו לי לניבוי – ‪H 1‬יותר סביר מ ‪H 0‬פי ‪.7.32‬‬
‫תרגול ב‪:R-‬‬
‫גישה שכיחותנית‪:‬‬
‫אני בונה מודל לינארי שמנבא נוירוטיות מתוך שתי תכונות (‪ )1‬ומודל שמנבא‬
‫נוירוטיות מתוך ‪ 5‬תכונות (‪ .)2‬אפשר לעשות ‪ summary‬שייתן לנו מבחן‬
‫מובהקות על כל אחד מהפרמטרים; ‪ R2‬ועוד‪.‬‬
‫אנחנו רוצים לדעת האם‬
‫הדלתא שלנו מובהקת אז‬
‫אנחנו עושים ‪ANOVA‬‬
‫שמשווה בין המודלים‪:‬‬
‫מקבלים את ה‪ DF-‬מונה‪,‬‬
‫‪ = 41.003‬ו‪-‬‬ ‫ה‪F-‬‬
‫‪ Probability‬קטן מאוד‪ .‬בדוגמה הזאת מודל ‪ 2‬עדיף בהרבה על מודל ‪.1‬‬
‫המבחן ‪ F‬משווה בין שתי שונויות‪ :‬התוספת לשונות המוסברת יחסית לשונות הטעות‪.‬‬
 ‫גישה בייסיאנית‪:‬‬
‫אנחנו מטעינים את הספרייה של בייס פקטור‪ ,‬ואז מריצים את הפקודה‬
‫‪ regressionBF‬ובסוגריים שמים את המודל המלא‪ .‬אנחנו מקבלים רשימה של‬
‫כל המודלים החלקיים מתוכו‪.‬‬
‫אנחנו מחשבים את ה‪ BF-‬של שני מודלים‪ .E+O ; E+O+A+C :‬החלוקה‬
‫ביניהם מביאה לנו ‪ BF‬גדול מאוד ומובהק לטובת ‪H. 1‬‬

‫‪ – 7‬בחירת מנבאים‬
‫לפעמים רוצים לצמצם את מספר המנבאים‪:‬‬
‫כדי למנוע ‪overfitting‬‬ ‫‪‬‬
‫כדי לחסוך בעלויות הבחי נה – למשל אם אני משתמש במנבאים לצורך קבלה לעבודה ויש לי‬ ‫‪‬‬
‫הגבלה של זמן למועמדים‪ .‬אני רוצה לבחור סט של מועמדים שיעשה עבודה טובה בלי לבחור‬
‫בכולם‪.‬‬
‫כדי לקצר שאלונים – ניתן לבחור באמצעות שיטות של בחירת מנבאים קבוצה של שאלות שתעשה‬ ‫‪‬‬
‫עבודה טובה כמו לבחור בכל השאלות‪.‬‬
‫המטרה מאוד פרגמטית‪ :‬אני רוצה לנבא בצורה יעילה באמצעות פחות מנבאים‪ .‬אנשים מתבלבלים‬
‫ומשתמשים בשיטות לבחירת מנבאים כדי להסיק מסקנות לסיבתיות וכו' – וזה לא טוב‪ ,‬זה עושה טעויות‪.‬‬
‫אם באים עם שאלה תאורטית צריך לעבוד עם פרשנות של הבטאות והרגרסיות‪ ,‬ואם יש שאלה פרגמטית‬
‫(איך לנבא) צריך לעבוד עם השיטות האלו‪.‬‬

‫שיטות לבחירת תת קבוצה אופטימלית של מנבאים‪:‬‬

‫‪All possible subset‬‬ ‫‪‬‬
 ‫פשוט בוחנים את כל המודלים האפשריים שאפשר לבדוק מאותה קבוצת מנבאים‪ .‬תעשו את כל צירופי‬
‫המנבאים האפשריים ותבחרו צירוף בגודל נתון שעושה את העבודה הכי טובה‪.‬‬
‫נגיד שאתם פסיכולוגיים אירגוניים‪ .‬אתם צריכים לבנות בטרייה של ניבוי ואומרים לכם שאין לכם ‪4‬‬
‫שעות של בחינה ואתם צריכים להסתדר עם שעתיים‪ .‬אתם בוחרים את הבחינה באורך שעתיים שתיתן‬
‫לכם את הניבוי הכי טוב‪.‬‬
‫הפקודה ב‪)(R  ols_step_all_possible-‬‬
‫מקבלים את כל המודליים האפשרים וה‪ R2-‬שלהם‪ .‬אם עם ‪ 4‬מנבאים‬
‫אני מגיע ל‪ 0.248-‬ואני רוצה לקצר את הבחינה ל‪ 2-‬מנבאים ‪ -‬אני‬
‫מסתכל איזה מודל עם שני מנבאים עושה את העבודה בצורה הטובה‬
‫ביותר‪.‬‬
‫‪Best subset‬‬ ‫‪‬‬
‫דרך לקצר הליכים – לא צריך לחפש בין‬
‫נותן את המודל הכי טוב בכל ‪ K‬מנבאים וגם את‬ ‫המודלים‪.‬‬
‫שלהם‪.‬‬ ‫וה‪R2-‬‬
‫לכם תקצרו לי את הבחינה‪ ,‬אתם רואים שאתם‬ ‫אם אומרים‬
‫לרדת לשני מנבאים – כי שלושה מנבאים לא‬ ‫יכולים‬
‫הרבה מעבר לשניים‪ .‬אנחנו מקבלים פחות או‬ ‫מוסיפים לנו‬
‫יותר את מקסימום הניבוי עם שני מנבאים שהם‬
‫‪.+C‬‬ ‫‪E‬‬
‫פקודה ‪)( ols_step_best_subset‬‬

‫שיטות שחוסכות זמן ומשאבי עיבוד‪:‬‬

‫שיטות שהיו עובדים איתן פעם כדי לחסוך זמן אך היום זה לא לוקח זמן אז זה לא שיקול‪ .‬לא רלוונטי עם‬
‫המחשבים של היום אלא אם כן עובדים עם המון מנבאים ומדגמי ענק‪.‬‬

‫‪Forward selection‬‬ ‫‪‬‬

‫מתחילים ממודל עם מנבא בודד‪ ,‬זה עם המתאם הכי גבוה –‬ ‫‪‬‬
‫המשתנה עם הניבוי הכי טוב ‪ C‬‬
‫בכלל צעד‪ ,‬מוסיפים למודל את המנבא שנותן את התוספת הכי‬ ‫‪‬‬
‫גבוהה לניבוי למשל במונחי ‪adjusted R2  C + E‬‬
‫בכל פעם מוסיפים את המנבא שמוסיף מעבר לאלו שכבר בתוך‬ ‫‪‬‬
‫המודל‪.‬‬
‫עוצרים כשאי אפשר להוסיף יותר מנבאים‪ .‬אפשר לתת לו למשל כלל להפסיק ברגע ש‪adjusted -‬‬ ‫‪‬‬
‫‪ R2‬מפסיק לעלות‪.‬‬
‫פקודה ‪)( ols_step_forward_p‬‬

‫‪Backward selection‬‬ ‫‪‬‬

 ‫מתחיל ממודל מלא עם כל המנבאים‪ ,‬ובכל צעד מורידים את המנבא שאינו תורם לניבוי ‪ -‬המנבא שייפגע‬
‫הכי פחות ב‪R2 -‬‬
‫פקודה ‪)( ols_step_backward_p‬‬

‫‪stepwise selection‬‬ ‫‪‬‬

‫מתחילים ממודל עם מנבא בודד‪ ,‬זה עם המתאם הכי גבוה‪.‬‬
‫‪ - Forward‬מוסיפים למודל את המנבא שנותן את התוספת הכי גבוהה לניבוי‪.‬‬ ‫‪.1‬‬
‫‪ -Backward‬אחר כך הוספנו עוד מנבאים שמייתרים את הראשון ‪ -‬זה שהכנסנו אותו בהתחלה‬ ‫‪.2‬‬
‫לא אומר שהוא מועיל בהמשך – יכול להיות שהמשתנים שהכנסתי כוללים את השונות שלו ואז‬
‫אין לו תועלת‪.‬‬
‫‪ - Forward‬מנסים להוסיף מנבא‪.‬‬ ‫‪.3‬‬
‫‪ - Backward‬מנסים להוציא מנבא‪.‬‬ ‫‪.4‬‬
‫עושים צעד קדימה צעד אחורה‪ .‬לא כל צעד חייב להצליח –‬
‫יכול להיות שאני אעשה צעד אחורה ושום משתנה לא ירד לי כי‬
‫אין משתנה שלא יזיק למתאם‪ .‬עוצרים כשאי אפשר להוסיף או להוריד מנבאים‪.‬‬
‫פקודה ‪)( ols_step_both_p‬‬
‫הערה של נחשון‪ :‬אם המטרה שלכם היא בחירת מנבאים‪ ,‬תעשו את ה‪ Best subset-‬או את ה‪All-‬‬
‫‪ .possible subset‬אם המטרה היא לדעת על המציאות אז תעשו רגרסיות היררכיות\רגרסיות מרובות‬
‫ואת כל מה שלמדנו עד עכשיו‪.‬‬

‫הערה חשובה לגבי פרשנות‪:‬‬

‫בניגוד לרגרסיה מרובה רגילה‪ ,‬ורגרסיה היררכית – התוצאות של השיטות לבחירת מנבאים אינן‬ ‫‪‬‬
‫ניתנות לפירוש במונחי אילו משתנים קשורים עם ‪.Y‬‬
‫ייתכן שיהיו שני מנבאים זהים ביכולת הניבוי שלהם ועם מתאם גבוה ביניהם‪ ,‬כשבמדגם (ולא‬ ‫‪‬‬
‫באוכלוסייה) ישנו יתרון קל לאחד מהם‪.‬‬
‫במקרה זה אנחנו עלולים לפרש בטעות כאילו המשתנה שלא נבחר אינו מנבא את ‪.Y‬‬
‫נניח שאתם רוצים לנבא הצלחה בבית ספר ויש לכם שני משתנים מאוד מתואמים עם הצלחה בבית הספר‬
‫(‪ ) 0.35‬וזה עם זה – אוצר מילים והבנת נקרא‪ .‬בגלל שאנחנו עובדים עם מדגם יכול להיות שלאחד יהיה‬
‫מתאם של ‪ 0.254‬ולשני יהיה ‪ .0.239‬המתאם הראשון יבחר‪ ,‬אך זה בגלל מדגם והשני לא יבחר כי הוא‬
‫מתואם אתו והוא לא תורם מעבר אליו‪.‬‬
‫אם משתנה לא נכנס לנו למודל בשיטות האלו זה לא אומר שהוא לא מנבא כלום‪ .‬יכול להיות שהשונות‬
‫שלו קיימת במשתנים האחרים‪ .‬השימוש בשיטה הזו גורם לנו להעדיף מודלים עם משתנים מאוד‬
‫מלוכלכים שמכילים המון דברים בפנים על פני משתנים טהורים שמצביעים על דבר ספציפי‪ .‬נניח שהבנת‬
‫הוראות מנובאת על ידי שתי תכונות רלוונטיות (הבנה מילולית\חשיבה אנליטית)‪ .‬אם אני רוצה לבדוק‬
‫בנפרד חשיבה אנליטית והבנה מילולית‪ ,‬אף אחד מהם לא ינבא יותר חזק מהצירוף שלהם‪ .‬אז הצירוף‬
‫שלהם יכנס לי ל‪ stepwise-‬ואז אני אגיע למסקנה מגוחכת שחשיבה אנליטית והבנה מילולית לא‬
‫תורמים לי למרות שזה לא נכון – המשתנה המלוכלך שכולל את שניהם בפנים נבחר כי זו השיטה‪.‬‬
‫השיטה הזו מצוינת לניבוי במצבים שאני רוצים למשל לקצר בחינה‪ ,‬אבל חשוב לזכור לא לפרש את‬
‫התוצאות שלהן אלא רק להשתמש בהן‪ .‬אם רוצים לפרש‪ ,‬תשתמשו בשיטות שמתאימות לפרשנות‪.‬‬