‫הוראות‬

‫מספר הנקודות המקסימלי עבור פתרון מלא מצויין ליד כל סעיף‪ .‬מספר הנקודות הכולל הוא ‪.100‬‬
‫שימו לב שהשאלות הן בדרגת קושי שונה כך שמומלץ לא להתעכב יתר על המידה על שאלה מסויימת‪.‬‬
‫אנא הקפידו על ההנחיות הבאות‪:‬‬
‫• כתבו את ת‪.‬ז‪) .‬לא את השם!( בראש כל עמוד של מחברת הבחינה‪.‬‬
‫• כתבו את תשובותיכם בכתב ברור ומסודר עם שוליים רחבים על מחברת הבחינה‬

‫• אין לתלוש דפים מטופס הבחינה‪.‬‬

‫• תשובה סופית ללא דרך לא תזכה בניקוד כלשהו )ציון ‪.(0‬‬

‫• יש לכתוב את הפתרונות באופן ברור ומסודר‪ .‬פתרונות אשר יהיו בכתב קטן מדי‪/‬מטושטש‪/‬לא קריא לא‬
‫ייבדקו‪.‬‬
‫• מומלץ מאוד לפתור תחילה את השאלה בדפי טיוטה ולהעתיק את עיקר הפתרון אל מחברת הבחינה רק‬
‫לאחר בדיקה‪.‬‬

‫• כתבו פתרון מלא אך תמציתי לכל שאלה‪ .‬נמקו כל שלב בפתרונכם אך אין לצרף כיוונים שלא צלחו‪,‬‬
‫פתרונות אלטרנטיביים וכו׳‬
‫משך המבחן‪ :‬שלוש שעות‬
‫חומר עזר מותר‪ 2 :‬דפי נוסחאות דו־צדדיים‪ ,‬מחשבון‬
‫בהצלחה!‬

‫‪1‬‬
 ‫‪ .1‬נתונה שרשרת מרקוב עם מטריצת המעבר הבאה כאשר קבוצת המצבים היא }‪:S = {1, 2, 3, 4‬‬
‫‪‬‬ ‫‪‬‬
‫‪1/4 1/4‬‬ ‫‪1/2 0‬‬
‫‪ 0 1/4‬‬ ‫‪0 3/4‬‬
‫)‪(1‬‬ ‫‪P=‬‬
‫‪1/2 0‬‬
‫‪‬‬
‫‪1/4 1/4‬‬
‫‪0 1/2‬‬ ‫‪0 1/2‬‬

‫)א( ]‪ 9‬נקודות[ מצאו את כל המחלקות השונות של המצבים וקבעו עבור כל מחלקה אם היא סגורה או‬
‫פתוחה‬
‫פתרון‪ :‬מציירים את גרף המעברים בין מצבים בהסתברות חיובית ורואים ש }‪ {1, 3‬מחלקה פתוחה כי‬
‫ניתן להגיע ‪ 1 ↔ 3‬וכן ניתן להגיע ‪ 1 → 2‬אבל לא מתקיים ‪ .2 → 1‬בנוסף }‪ {2, 4‬מחלקה סגורה כי‬
‫‪ 2 ↔ 4‬אבל לא ניתן להגיע מ־‪ 2‬או ‪ 4‬ל־‪ 1‬או ‪. 3‬‬
‫)ב( ]‪ 4‬נקודות[ מיהם המצבים המחזוריים?‬
‫פתרון‪ :‬אין אף מצב מחזורי כי מכל מצב ניתן להגיע לעצמו בהסתברות חיובית ממש תוך צעד אחד‪.‬‬
‫)ג( ]‪ 9‬נקודות[ האם יש לשרשרת התפלגות אינוריאנטית יחידה? אם כן‪ ,‬מצאו אותה‪ .‬אם לא‪ ,‬מצאו‬
‫לפחות ‪ 2‬התפלגויות אינוריאנטיות שונות‬
‫פתרון‪ :‬כן‪ ,‬יש התפלגות אינוריאנטית יחידה‪ .‬עבור כל מצב חולף הערך של ההתפלגות האינוריאנטית‬
‫היא ‪ .0‬עבור המצבים הנשנים ניתן לקבל את תת המטריצה‪:‬‬
‫‬ ‫‬
‫‪1/4 3/4‬‬
‫)‪(2‬‬ ‫= ‪P′‬‬
‫‪1/2 1/2‬‬

‫ולמדנו שעבור כל שרשרת מרקוב עם ‪ 2‬מצבים היא ב־‪ detailed−balance‬כאשר עבור הסתברויות מעבר‬
‫‪β‬‬ ‫‪α‬‬
‫‪ .( α+β‬לכן‬ ‫‪, α+β‬‬ ‫‪ α‬מהמצב הראשון לשני ו ‪ β‬מהמצב השני לראשון מקבלים התפלגות אינוריאנטית )‬
‫ההתפלגות האינוריאנטית היחידה היא )‪.π = (0, 2/5, 0, 3/5‬‬
‫)‪(t‬‬
‫)ד( ]‪ 10‬נקודות[ כתבו ביטוי סגור להסתברות )‪ p42 = P (Xt = 2|X0 = 4‬כפונקציה של ‪t‬‬
‫פתרון‪ :‬עבור הסתברות זו יש למצוא את הערכים העצמיים של תת המטריצה ׳‪ . P‬הפולינום האופייני‬
‫הוא‬
‫‪1‬‬ ‫‪1‬‬ ‫‪3‬‬ ‫‪3‬‬ ‫‪1‬‬
‫)‪(3‬‬ ‫‪p(x) = ( − x)( − x) − = x2 − x −‬‬
‫‪4‬‬ ‫‪2‬‬ ‫‪8‬‬ ‫‪4‬‬ ‫‪4‬‬
‫)‪(t‬‬ ‫‪t‬‬
‫‪.p42 = α1 + α2 −1‬‬ ‫והערכים העצמיים הם ‪ λ1,2 = 1, − 41‬לכן ההסתברות היא מהצורה‪:‬‬
‫
‬
‫נציב‬ ‫‪4‬‬
‫)‪(t‬‬ ‫‪
t‬‬ ‫)‪(0‬‬ ‫)‪(1‬‬
‫‪.p42 = 25 − 52 −1‬‬
‫‪4‬‬ ‫‪ α1 = 25 , α2 = −2‬ולכן‬
‫‪ p42 = 0, p42 = 2‬ונקבל ‪5‬‬
‫‪1‬‬

‫)ה( ]‪ 10‬נקודות[ כתבו ביטוי סגור להסתברות )‪p13 = P (∃t s.t. Xt = 3|X0 = 1‬‬
‫פתרון‪ :‬נגדיר לכל ‪ j‬את ההסתברות )‪ . pj3 = P (∃t s.t. Xt = 3|X0 = j‬מכיוון ש־}‪ {2, 4‬מחלקה סגורה‬
‫מתקיים ‪.p23 = p43 = 0‬לכן ניתן לקבל משוואה לינארית עבור ‪: p13‬‬
‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬ ‫‪1‬‬
‫= ‪p13‬‬ ‫‪p13 + p12 + = p13 + .‬‬
‫‪4‬‬ ‫‪4‬‬ ‫‪2‬‬ ‫‪4‬‬ ‫‪2‬‬
‫ולכן ‪ .p13 = 23‬לחלופין‪ ,‬ניתן גם לכתוב מערכת משוואות לינארית עבור כל ‪ 4‬ההסתברויות ולהשתמש‬
‫במשפט האומר שההסתברויות ‪ pi3‬הן הפתרון המינימלי של מערכת המשוואות‪.‬‬

‫‪2‬‬
‫‪ .2‬יהיו } ‪{Xt‬ו־} ‪ {Yt‬שתי שרשראות מרקוב בלתי תלויות עם מרחב מצבים סופי בגודל ‪ S‬ומטריצות מעבר ‪.P, Q‬‬
‫נניח שעבור כל זמן ‪ t‬מטילים מטבע הוגנת ומגדירים ‪ Zt = Xt‬אם יצא ”עץ“ ו ‪ Zt = Yt‬אם יצא פאלי‪,‬‬
‫כאשר הטלת המטבע היא בלתי תלויה בערכי } ‪{Xt‬ו־} ‪ .{Yt‬קבעו עבור כל מקרה מהבאים האם זו שרשרת‬
‫מרקוב‪ .‬אם כן‪ ,‬כתבו את מטריצת המעבר שלה בעזרת מטריצות המעבר ‪P, Q‬‬
‫)א( ]‪ 8‬נקודות[ הוכיחו או הפריכו‪ {Zt } :‬היא שרשרת מרקוב‬
‫פתרון‪ :‬זו אינה שרשרת מרקוב‪ .‬לדוגמה‪ ,‬נניח שעבור המצבים }‪ {1, 2‬נגדיר ‪ ,Y0 = 2‬וש־ ∼ ‪Yt‬‬
‫‪ Ber(1/2) + 1‬הם בלתי תלויים עבור ‪ .t > 0‬נניח שוקטור ההסתברויות ההתחלתי עבור } ‪ {Xt‬הוא‬
‫)‪ (1/2, 1/2‬ומטריצת המעבר של } ‪ {Xt‬היא‪:‬‬
‫‬ ‫‬
‫‪0 1‬‬
‫=‪,P‬‬ ‫)‪(4‬‬
‫‪1 0‬‬

‫אז מתקיים‪:‬‬
‫‪3‬‬
‫= )‪P (Z2 = 1|Z1 = 1, Z0 = 1) = P (Z2 = 1|Z1 = 1, X0 = 1) = P (Z2 = 1|Y1 = 1, X1 = 2‬‬
‫‪4‬‬
‫)‪P (Z2 = 1|Z1 = 1, Z0 = 2) = P (X0 = 1|Z1 = 1, Z0 = 2)P (Z2 = 1|Z1 = 1, X0 = 1‬‬
‫)‪+ P (X0 = 2|Z1 = 1, Z0 = 2)P (Z2 = 1|Z1 = 1, X0 = 2‬‬
‫‪1/32‬‬ ‫‪3‬‬ ‫‪9/32‬‬ ‫‪1‬‬ ‫‪3‬‬
‫=‬ ‫‪· +‬‬ ‫= ·‬ ‫‪.‬‬
‫‪1/32 + 9/32 4 1/32 + 9/32 4‬‬ ‫‪10‬‬

‫)ב( ]‪ 8‬נקודות[ הוכיחו או הפריכו‪ {(Xt , Zt )} :‬היא שרשרת מרקוב ‪:‬‬

‫פתרון‪ :‬גם זו אינה שרשרת מרקוב‪ ,‬לדוגמה‪ ,‬נניח ש־‪ Xt = 1‬לכל ‪ t‬ושמטריצת המעבר של ‪ Yt‬היא‪:‬‬
‫‬ ‫‬
‫‪1/2 1/2‬‬
‫)‪(5‬‬ ‫=‪,Q‬‬
‫‪0‬‬ ‫‪1‬‬

‫וכן שוקטור ההסתברויות ההתחלתי של ‪ Y0‬הוא )‪ (1/2, 1/2‬אז‬

‫‪1‬‬
‫= )‪P ((X2 , Z2 ) = (1, 1)|(X1 , Z1 ) = (1, 1), (X0 , Z0 ) = (1, 2)) = P (Z2 = 2|Y0 = 2‬‬ ‫‪.‬‬
‫‪2‬‬
‫)‪P ((X2 , Z2 ) = (1, 1)|(X1 , Z1 ) = (1, 1), (X0 , Z0 ) = (1, 1)) = P (Z2 = 2|Z1 = 1, Z0 = 1‬‬
‫‪1‬‬ ‫‪1‬‬
‫‪= P (Y2 = 2|Z1 = 1, Z0 = 1) < .‬‬
‫‪2‬‬ ‫‪2‬‬

‫הערה‪ :‬ניתן לשנות במעט את ההתפלגות של ‪ Xt‬להתפלגות לא מנוונת שעדיין תהיה דוגמא נגדית‪.‬‬
‫)ג( ]‪ 8‬נקודות[ הוכיחו או הפריכו‪ {(Xt , Yt )} :‬היא שרשרת מרקוב ‪:‬‬
‫פתרון‪ :‬זו כן שרשרת מרקוב כאשר את מרחב המצבים ניתן לסמן ב־}‪ {1, .., S} × {1, .., S‬וכל מצב הוא‬
‫מהצורה ) ‪ (i1 , i2‬כאשר ‪ .i1 , i2 = 1, 2, .., S‬בגלל אי התלות בין } ‪{Xt‬ו־} ‪ {Yt‬נקבל‪:‬‬

‫)) ‪P ((Xt+1 , Yt+1 ) = (it+1 , jt+1 )|(Xt , Yt ) = (it , jt ), (Xt−1 , Yt−1 ) = (it−1 , jt−1 ), ..., (X0 , Y0 ) = (i0 , j0‬‬
‫) ‪= P (Xt+1 = it+1 |Xt = it , Xt−1 = it−1 , ..., X0 = i0 )P (Yt+1 = jt+1 |Yt = jt , Yt−1 = jt−1 , ..., Y0 = j0‬‬
‫) ‪= P (Xt+1 = it+1 |Xt = it )P (Yt+1 = jt+1 |Yt = jt‬‬
‫)) ‪= P ((Xt+1 , Yt+1 ) = (it+1 , it+1 )|(Xt , Yt ) = (it , jt‬‬
‫‪= pit it+1 qjt jt+1‬‬

‫וקיבלנו נוסחה לאיבר הכללי של מטריצת המעבר באמצעות איברי ‪.P, Q‬‬

‫‪3‬‬
 ‫‪ .3‬נזכיר את עיקרי אלגוריתם ‪:M etropolis − Hastings‬‬
‫מתחילים ב־ ‪ x0‬כלשהו הנבחר מתוך ‪ S‬מצבים‪ ,‬כאשר בצעד ‪ t‬האלגוריתם נמצא בערך ‪.xt‬‬
‫עבור התפלגות הצעות )‪ Q(x, y‬מגרילים הצעה )· ‪ .y ∼ Q(x,‬מקבלים את ההצעה‪ ,‬כלומר ‪ xt+1 = y‬בהסתברות‬
‫)‪ A(xt , y‬ודוחים אותה‪ ,‬כלומר ‪ xt+1 = xt‬בהסתברות )‪ 1 − A(xt , y‬כאשר‪:‬‬
‫)‪π(y)Q(y, x‬‬
‫)‪(6‬‬ ‫‪A(x, y) = min(1,‬‬ ‫‪).‬‬
‫)‪π(x)Q(x, y‬‬

‫עבור התפלגות ‪ π‬על המצבים‪.‬‬

‫)א( ]‪ 6‬נקודות[ הוכיחו שהערכים הנדגמים ‪ x0 , x1 , .., xT‬מהווים שרשרת מרקוב וכתבו את מטריצת המעבר‬
‫שלה ‪ P‬במונחים של ‪.Q, π‬‬
‫פתרון‪ :‬על פי הגדרת האלגוריתם‪ ,‬בכל שלב ההתפלגות של המ״מ ‪ xt+1‬נקבעת ע״י הערך של ‪,xt‬‬
‫והתפלגות זו אינה תלויה בערכים קודמים של ‪ .x‬לכן זו שרשרת מרקוב‪ .‬מטריצת המעבר המתקבלת‬
‫היא זו‪:‬‬

‫‪P (x, y) = Q(x, y)A(x, y), ∀x ̸= y s.t. Q(x, y) > 0‬‬

‫‪P (x, y) = 0, ∀x ̸= y s.t. Q(x, y) = 0‬‬
‫‪X‬‬
‫‪P (x, x) = 1 −‬‬ ‫‪P (x, y).‬‬ ‫)‪(7‬‬
‫‪y̸=x‬‬

‫)ב( ]‪ 10‬נקודות[ הוכיחו שהמטריצה ‪ P‬המתקבלת היא ב־‪ ,detailed−balance‬עם ההתפלגות הסטציונרית‪.‬‬
‫כלומר‪ π(x)P (x, y) = π(y)P (y, x) :‬לכל ‪.x, y‬‬
‫פתרון‪ :‬כעת נוכיח שמתקיים ‪ :detailed−balance‬כאשר ‪ x = y‬או ‪ Q(x, y) = 0‬השויון = )‪π(x)Q(x, y‬‬
‫)‪ π(y)Q(y, x‬מתקיים באופן טריויאלי ‪ .‬עבור ‪:Q(x, y) > 0‬‬

‫)‪π(x)p(x, y) = π(x)Q(x, y)A(x, y‬‬

‫)‪π(y)Q(y, x‬‬
‫‪= π(x)Q(x, y)min(1,‬‬ ‫)‬
‫)‪π(x)Q(x, y‬‬
‫)‪π(x)Q(x, y‬‬
‫‪= π(y)Q(y, x)min(1,‬‬ ‫)‬
‫)‪π(y)Q(y, x‬‬
‫‪= π(y)Q(x, y)A(x, y) = π(y)Q(y, x),‬‬ ‫)‪(8‬‬

‫כאשר את השויון בשורה השלישית ניתן להראות בנפרד בשני המקרים‪π(y)Q(y, x) < π(x)Q(x, y) :‬‬
‫‪π(y)Q(y, x) ≥ π(x)Q(x, y) ,‬‬

‫‪ .4‬יהיה } ‪ {Xt‬תהליך סטוכסטי המקבל ערכים מתוך הקבוצה ‪ 1, 2, .., S‬עבור מספר מצבים סופי ‪ S ≥ 1‬ונניח‬
‫ש־} ‪ {Yt‬תהליך סטוכסטי המקיים ) ‪ Yt = f (Xt‬עבור פונקציה דטרמיניסטית }‪. f : {1, 2, .., S} → {1, 2, .., S‬‬
‫)א( ]‪ 9‬נקודות[ הוכיחו או הפריכו‪ :‬אם } ‪ {Xt‬שרשרת מרקוב אז גם } ‪ {Yt‬שרשרת מרקוב‬
‫פתרון‪ :‬הטענה אינה נכונה‪ .‬ניקח למשל } ‪ {Xt‬עם התפלגות התחלתית אחידה על המצבים ‪ 0, 1, 2‬ועם‬
‫‪‬‬ ‫‪‬‬ ‫מטריצת המעבר‪:‬‬
‫‪0 3/4 1/4‬‬
‫)‪(9‬‬ ‫‪P = 1/4 0 3/4‬‬
‫‪3/4 1/4 0‬‬
‫ונגדיר ‪ .f (x) = x mod 2‬אז מתקיים‪:‬‬

‫)‪P (Y2 = 1|Y1 = 0, Y0 = 1) = P (X2 = 1|Y1 = 0, X0 = 1‬‬

‫‪3 1 1 3‬‬ ‫‪3‬‬
‫‪= P (X2 = 1|X0 = 1) = · + · = .‬‬
‫‪4 4 4 4‬‬ ‫‪8‬‬
‫)‪P (Y2 = 1|Y1 = 0, Y0 = 0) = P (X1 = 0, X0 = 2|Y1 = 0, Y0 = 0)P (X2 = 1|X1 = 0, X0 = 2‬‬
‫)‪+ P (X1 = 2, X0 = 0|Y1 = 0, Y0 = 0)P (X2 = 1|X1 = 2, X0 = 0‬‬
‫‪3 3 1 1‬‬ ‫‪5‬‬
‫‪= · + · = .‬‬
‫‪4 4 4 4‬‬ ‫‪8‬‬

‫‪4‬‬
 ‫)ב( ]‪ 9‬נקודות[ הוכיחו או הפריכו‪ :‬אם } ‪ {Yt‬שרשרת מרקוב אז גם } ‪ {Xt‬שרשרת מרקוב‬
‫פתרון‪ :‬הטענה אינה נכונה‪ .‬ניקח למשל )‪ Zt , Yt = Ber(1/2‬ב״ת‪ ,‬ונגדיר ) ‪ .Xt = Yt + 2(Zt + Zt+1‬נשים‬
‫לב שמתקיים ) ‪ Yt = f (Xt‬כאשר ‪ f (x) = x mod 2‬וברור שה־ ‪ Yt‬הם שרשרת מרקוב כי הם בלתי תלויים‪.‬‬
‫אבל‪:‬‬

‫‪P (X3 = 5|X2 = 2, X1 = 2) = P (X3 = 5|Z3 = 1, Z2 = 0) = 0‬‬

‫‪1‬‬
‫= )‪P (X3 = 5|X2 = 2, X1 = 0) = P (X3 = 5|Z3 = 0, Z2 = 1) = P (Y3 = 1, Z4 = 1|Z3 = 0, Z2 = 1‬‬
‫‪4‬‬

‫‪5‬‬