‫محسن هوشمند‬

‫فرآیندهای تصادفی‬ ‫دانشکده تکنولوژی اطالعات و علم رایانه‬

‫زنجیرة مارکوف‬ ‫دانشگاه تحصیالت تکمیلی علوم پایه زنجان‬
 ‫مقدمه و شرح مسئله‬
‫وجود فرایندی دارای مقدار در هر بازة زمان‬
‫𝑛𝑋 نمایش مقدار آن در زمان ‪n‬‬
‫به دنبال ساخت مدل احتمالی از دنباله مقادیر متوالی … ‪𝑋0 ,𝑋۱ ,𝑋۲ ,‬‬
‫سادهترین مدل؟‬
‫‪-𝑋𝑛 ‬ها متغیرهای تصادفی مستقل از هم‬
‫‪ ‬معموال فرضی غیرموجه‬
‫‪ ‬مثال‪ 𝑋𝑛 -‬نمایش قیمت سهمی از اوراق بهادار شرکتی چون دیجیکاال در پایان روز ‪ n‬معامالت‬
‫‪ ‬آنگاه غیرمعقولی فرض استقالل قیمت در پایان روز تجاری ‪ n+1‬از قیمتهای روزهای ‪ n-1‬و ‪ n-2‬و ‪ ...‬و ‪0‬‬

‫در عوض‪،‬معقول بودن فرض وابستگی قیمت در پایان روز تجاری ‪ n+1‬به قیمتهای پایانی قبلی از ظریق قیمت‬
‫پایانی روز ‪n‬‬
‫بنابراین معقول بودن فرض وابستگی توزیع شرطی ‪ 𝑋𝑛+1‬با داشتن تمامی قیمتهای پایانی قبلی‬
‫𝑛𝑋‪ 𝑋0 ,𝑋۱ ,𝑋۲ , … ,‬وابسته به قیمت پایانی روز ‪n‬‬
‫‪ ‬فرض مذکور معرفی نوعی فرایند تصادفی با نام «زنجیره مارکوف»‬
‫از کجا آمده ام‪ ،‬آمدنم بهر چه بود!‬
‫مارکوف کیست؟!‬
‫زنجیرش را کجا بافت!!‬
‫پوشکین چکاره است؟‬
‫چه شد که اینطور شد؟‬
‫از کجا آمده ام‪ ،‬آمدنم بهر چه بود!‬
‫اندری اندرویچ مارکوف‬
‫‪ ۱۸۵۶ ‬تا ‪ ۱۹۲۲‬مسیحی‬
‫‪ ‬دانشجو در سن پترزبورگ‬
‫‪ ‬کار با چبیشف‬
‫‪ ‬کسب دکتری در سال ‪۱۸۸۴‬‬
‫استاد در دانشگاه پترزبورگ‬ ‫‪‬‬
‫آکادیمیسین آکادمی علوم‬ ‫‪‬‬
‫بازنشستگی در سن ‪ ۴۹‬سالگی ‪۱۹۰۵‬‬ ‫‪‬‬
‫انجام مشهورترین کارهایش پس از بازنشستگی‬ ‫‪‬‬
‫از کجا آمده ام‪ ،‬آمدنم بهر چه بود!‬
‫ادامة تحقیقات در امتداد کار چبیشف روی قاعدة اعداد بزرگ‬
‫مربط با مسئلههای کوزة (گلدان) برنولی‬
‫‪Bernoulli urn Prbs. ‬‬
‫‪ ‬عدم صفحه ویکیپدیای فارسی‬

‫مخالفت شدید با نکراسوف‬

 ‫قانون اعداد بزرگ‬
‫متغیر تصادفی ‪X‬‬
‫فرض امید آن برابر ]‪ E[X‬نزدیکتر شدن میانگین نتایج به امید ریاضی آن‬
‫اگر ‪ n‬مشاهده از این متغیر تصادفی بگیریم‬
‫𝑛𝑋 ‪𝑋۱ + ⋯ +‬‬
‫= 𝑛𝑋‬
‫𝑛‬
‫قانون اعداد بزرگ‬
‫]𝑋[𝐸 → 𝑛𝑋 ‪lim‬‬
‫∞→𝑛‬
‫مثال‪ X -‬تعداد شیرهای حاصل از ‪ ۱۰۰‬بار پرتاب سکة سالم‬
‫‪𝐸 𝑋 = ۰.۵ ∗ ۱۰۰ = ۵۰ ‬‬
‫𝑛𝑋‪۵۶+۶۷+۴۴+⋯+‬‬
‫= 𝑛𝑋‬ ‫‪‬‬
‫𝑛‬
‫‪lim 𝑋𝑛 → ۵۰ ‬‬
‫∞→𝑛‬

‫اشتباه قمارباز‬
 ‫نکراسوف و ارادة آزاد‬
‫اعمال داوطلبانه بدون ارتباطات علی انجام میشوند‬
‫‪ ‬همانند آزمایشهای مستقل در نظریة احتمال‬

‫قانون اعداد بزرگ یا قضیه حد مرکزی صرفا در پدیدههای مستقل مشاهده میشود‬
‫قانون اعداد بزرگ در آمار اجتماعی نیز مشاهده شده است‬
‫بنابراین افراد آزادانه و با ارادة آزاد عمل میکنند‪.‬‬
 ‫مخالفت مارکوف‬
‫هدف‬
‫‪ ‬استقالل برای قانون اعداد بزرگ الزم نیست‬

‫‪۱۹۰۶‬‬
‫‪ ‬یافتن اولین مدل خاص که قانون اعداد بزرگ برای متغیرهای وابسته و غیرمستقل نیز جاری و ساری است‬

‫‪۱۹۱۱ -۱۹۰۷‬‬
‫‪ ‬تعمیم مدل به انواع مختلفی و وسیعتری از نظامها‬

‫‪۱۹۱۳‬‬
‫‪ ‬اعمال مدل به تحلیل لغوی رمان «یوگینی آنگین»‬
‫‪ ‬نویسنده‪ :‬پوشکین‬
‫استقالل کمیتها جزو سازندة شرط الزم برای وجود قانون اعداد بزرگ نیست‬
‫‪ ‬جدید بود؟‬
‫‪ ‬نشانههای قبلی‬
‫‪ ‬مطالعات فرما و پاسکال دربارة پاکباختگی قمارباز‬
‫‪ ‬بعضی مدل کوزههای دانیال برنولی‬
‫‪ ‬فرایند شاخهزنی گالتون‪-‬واتسن‬
‫‪ ‬بدون جلب توجه فراوان‬
‫‪ ‬استقالل خوب جواب میداد و نیازی به بررسی وابستگی نبود‬
‫‪ ‬نبود رایانش ماشینی‬
‫‪ ‬مارکوف کاربردی نبود‬
 ‫پروژة «آنگین» مارکوف‬

‫اشارة پوشکین در کتاب یوگنی آنگین به سعدی‬

‫«بعضیها از این دنیا رفتهاند و بعضیها در مسافرت دور و دراز‬
‫هستند‪ ،‬چنانکه سعدی در زمان خود گفته بود‪».‬‬
‫منظور پوشکین اشعار زیر‬
‫شنیدم که جمشید فرخسرشت‬
‫به سرچشمهای بر‪ ،‬به سنگی نوشت‪:‬‬
‫«بر این چشمه چون ما بسی دم زدند‬
‫برفتند‪ ،‬چون چشم برهم زدند»‬

‫‪https://fa.wikipedia.org/wiki/%DB%8C%D9%88%DA%AF%D9%86%DB%8C_%D8%A2%D9%86%DA%AF%DB%8C%D9%86#/media/%D9%BE%D8%B1%D9‬‬
‫‪%88%D9%86%D8%AF%D9%87:Yevgeny_Onegin_by_Repin.jpg‬‬
 ‫پروژة «آنگین» مارکوف‬

‫جمعآوری بیستهزار نویسههای نسخة کتاب‬

‫حذف عالئم سجاوندی و فاصلهها‬
‫شمردن مصوتها و صامتها‬
‫شمارش جفتها «مص» و «صم» و «صص» و «مم»‬
‫محاسبة گشتاورهای ( میانگین و وردائی)‬

‫‪https://fa.wikipedia.org/wiki/%DB%8C%D9%88%DA%AF%D9%86%DB%8C_%D8%A2%D9%86%DA%AF%DB%8C%D9%86#/media/%D9%BE%D8%B1%D9‬‬
‫‪%88%D9%86%D8%AF%D9%87:Yevgeny_Onegin_by_Repin.jpg‬‬
 ‫پروژة «آنگین» مارکوف‬

‫جمعآوری بیستهزار نویسههای نسخة کتاب‬

‫حذف عالئم سجاوندی و فاصلهها‬
‫شمردن مصوتها و صامتها‬
‫شمارش جفتها «مص» و «صم» و «صص» و «مم»‬
‫محاسبة گشتاورهای ( میانگین و وردائی)‬

‫‪https://fa.wikipedia.org/wiki/%DB%8C%D9%88%DA%AF%D9%86%DB%8C_%D8%A2%D9%86%DA%AF%DB%8C%D9%86#/media/%D9%BE%D8%B1%D9‬‬
‫‪%88%D9%86%D8%AF%D9%87:Yevgeny_Onegin_by_Repin.jpg‬‬
 ‫نظریه اطالعات شانون‬
‫‪ ‬استفاده از زنجیره مارکوف در تعریف انتروپی زبان‬
‫‪۱۹۴۸ ‬‬

‫مونتی کارلو زنجیره مارکوف‬

‫‪MCMC ‬‬
‫البته عنوانش در مقاله متروپولیس نیامده‬
‫اولین بار در سال ‪۱۹۶۴‬‬
‫‪ ‬فصلی از کتاب‬

‫کلینراک‬
‫زنجیره مارکوف با زمان گسسته‬
‫زمان گسسته با اندیس … ‪𝑛 = 0,۱,۲,‬‬
‫𝑛𝑋 نمایشگر حالت در زمان ‪n‬‬
‫} … ‪ {𝑋𝑛 ,𝑛 = 0,۱,۲,‬فرایندی تصادفی‬
‫‪ ‬مقدارگیری 𝑛𝑋 از مجموعهای مقادیر متناهی یا شمارا‬

‫𝑖 = 𝑛𝑋‬
‫‪ ‬فرایند در حالت ‪ i‬در زمان ‪n‬‬
 ‫زنجیره مارکوف با زمان گسسته‬
‫زنجیره مارکوف (زم)‬
‫‪∀𝑛 ≥ 1, 𝑖, 𝑗, 𝑋𝑘 = 𝑖𝑘 , 𝑘 = 0, … , 𝑛 − 1‬‬
‫‪𝑃 𝑋𝑛+۱ = 𝑗 𝑋𝑛 = 𝑖, 𝑋𝑛−۱ = 𝑖𝑛−۱ , 𝑋𝑛−۲ = 𝑖𝑛−۲ , 𝑋𝑛−۳ = 𝑖𝑛−۳ , … , 𝑋0 = 𝑖0‬‬
‫‪= 𝑃 𝑋𝑛+۱ = 𝑗 𝑋𝑛 = 𝑖 = 𝑃𝑖𝑗𝑛,𝑛+1‬‬

‫آینده صرفا وابسته به حالت فعلی 𝑛𝑋‬

‫‪ ‬خاصیت مارکوفی‬
‫‪ ‬بدون حافظگی‬

‫آینده مستقل شرطی از گذشته‪« ،‬با داشتن حال»‬

‫‪𝑃𝑖𝑗𝑛,𝑛+1‬‬
‫‪ ‬به معنای احتمال انتقال فرایند از حالت ‪ i‬در زمان ‪ n‬به حالت 𝑗 در زمان ‪n+1‬‬
 ‫ویژگی ها و جزئیات‬
‫با داشتن 𝑛𝑋‪ ،‬تمامی زمانهای قبلی بیتاثیر بر ارزیابی آینده فرایند‬
‫بنابراین با مشاهدة خاصیت مارکوفی و هر ‪:𝑚 > 0‬‬
‫‪∀𝑛 ≥ 1, 𝑖, 𝑗, 𝑋𝑘 = 𝑖𝑘 , 𝑘 = 0, … , 𝑛 − 1‬‬
‫𝑚‪𝑃 𝑋𝑛+‬‬ ‫‪= 𝑗 𝑋𝑛 = 𝑖, 𝑋𝑛−۱ = 𝑖𝑛−۱ , 𝑋𝑛−۲ = 𝑖𝑛−۲ , 𝑋𝑛−۳ = 𝑖𝑛−۳ , … , 𝑋0 = 𝑖0‬‬
‫𝑖 = 𝑛𝑋 𝑗 = 𝑚‪= 𝑃 𝑋𝑛+‬‬
‫احتمال انتقال تک‪-‬مرحله (احتمال انتقال)‬
‫‪ ‬استقالل احتماالت تک‪-‬مرحله از متغیر زمان ‪n‬‬
‫‪𝑃𝑖𝑗𝑛,𝑛+1 = 𝑃𝑖𝑗 ‬‬
‫‪ ‬ثابت⟸ زم تغییرناپذیر با زمان (ایستا)‬

‫𝑗𝑖𝑃 = 𝑖 = ‪𝑃 𝑋𝑛+۱ = 𝑗 𝑋𝑛 = 𝑖 = 𝑃 𝑋۱ = 𝑗 𝑋0‬‬

‫‪ 𝑃𝑖𝑗 ‬احتمال‬
‫∞‪∀𝑖: σ+‬‬
‫‪ 𝑃𝑖𝑗 ≥ 0 ‬و ‪𝑗=0 𝑃𝑖𝑗 = 1‬‬
‫‪ ‬احتماالت شرطی برآورده کنندة اصلآغازههای کولمولگروف‬
 ‫نمایش ماتریسی زنجیره مارکوف‬
‫ماتریس احتمال انتقال 𝑃‬
‫‪ ‬جمع کردن 𝑗𝑖𝑃‬
‫‪𝑃00‬‬ ‫‪𝑃0۱‬‬ ‫‪𝑃 0۲‬‬ ‫𝑗‪… 𝑃0‬‬ ‫…‬
‫‪𝑃۱0‬‬ ‫‪𝑃۱۱‬‬ ‫‪𝑃۱۲‬‬ ‫𝑗‪… 𝑃۱‬‬ ‫…‬
‫⋮ =𝑃‬ ‫⋮‬ ‫⋮‬ ‫⋮‬ ‫⋮‬ ‫⋮‬
‫‪𝑃𝑖0‬‬ ‫‪𝑃 𝑖۱‬‬ ‫‪𝑃 𝑖۲‬‬ ‫𝑗𝑖𝑃 …‬ ‫…‬
‫⋮‬ ‫⋮‬ ‫⋮‬ ‫⋮‬ ‫⋮‬ ‫⋱‬
‫معموال تعداد حالتها متناهی‬
‫‪ ‬در غیر اینصورت ماتریس نیست‬

‫شرطها‬
‫∞‪σ+‬‬
‫‪ 𝑃𝑖𝑗 ≥ 0 ‬و ‪𝑗=0 𝑃𝑖𝑗 = 1‬‬
‫‪ ‬جمع سطری برابر یک‬
‫‪ ‬شرط اخیر‪ :‬در هر مرحله حتما انتقالی رخ خواهد داد‬
 ‫نمایش گرافی‬
‫‪𝑃𝑖−۱,𝑖−۱‬‬ ‫‪𝑃𝑖۱,𝑖۱‬‬ ‫‪𝑃𝑖+۱,𝑖+۱‬‬ ‫نمودار انتقال حالت‬

‫𝑖‪𝑃𝑖−۱,‬‬ ‫‪𝑃𝑖,𝑖+۱‬‬

‫‪𝑖−۱‬‬ ‫𝑖‬ ‫‪𝑖+۱‬‬

‫‪𝑃𝑖,𝑖−۱‬‬ ‫مناسب جهت حالتهای نامتناهی‬

‫𝑖‪𝑃𝑖+۱,‬‬
‫بدون پیکان هنگام ‪𝑃𝑖𝑗 = 0‬‬
‫جمع پیکانهای خروجی از هر حالت باید برابر یک‬
‫مثال‪ -‬پیش بینی وضع هوا‬
‫شانس باران فردا‬
‫‪ ‬صرفا وابسته شرایط جوی امروز‬
‫‪ ‬یا به دیگر سخن وابسته به بارش یا عدم بارش امروزِ باران‬
‫‪ ‬بدون وابستگی به دیروز و روزهای قبل‬
‫تعریف احتمال شرطی بارش‬
‫‪ 𝛼 ‬احتمال بارش فردا به شرط بارش امروز‬
‫‪ 𝛽 ‬احتمال بارش فردا به شرط عدم بارش امروز‬
‫تعریف حالتها‬
‫‪ :0 ‬فرایند در حالت ‪ 0‬در روز بارش‬
‫‪ :۱ ‬فرایند در حالت ‪ ۱‬در روز عدم بارش‬
‫ایجاد زنجیره مارکوف دو حالتی‬
‫احتمالهای انتقال‬
‫𝛼‬ ‫𝛼‪۱−‬‬
‫=‪P‬‬
‫𝛽‬ ‫𝛽‪۱−‬‬
 ‫مثال‪ -‬دستگاه مخابراتی‬
‫دستگاه مخابراتی ارسالکنندة بیت ‪ 0‬یا ‪۱‬‬
‫ارسال از طریق چندین کانال و محیط‬
‫احتمال تغییر بیت از ‪ 0‬به ‪ ۱‬و بالعکس‬
‫احتمال‬
‫‪ p ‬احتمال عدم تغییر بیت هنگام دریافت در گیرنده‬
‫𝑝‬ ‫𝑝‪۱−‬‬
‫=‪P‬‬ ‫‪ ‬فرض احتمال عدم تغییر بیت برای هر دوی ‪ ۱‬و ‪ 0‬یکسان‬
‫𝑝‪۱−‬‬ ‫𝑝‬
‫𝑛𝑋‬
‫‪ ‬ورود بیت به کانال ‪-n‬اُم‬
‫‪{𝑋𝑛 ,𝑛 = 0,۱,۲, … } ‬‬

‫حالتها‪ :‬دو حالت یا زنجیره مارکوف دوحالتی‬

 ‫مثال‪ -‬شاد و معمولی و غمگین‬
‫حال و احوال‬
‫احتمال‬
‫‪ ‬اگر امروز شاد آنگاه احتمال شادی و معمولی و غمگینی فردا به ترتیب ‪ ۰.۵‬و ‪ ۰.۴‬و ‪۰.۱‬‬
‫‪ ‬اگر امروز معمولی آنگاه احتمال شادی و معمولی و غمگینی فردا به ترتیب ‪ ۰.۳‬و ‪ ۰.۴‬و ‪۰.۳‬‬
‫‪ ‬اگر امروز غمگین آنگاه احتمال شادی و معمولی و غمگینی فردا به ترتیب ‪ ۰.۲‬و ‪ ۰.۳‬و ‪۰.۵‬‬

‫𝑛𝑋‬
‫‪ ‬نمایشگر حال و احوال مش سکینه‬
‫‪{𝑋𝑛 ,𝑛 ≥ 0} ‬‬
‫حالتها‬
‫‪۰. ۵‬‬ ‫‪۰. ۴‬‬ ‫‪۰. ۱‬‬
‫‪P = ۰. ۳‬‬ ‫‪ ‬سه حالت یا زنجیره مارکوف سه حالتی‬
‫‪۰. ۴‬‬ ‫‪۰. ۳‬‬
‫‪۰. ۲‬‬ ‫‪۰. ۳‬‬ ‫‪۰. ۵‬‬ ‫‪ ‬شاد یا حالت ‪ 0‬و معمولی یا حالت ‪ ۱‬و غمگین یا حالت ‪۲‬‬
‫ماتریس انتقال حالت‬
 ‫مثال‪ -‬تبدیل فرایندی به زنجیره مارکوفی‬
‫عدم بارش امروز وابسته به دو روز قبل‬
‫اگر دو روز قبل دارای بارش باران‪ ،‬بارش باران در فردا با احتمال ‪۰.۷‬‬ ‫‪‬‬
‫اگر امروز بارانی و دیروز بدون بارش‪ ،‬بارش باران فردا با احتمال ‪۰.۵‬‬ ‫‪‬‬
‫اگر امروز بدون باران و دیروز بارش‪ ،‬بارش باران فردا با احتمال ‪۰.۴‬‬ ‫‪‬‬
‫اگر دو روز بدون بارش‪ ،‬بارش باران فردا با احتمال ‪۰.۲‬‬ ‫‪‬‬

‫زنجیره مارکوف؟‬
‫‪ ‬امکان تبدیل به زنجیره مارکوف‬
‫‪ ‬مشخص شدن وضعیت جوی در هر زمان با آبوهوا دیروز و امروز‬
‫‪ ‬یا به دیگر سخن‪ -‬تعریف حالتها‬
‫‪۰. ۷‬‬ ‫‪0‬‬ ‫‪۰. ۳‬‬ ‫‪0‬‬
‫حالت ‪ 0‬بارش باران امروز و دیروز‬ ‫‪‬‬
‫‪P = ۰. ۵‬‬ ‫‪۰. ۵‬‬
‫‪0‬‬ ‫‪0‬‬ ‫حالت ‪ ۱‬عدم بارش باران امروز و بارش باران دیروز‬ ‫‪‬‬
‫‪0 ۰. ۴‬‬ ‫‪0‬‬ ‫‪۰. ۶‬‬ ‫حالت ‪ ۲‬بارش باران امروز و عدم باران دیروز‬ ‫‪‬‬
‫‪0 ۰. ۲‬‬ ‫‪0‬‬ ‫‪۰. ۸‬‬ ‫حالت ‪ ۳‬عدم بارش باران امروز و دیروز‬ ‫‪‬‬

‫جدول انتقال حالت زنجیره مارکوف چهار حالتی‬

‫‪ ‬نیاز به بررسی دقیق ماتریس‬
 ‫مثال‪ -‬شاد و غمگین‬
‫شاد ‪ X=0‬و غمگین ‪X=1‬‬
‫‪ ‬حال و هوای فردای فرد صرفا از حال و هوای امروز تاثیر میپذیرد‪.‬‬

‫‪ ‬حالت فردا محتمال شبیه حالت امروز‬

‫‪ ‬ولی غمگین احتمال کمتر برای فردا‬

‫‪۰. ۸‬‬ ‫‪۰. ۲‬‬

‫=‪P‬‬
‫‪۰. ۳‬‬ ‫‪۰. ۷‬‬
 ‫مثال‪ -‬حافظه‬
‫حال فردای فرد تحت تاثیر حال امروز و یروز‬
‫‪ ‬صرفا زنجیره مارکوف نیست‬
‫؟‬
‫دو حال قبلی تشکیل دهندة چهار حالت‬
‫شش‬ ‫‪‬‬
‫شغ‬ ‫‪‬‬
‫‪۰. ۸‬‬ ‫‪۰. ۲ 0‬‬ ‫‪0‬‬ ‫غش‬ ‫‪‬‬
‫‪0 ۰. ۳ ۰. ۷‬‬ ‫‪‬‬
‫‪P= 0‬‬
‫غغ‬
‫‪۰. ۸‬‬ ‫‪۰. ۲ 0‬‬ ‫‪0‬‬
‫‪0‬‬ ‫‪0 ۰. ۳‬‬ ‫‪۰. ۷‬‬ ‫حالتهای بعدی‬
‫‪ ‬شش و شغ تبدیل به شش یا شش غش‬
‫‪ ‬غش و غغ تبدیل به غغ یا شغ‬

‫امکان افزودن حافظه با حالت افزوده‬

 ‫مثال‪ -‬حق بیمه ساالنة خودرو‬
‫‪https://www.ilna.news/%D8%A8%D8%AE%D8%B4-%D9%81%D8%A7%D8%B1%D8%B3-‬‬
‫‪97/1033029-%D8%AC%D8%A7%DB%8C-%D8%AE%D8%A7%D9%84%DB%8C-‬‬
‫‪%D8%A8%DB%8C%D9%85%D9%87-%D9%87%D8%A7%DB%8C-‬‬
‫‪%D8%B2%D9%86%D8%AF%DA%AF%DB%8C-%D8%AF%D8%B1-%D8%B3%D8%A8%D8%AF-‬‬
‫‪%D8%AE%D8%A7%D9%86%D9%88%D8%A7%D8%B1%D9%87%D8%A7‬‬ ‫هر بیمهشده دارای‬
‫‪ ‬حالت عدد طبیعی‬
‫‪ ‬باالتر‪،‬پرداخت کمتر‬
‫‪ ‬حق بیمه سالیانه به عنوان تابعی از این حالت‬
‫‪ ‬به عالوه نوع خودرو و سطح بیمه‬

‫تغییر حالت بیمهشده در هر سال با ادعای بیمهشده‬

‫‪ ‬بدون ادعا کاهش عدد حالت در سال بعد‬
‫‪ ‬حداقل یک ادعا افزایش در سال بعد‬
‫ادعای کمتر‪ ،‬بهتر‬
‫‪ ‬منجر به کاهش حق بیمه‬
‫‪ ‬ادعای بیشتر‪ ،‬پرداخت مبلغ بیشتر‬
‫‪https://en.wikipedia.org/wiki/Insurance‬‬
‫در نظام پاداش‪-‬جریمه ‪Bonus Malus‬‬
‫‪ ‬ویکیپدیا ندارد‬
 ‫مثال‪ -‬حق بیمه ساالنة خودرو‬
‫)𝑘( 𝑖𝑠‬
‫‪ ‬حالت بعدی بیمهشدهای که در سال پیش‬
‫‪ ‬در حالت ‪i‬‬
‫‪ ‬جمع ‪ k‬ادعا در آن سال‬

‫فرض‬
‫‪ ‬تعداد ادعاهای بیمه شده متغیر تصادفی پواسن با پارامتر 𝜆‬
‫‪ ‬آنگاه تشکیل زنجیره مارکوفی از حالتهای متوالی بیمهشده با احتمال انتقال‬
‫𝑘‬
‫𝜆‬
‫= 𝑗𝑖𝑃‬ ‫‪෍‬‬ ‫‪𝑒 −𝜆 , 𝑗 ≥ 0‬‬
‫!𝑘‬
‫‪𝑘:𝑠𝑖 (𝑘)=j‬‬
‫‪ ‬معموال دارای حالتهای فراوان‬
‫‪ ‬جدول صفحه بعد نظام پاداش‪-‬جریمه با چهار حالت‬
 ‫مثال‪ -‬حق بیمه ساالنة خودرو‬
‫حالت بعدی‬
‫مبلغ پرداخت بیمه‬ ‫حالت‬
‫‪≥۳‬‬ ‫دو ادعا‬ ‫یک ادعا‬ ‫بدون ادعا‬
‫‪۴‬‬ ‫‪۳‬‬ ‫‪۲‬‬ ‫‪۱‬‬ ‫‪۲۰۰‬‬ ‫‪۱‬‬
‫‪۴‬‬ ‫‪۴‬‬ ‫‪۳‬‬ ‫‪۱‬‬ ‫‪۲۵۰‬‬ ‫‪۲‬‬
‫‪۴‬‬ ‫‪۴‬‬ ‫‪۴‬‬ ‫‪۲‬‬ ‫‪۴۰‬‬ ‫‪۳‬‬
‫‪۴‬‬ ‫‪۴‬‬ ‫‪۴‬‬ ‫‪۳‬‬ ‫‪۶۰۰‬‬ ‫‪۴‬‬
‫‪𝑠۲ 0 = ۱‬‬
‫فرض بیمهشدهای دارای توزیع تصادفی در درخواستهای ساالنه با پارامتر𝜆‬
‫‪ 𝑎𝑘 ‬احتمال ‪ k‬ادعا در طول یک سال‬
‫𝑘‬
‫𝜆‬
‫‪𝑎𝑘 = 𝑒 −𝜆 , 𝑗 ≥ 0‬‬
‫!𝑘‬
‫‪𝑎0‬‬ ‫‪𝑎۱‬‬ ‫‪𝑎۲‬‬ ‫‪۱ − 𝑎0 − 𝑎۱ − 𝑎۲‬‬ ‫‪ ‬ماتریس انتقال احتمال‬
‫𝑎‬ ‫‪0‬‬ ‫‪𝑎۱‬‬ ‫‪۱ − 𝑎0 − 𝑎۱‬‬
‫‪P= 0‬‬
‫‪0‬‬ ‫‪𝑎0‬‬ ‫‪0‬‬ ‫‪۱ − 𝑎0‬‬
‫‪0‬‬ ‫‪0‬‬ ‫‪𝑎0‬‬ ‫‪۱ − 𝑎0‬‬
‫مثال‪ -‬افتان و خیزان می روی‬
‫قدم به راست با احتمال ‪0 < 𝑝 < ۱‬‬
‫قدم به چپ با احتمال 𝑝 ‪۱ −‬‬
‫‪ ‬راه مستقیم نمیتواند‬

‫حالتها‬
‫‪0, ± ۱, ± ۲, … ‬‬
‫‪ ‬تعداد نامتناهی از حالتها‬
‫‪ ‬احتمالهای انتقال‬
‫‪𝑃𝑖,𝑖+۱ = 𝑝 ‬‬
‫‪𝑃𝑖,𝑖−۱ = ۱ − 𝑝 ‬‬
‫‪𝑃𝑖,𝑖+۱ = 𝑝 = ۱ − 𝑃𝑖,𝑖−۱ ‬‬
‫‪𝑃𝑖,𝑗 = 0 ‬‬
‫‪ ‬گام تصادفی (ولگشت)‬
 ‫ولگشت متناهی! شرط بندی‬
‫با شرط توقف حرکت با رسیدن به حالتهای 𝐼 = 𝑛𝑋 یا ‪𝑋𝑛 = 0‬‬ ‫‪‬‬
‫‪ 𝑋𝑛 = 0‬پاکباخته ‪-‬وقتی جیبش خالی میشود‬ ‫‪‬‬
‫𝐼 = 𝑛𝑋 کل مبلغ را به چنگ میآورد‬ ‫‪‬‬
‫حالتها تعدادی متناهی 𝐼‪0,۱, … ,‬‬ ‫‪‬‬
‫احتماالت انتقال‬ ‫‪‬‬
‫‪𝑃𝑖,𝑖+۱ = 𝑝 ‬‬
‫‪𝑃𝑖,𝑖−۱ = ۱ − 𝑝 ‬‬
‫‪𝑃𝐼𝐼 = ۱ ‬‬
‫‪𝑃00 = ۱ ‬‬
‫‪ 𝑃𝑖,𝑗 = 0 ‬بقیه انتقالها‬
‫‪ ‬حالتهای 𝐼 و ‪ :0‬حالت مانا (جذبکننده‪ ،‬جاذب‪ ،‬گیرا‪،‬گیرنده‪،‬تله‪،‬پایانی؟) ماندن همیشگی در آن به محض رسیدن به این حالت‬
‫‪ ‬حالت گذرا‪ :‬احتمال ناصفر جهت بازنگشتن به این حالت‪.‬‬
‫‪ ‬یا تعداد برگشتهای به این حالت نامتناهی نیست‪.‬‬
‫‪ ‬در مقابل‪ :‬حالت بازگشتی یا پایا‪ :‬تعداد برگشت نامتناهی به این حالت‬
 ‫ول گشت دوبعدی‬
‫قدمی تصادفی در جهتهای شمال‪ ،‬جنوب‪ ،‬شرق‪ ،‬غرب‬
‫‪ ‬انتخاب جهت با احتمال برابر‬
‫‪ ‬امکان اظهار حالتها با دو تصادفی ) 𝑛𝑌‪(𝑋𝑛 ,‬‬
‫‪ ‬برد هر یک‬
‫‪𝑋𝑛 = 0, ± ۱, ± ۲, … ‬‬
‫‪𝑌𝑛 = 0, ± ۱, ± ۲, … ‬‬
‫احتمالهای انتقال‪،‬صرفا غیر صفر برای نقاط همسایه‬ ‫‪‬‬
‫‪۱‬‬
‫شمال ‪P 𝑋𝑛+۱ = 𝑖,𝑌𝑛+۱ = 𝑗 + ۱ = 𝑋𝑛 = 𝑖,𝑌𝑛 = 𝑗 = ۴‬‬ ‫‪‬‬
‫‪۱‬‬
‫جنوب ‪P 𝑋𝑛+۱ = 𝑖,𝑌𝑛+۱ = 𝑗 − ۱ = 𝑋𝑛 = 𝑖,𝑌𝑛 = 𝑗 = ۴‬‬ ‫‪‬‬
‫‪۱‬‬
‫غرب ‪P 𝑋𝑛+۱ = 𝑖 − ۱,𝑌𝑛+۱ = 𝑗 = 𝑋𝑛 = 𝑖,𝑌𝑛 = 𝑗 = ۴‬‬ ‫‪‬‬
‫‪۱‬‬
‫شرق ‪P 𝑋𝑛+۱ = 𝑖 + ۱,𝑌𝑛+۱ = 𝑗 = 𝑋𝑛 = 𝑖,𝑌𝑛 = 𝑗 = ۴‬‬ ‫‪‬‬
 ‫ول گشت‬
‫پرسش‬
‫‪ ‬امکان بازگشت به مبدأ و نقطة آغاز؟‬

‫هماحتمال‬
‫‪ ‬یک و دوبعدی‬
‫‪ ‬برگشت به مبدأ به طور حتم‬
‫‪ ‬با احتمال یک به مبدا برمیگردند‬
‫‪ ‬بعد بیشتر از دو‬
‫‪ ‬برگشت به مبدا با احتمال کمتر از یک‬
‫‪ ‬در سه بعدی احتمال برگشت به مبدا ‪۰.۳۴‬‬
‫‪ ۰.۱۹ ‬و ‪ ۰.۱۴‬و ‪ ۰.۱‬و ‪۰.۰۸‬‬
‫‪ ‬بیشتر سپستر‬
 ‫ول گشت‬
‫فضای ‪ d‬بعدی‬
‫𝑖𝒆 بردار یکة ‪ d‬بعدی با مقدار یک در محور ‪ i‬و صفر در بقیة جاها و 𝑑‪𝑖 ∈ 1, … ,‬‬
‫فرض توزیع شدگی یکسان و مستقل از هم … ‪𝑿۱ ,𝑿۲ ,𝑿۳ ,‬‬
‫ولگشت ساده‬
‫𝑛‬

‫𝑗𝑿 ‪𝑆𝑛 = 𝒙 + ෍‬‬

‫‪𝑗=1‬‬
‫𝒙 نمایشگر محل در زمان شروع یا ‪j = 0‬‬
‫‪ ‬معموال برابر بردار صفر‬
‫𝑗𝑿 نمایشگر حرکت از زمان 𝑗 به ‪𝑗 + 1‬‬
‫ولگشت متقارن‬
‫‪۱‬‬
‫𝑖𝒆‪P 𝑿𝑗 = 𝒆𝑖 = 𝑃 𝑿𝑗 = −‬‬ ‫=‬ ‫𝑑 ‪, 𝑖 = ۱, ۲, … ,‬‬
‫𝑑‪۲‬‬
 ‫ول گشت‬
‫𝟎 = 𝒙 = 𝑛𝑆‬
‫پرسش‪ :‬ولگشت نوعی زنجیره مارکوفی است؟‬
‫‪𝑆𝑛 = 𝑆𝑛−۱ + 𝑋𝑛 ,𝑛 ≥ 1 ‬؟‬
‫‪ ‬بله‬
‫‪ 𝑋𝑛 ‬مستقل از 𝑛𝑆‬

‫𝒔 = ‪P 𝑆𝑛 = 𝑗|𝑆𝑛−۱ = 𝑖, 𝑺𝒏−۲ = 𝒔 = 𝑃 𝑆𝑛−۱ + 𝑋𝑛 = 𝑗|𝑆𝑛−۱ = 𝑖, 𝑺𝒏−۲‬‬

‫𝑗𝑖𝑃 = 𝑖 ‪= 𝑃 𝑋𝑛 = 𝑗 −‬‬
‫قاعدة جانشینی‬
 ‫ول گشت‬
‫قضیه‬
‫‪ 𝑌ℕ = 𝑌۱ ,𝑌۲ , … ,𝑌𝑛 , … ‬توزیع یکسان و مستقل از هم‬
‫‪ ‬همگی مستقل از ‪𝑋0‬‬
‫‪ ‬همچنین … ‪ 𝑋ℕ = 𝑋۱ ,𝑋۲ , … ,𝑋𝑛 ,‬به صورت ) 𝑗𝑌‪𝑋𝑗 = 𝑓(𝑋𝑗−۱ ,‬‬
‫‪ ‬آنگاه ‪ 𝑋ℕ‬زنجیره مارکوفی است با احتماالت انتقالی‪:‬‬
‫)𝑗 = ) 𝑗𝑌 ‪𝑃𝑖𝑗 = 𝑃(𝑓(𝑖,‬‬
 ‫فرایند مارکوفی‬
‫‪𝑃 𝑋0 = 𝑖0 = 𝑃𝑖0‬‬
‫امکان تعریف کامل فرایند مارکوفی‬
‫) 𝑛𝑖 = 𝑛𝑋 ‪𝑃(𝑋0 = 𝑖0 , 𝑋۱ = 𝑖۱ , 𝑋۲ = 𝑖۲ , 𝑋۳ = 𝑖۳ , … ,‬‬
‫‪ ‬ماتریس احتمال انتقال‬
‫‪ ‬و حالت آغازین ‪𝑋0‬‬
‫𝑛𝑖 = 𝑛𝑋 ‪𝑃 𝑋0 = 𝑖0 , 𝑋۱ = 𝑖۱ , 𝑋۲ = 𝑖۲ , 𝑋۳ = 𝑖۳ , … ,‬‬ ‫‪ ‬یا توزیع احتمالی ‪𝑋0‬‬
‫‪= 𝑃 𝑋0 = 𝑖0 , 𝑋۱ = 𝑖۱ , 𝑋۲ = 𝑖۲ , 𝑋۳ = 𝑖۳ , … , 𝑋𝑛−۱ = 𝑖𝑛−۱‬‬ ‫‪ ‬استفاده از قاعدة حاصلضرب‬
‫‪× 𝑃 𝑋𝑛 = 𝑖𝑛 |𝑋0 = 𝑖0 , 𝑋۱ = 𝑖۱ , 𝑋۲ = 𝑖۲ , 𝑋۳ = 𝑖۳ , … , 𝑋𝑛−۱ = 𝑖𝑛−۱‬‬
‫‪= 𝑃 𝑋0 = 𝑖0 , 𝑋۱ = 𝑖۱ , 𝑋۲ = 𝑖۲ , 𝑋۳ = 𝑖۳ , … , 𝑋𝑛−۱ = 𝑖𝑛−۱ × 𝑃 𝑋𝑛 = 𝑖𝑛 |𝑋𝑛−۱ = 𝑖𝑛−۱‬‬
‫𝑖𝑃 × ‪= 𝑃 𝑋0 = 𝑖0 , 𝑋۱ = 𝑖۱ , 𝑋۲ = 𝑖۲ , 𝑋۳ = 𝑖۳ , … , 𝑋𝑛−۱ = 𝑖𝑛−۱‬‬
‫𝑛‪𝑛−۱,‬‬
‫=‬
‫⋮‬
‫𝑖𝑃 × ‪= 𝑃𝑖0‬‬ ‫𝑖𝑃 × ⋯ ×‬ ‫𝑖𝑃 ×‬
‫‪0,‬‬ ‫‪۱‬‬ ‫‪۲ ۱‬‬
‫‪𝑛− ,𝑛−‬‬ ‫‪۱‬‬
‫𝑛‪𝑛− ,‬‬

‫𝑛𝑖 = 𝑛𝑋 ‪𝑃 𝑋𝑛+۱ = 𝑗1 , … , 𝑋𝑛+𝑚 = 𝑗𝑚 |𝑋0 = 𝑖0 , 𝑋۱ = 𝑖۱ , 𝑋۲ = 𝑖۲ , 𝑋۳ = 𝑖۳ , … ,‬‬

‫𝑛𝑖 = 𝑛𝑋| 𝑚𝑗 = 𝑚‪= 𝑃 𝑋𝑛+۱ = 𝑗1 , … , 𝑋𝑛+‬‬
‫ماتریس های احتمال انتقالِ چندگامه‬
‫تعریف با ماتریس انتقال و توزیع احتمال در لحظة آغاز‬
‫هنگام چند انتقال چه؟‬
‫)𝑖 = 𝑚𝑋|𝑗 = ‪𝑃𝑖𝑗۲ = 𝑃(𝑋𝑚+۲‬‬
‫‪ ‬آیا برابر با 𝑗𝑖𝑃 𝑗𝑖𝑃 = ‪𝑃𝑖𝑗۲‬؟‬
‫‪ ‬خیر 𝑗𝑖𝑃 𝑗𝑖𝑃 ≠ ‪𝑃𝑖𝑗۲‬‬
‫)𝑛(‬
‫احتماالت انتقال ‪-n‬گامی 𝑗𝑖𝑃‬
‫‪ ‬احتمال 𝑛‪ 𝑋𝑚+‬با داشتن 𝑚𝑋‬
‫)𝑛(‬
‫𝑗𝑖𝑃‬ ‫)𝑖 = 𝑚𝑋|𝑗 = 𝑛‪= 𝑃(𝑋𝑚+‬‬
‫)𝑛(‬
‫‪ ‬خاصیت مارکوفی موجب امکان بیان 𝑗𝑖𝑃 با 𝑗𝑖𝑃‬
‫‪ ‬یا نوشتن 𝑛‪ 𝑃𝑖𝑗𝑚+‬بر اساس 𝑚𝑗𝑖𝑃 و 𝑛𝑗𝑖𝑃‬
‫‪ ‬معادالت چپمن‪-‬کولمولگروف‬
 ‫احتمال انتقالِ دو‪-‬گامی‬
‫احتمال انتقال در دو گام‬
‫)𝑖 = 𝑚𝑋|𝑗 = ‪𝑃𝑖𝑗۲ = 𝑃(𝑋𝑚+۲‬‬

‫استفاده از قانون احتمال کل‬

‫∞‬

‫)𝑖 = 𝑚𝑋|𝑘 = ‪𝑃𝑖𝑗۲ = ෍ 𝑃(𝑋𝑚+۲ = 𝑗, 𝑋𝑚+۱‬‬

‫‪𝑘=0‬‬
‫∞‬

‫)𝑖 = 𝑚𝑋|𝑘 = ‪𝑃𝑖𝑗۲ = ෍ 𝑃(𝑋𝑚+۲ = 𝑗|𝑋𝑚+۱ = 𝑘, 𝑋𝑚 = 𝑖) P(𝑋𝑚+۱‬‬

‫‪𝑘=0‬‬
‫∞‬

‫)𝑖 = 𝑚𝑋|𝑘 = ‪⟹ 𝑃𝑖𝑗۲ = ෍ 𝑃(𝑋𝑚+۲ = 𝑗|𝑋𝑚+۱ = 𝑘) P(𝑋𝑚+۱‬‬

‫‪𝑘=0‬‬

‫∞‬

‫𝑘𝑖𝑃 𝑗𝑘𝑃 ‪⟹ 𝑃𝑖𝑗۲ = ෍‬‬

‫‪𝑘=0‬‬
 ‫احتمال انتقال چندگامی‬
‫‪ ‬استفاده از فرض تغییرناپذیری با زمان و شروع شرط از ‪𝑋0‬‬
‫𝑛‪𝑃𝑖𝑗𝑚+𝑛 = 𝑃(𝑋𝑚+‬‬ ‫)𝑖 = ‪= 𝑗|𝑋0‬‬
‫‪ ‬استفاده از قانون احتمال کل⟸‬
‫∞‬

‫)𝑖 = ‪= ෍ 𝑃(𝑋𝑚+𝑛 = 𝑗, 𝑋𝑚 = 𝑘|𝑋0‬‬

‫‪𝑘=0‬‬
‫‪ ‬استفاده از احتمال شرطی⟸‬
‫∞‬

‫)𝑖 = ‪= ෍ 𝑃(𝑋𝑚+𝑛 = 𝑗|𝑋𝑚 = 𝑘, 𝑋0 = 𝑖) P(𝑋𝑚 = 𝑘|𝑋0‬‬

‫‪𝑘=0‬‬
‫‪ 𝑋𝑚 ‬زنجیره مارکوفی‪ ،‬پس بالموضوع شدن 𝑖 = ‪ 𝑋0‬در احتمال شرطی نخست⟸‬
‫∞‬

‫𝑖 = ‪⟹ 𝑃𝑖𝑗𝑚+𝑛 = ෍ 𝑃 𝑋𝑚+𝑛 = 𝑗 𝑋𝑚 = 𝑘 P(𝑋𝑚 = 𝑘 𝑋0‬‬

‫‪𝑘=0‬‬
‫∞‬

‫𝑗𝑘𝑃 ‪⟹ 𝑃𝑖𝑗𝑚+𝑛 = ෍‬‬

‫𝑚 𝑛‬
‫‪𝑃𝑖𝑘 , ∀𝑖, 𝑗; 𝑛, 𝑚 ≥ 0‬‬
‫‪𝑘=0‬‬
 ‫شهود‬
‫∞‬

‫𝑗𝑘𝑃 ‪𝑃𝑖𝑗𝑚+𝑛 = ෍‬‬

‫𝑚 𝑛‬
‫‪𝑃𝑖𝑘 , ∀𝑖, 𝑗; 𝑛, 𝑚 ≥ 0‬‬
‫‪𝑘=0‬‬
‫شهودی بودن معادالت چپمن‪-‬کولمولگروف‬
‫رخ دادن زمان ‪ m‬بین زمان ‪ 0‬و 𝑛 ‪𝑚 +‬‬
‫در زمان ‪ m‬زنجیره مارکوف در حالتی 𝑘 = 𝑚𝑋‬
‫𝑚‬
‫𝑘𝑖𝑃 احتمال انتقال از 𝑖 = ‪ 𝑋0‬به 𝑘 = 𝑚𝑋‬ ‫‪‬‬
‫𝑛‬
‫𝑗𝑘𝑃 احتمال انتقال از 𝑘 = 𝑚𝑋 به 𝑗 = 𝑛‪𝑋𝑚+‬‬ ‫‪‬‬
‫𝑚 𝑛‬
‫𝑗𝑘𝑃 احتمال انتقال از𝑖 = ‪𝑋0‬به 𝑗 = 𝑛‪ 𝑋𝑚+‬با گذر از 𝑘 = 𝑚𝑋 در زمان ‪m‬‬ ‫‪𝑃𝑖𝑘 ‬‬

‫‪ k‬هر حالتی میتواند باشد‬

‫‪ ‬پس کافی است روی تمامی مقادیر حالت ‪ k‬جمع شود‬
‫نمایش ماتریسی معادالت چپمن‪-‬کولمولگروف‬

‫)𝑚(𝑃 ماتریس با درایههای 𝑚𝑗𝑖𝑃‬

‫)𝑛(𝑃 ماتریس با درایههای 𝑛𝑗𝑖𝑃‬
‫)𝑛‪ 𝑃(𝑚+‬ماتریس با درایههای 𝑛‪𝑃𝑖𝑗𝑚+‬‬
‫∞‪σ‬‬ ‫𝑚 𝑛‬ ‫‪ ‬درایة )𝑗‪ (𝑖,‬ضرب ماتریسی )𝑛( 𝑃 )𝑚(‬
‫𝑃 برابر با 𝑘𝑖𝑃 𝑗𝑘𝑃 ‪𝑘=0‬‬

‫صورت ماتریسی معادالت چپمن‪-‬کولمولگروف‬

‫)𝑛(𝑃 )𝑚(𝑃 = )𝑛‪𝑃(𝑚+‬‬

‫سخن کوتاه ماتریس انتقال گام 𝑛 ‪ 𝑚 +‬حاصلِ ضربِ ‪-m‬گام و ‪-n‬گام است‪.‬‬
‫محاسبة احتماالت انتقال چندگامی‬
‫‪ 𝑚 = 𝑛 = ۱‬یا احتمال انتقال دو گامی‬
‫‪𝑃(۲) = 𝑃𝑃 = 𝑃۲‬‬
‫پسروی بازگشتی از ‪n‬‬
‫𝑛𝑃 = ⋯ = 𝑃𝑃 )‪𝑃(𝑛) = 𝑃(𝑛−۱) 𝑃 = 𝑃(𝑛−۲‬‬
‫قضیه‬
‫‪ ‬ماتریس انتقال احتماالت ‪-n‬گامی از توان ‪-n‬اُم ماتریس انتقال حالت بدست میآید یا 𝑛𝑃 = )𝑛(𝑃‪.‬‬
 ‫ویژگی خاص‬
‫∞‬
‫)𝑛(‬ ‫)‪(𝑛−۱‬‬
‫𝑗𝑖𝑃‬ ‫𝑘𝑖𝑃 𝑗𝑘𝑃 ‪= ෍‬‬
‫‪𝑘=0‬‬

‫)‪(0‬‬ ‫𝑗 = 𝑖 ‪۱,‬‬
‫𝑗𝑖𝑃‬ ‫‪=? = ቊ‬‬
‫𝑗 ≠ 𝑖 ‪0,‬‬
 ‫مثال‪ -‬پیش بینی وضع هوا‬
‫شانس باران فردا‬
‫‪ ‬صرفا وابسته به شرایط جوی امروز‬

‫احتمال «بارش باران در چهار روز آینده» در صورت بارانی بودن امروز‬
‫‪ 𝛼 = ۰.۷ ‬احتمال بارش فردا به شرط بارش امروز‬
‫‪ 𝛽 = ۰.۴ ‬احتمال بارش فردا به شرط عدم بارش امروز‬
 ‫مثال‪ -‬پیش بینی وضع هوا‬
‫شانس باران فردا‬
‫‪ ‬صرفا وابسته به شرایط جوی امروز‬
‫𝛼‬ ‫𝛼‪۱−‬‬
‫=‪P‬‬
‫𝛽‬ ‫𝛽‪۱−‬‬ ‫احتمال «بارش باران در چهار روز آینده» در صورت بارانی بودن امروز‬
‫‪ 𝛼 = ۰.۷ ‬احتمال بارش فردا به شرط بارش امروز‬
‫‪۰. ۷‬‬ ‫‪۰. ۳‬‬
‫=‪P‬‬ ‫‪ 𝛽 = ۰.۴ ‬احتمال بارش فردا به شرط عدم بارش امروز‬
‫‪۰. ۴‬‬ ‫‪۰. ۶‬‬
‫تعریف حالتها‬
‫‪۰. ۶۱‬‬ ‫‪۰. ۳۹‬‬
‫= ‪𝑃 ( ۲) = 𝑃 ۲‬‬ ‫‪ :0 ‬فرایند در حالت ‪ 0‬در روز بارش‬
‫‪۰. ۵۲‬‬ ‫‪۰. ۴۸‬‬ ‫‪ :۱ ‬فرایند در حالت ‪ ۱‬در روز عدم بارش‬
‫‪۰. ۵۷۴۹‬‬ ‫‪۰. ۴۲۵۱‬‬
‫= ‪𝑃(۴) = (𝑃۲ )۲‬‬
‫‪۰. ۵۶۶۸‬‬ ‫‪۰. ۴۳۳۲‬‬ ‫ایجاد زنجیره مارکوف دو حالتی‬
‫‪۴ = ۰. ۵۷۴۹‬‬
‫‪𝑃00‬‬ ‫احتمالهای انتقال‬
 ‫مثال‪ -‬تبدیل فرایندی به زنجیره مارکوفی‬
‫عدم بارش امروز وابسته به دو روز قبل‬
‫‪۰. ۷‬‬ ‫‪0‬‬ ‫‪۰. ۳‬‬ ‫‪0‬‬ ‫اگر دو روز قبل دارای بارش باران‪ ،‬بارش باران در فردا با احتمال ‪۰.۷‬‬ ‫‪‬‬
‫‪‬‬
‫‪P = ۰. ۵‬‬ ‫‪۰. ۵‬‬
‫‪0‬‬ ‫‪0‬‬ ‫اگر امروز بارانی و دیروز بدون بارش‪ ،‬بارش باران فردا با احتمال ‪۰.۵‬‬
‫‪0 ۰. ۴‬‬ ‫‪0‬‬ ‫‪۰. ۶‬‬ ‫اگر امروز بدون باران و دیروز بارش‪ ،‬بارش باران فردا با احتمال ‪۰.۴‬‬ ‫‪‬‬
‫‪0 ۰. ۲‬‬ ‫‪0‬‬ ‫‪۰. ۸‬‬
‫اگر دو روز بدون بارش‪ ،‬بارش باران فردا با احتمال ‪۰.۲‬‬ ‫‪‬‬
‫‪۰. ۴۹ ۰. ۱۲‬‬ ‫‪۰. ۲۱‬‬ ‫‪۰. ۱۸‬‬
‫‪۰. ۳۰‬‬ ‫در صورت بارش در روزهای شنبه و یکشنبه‪ ،‬احتمال بارش در سهشنبه؟‬
‫‪𝑃(۲) = 𝑃۲ = ۰. ۳۵ ۰. ۲۰‬‬ ‫‪۰. ۱۵‬‬
‫‪۰. ۲۰ ۰. ۱۲‬‬ ‫‪۰. ۲۰‬‬ ‫‪۰. ۴۸‬‬ ‫‪ ‬بارش در سهشنبه معادل قرار گیری فرایند در حالت ‪ 0‬یا ‪۱‬‬
‫‪۰. ۱۰ ۰. ۱۶‬‬ ‫‪۰. ۱۰‬‬ ‫‪۰. ۶۴‬‬ ‫‪۲ + 𝑃۲ = ۰.۴۹ + ۰.۱۲ = ۰.۶۱ ‬‬
‫‪𝑃00‬‬ ‫‪0۱‬‬
 ‫مثال‪ -‬جابجائی توپ رنگی‬
‫توپها دارای رنگ قرمز ویا آبی‬
‫‪ ‬کیسهای شامل دو توپ‬
‫‪ ‬در هر مرحله توپی به تصادف انتخاب و جایگذاری با توپی جدید‬
‫‪ ‬احتمال ‪ ۰.۸‬توپ همرنگ‬
‫‪ ‬احتمال ‪ ۰.۲‬توپ با رنگ متضاد‬
‫‪ ‬حالت آغاز دو توپ سرخ‬
‫‪ ‬احتمال اینکه توپ پنجم انتخابی سرخ باشد‬
‫‪ ‬حل؟ نیاز به تعریف زنجیره مارکوف مناسب‬
‫‪ 𝑋𝑛 ‬تعداد توپهای سرخ در کوزه پس از انتخاب ‪-n‬اُم و جاگذاری متعاقب آن‬
‫‪ ‬آنگاه‬
‫‪ 𝑋𝑛 ‬زنجیره مارکوفی با حالتهای ‪ 0‬و ‪ ۱‬و ‪۲‬‬
‫‪ ‬جدول انتقال حالت؟‬
‫‪۰. ۸ ۰. ۲ 0‬‬
‫‪P = ۰. ۱ ۰. ۸ ۰. ۱‬‬
‫‪0 ۰. ۲ ۰. ۸‬‬
 ‫مثال‪ -‬جابجائی توپ رنگی‬
‫‪ ‬در هر مرحله توپی به تصادف انتخاب و جایگذاری با توپی جدید‬
‫‪ ‬احتمال ‪ ۰.۸‬توپ همرنگ‬
‫‪ ‬احتمال ‪ ۰.۲‬توپ با رنگ متضاد‬
‫‪ 𝑋𝑛 ‬تعداد توپهای سرخ در کوزه پس از انتخاب ‪-n‬اُم و جاگذاری متعاقب آن‬
‫‪ 𝑋𝑛 ‬زنجیره مارکوفی با حالتهای ‪ 0‬و ‪ ۱‬و ‪۲‬‬
‫‪ ‬جدول انتقال حالت؟‬
‫‪ 𝑃۱0 ‬یعنی یک توپ سرخ در کوزه به ‪ 0‬توپ قرمز مبدل گردد‬
‫‪ ‬جهت انجام اینکار باید‬
‫‪۱‬‬
‫‪ ‬ابتدا توپ قرمز کوزه انتخاب شود ( احتمال ؟)‬
‫‪۲‬‬
‫‪ ‬سپس با جانشینی با توپ آبی ( احتمال ‪۰.۲‬؟)‬
‫‪۱‬‬
‫‪ ‬پس احتمال ‪𝑃۱0 = × ۰.۲ = ۰.۱‬‬
‫‪۲‬‬
‫‪ ‬به طریق اولی محاسبة دیگر مقادیر ماتریس انتقال‬

‫‪۰. ۸ ۰. ۲‬‬ ‫‪0‬‬

‫‪P = ۰. ۱ ۰. ۸‬‬ ‫‪۰. ۱‬‬
‫‪0 ۰. ۲‬‬ ‫‪۰. ۸‬‬
 ‫مثال‪ -‬جابجائی توپ رنگی‬
‫‪۰. ۸ ۰. ۲ 0‬‬
‫‪P = ۰. ۱ ۰. ۸ ۰. ۱‬‬
‫‪0 ۰. ۲ ۰. ۸‬‬

‫جهت یافتن احتمال سرخ بودن در انتخاب چهارم‪ ،‬نیاز به بررسی تعداد سرخها در کوزه پس از انتخاب چهارم؟‬
‫‪ ‬نمایش با ‪𝑒۵‬‬
‫‪۲‬‬
‫)‪ 𝑋۴ = 𝑖 𝑃(𝑋۴ = 𝑖|𝑋0 = ۲‬ق = ‪) = ෍ 𝑃 𝑒۵‬ق = ‪𝑃(𝑒۵‬‬
‫‪𝑖=0‬‬
‫‪= 0 𝑃۲۴0 + ۰. ۵ 𝑃۲۱‬‬
‫‪۴ + ۱ 𝑃۴ = ۰. ۵ 𝑃۴ + ۱ 𝑃۴‬‬
‫‪۲۲‬‬ ‫‪۲۱‬‬ ‫‪۲۲‬‬
‫‪ ‬محاسبة ‪𝑃۴‬‬
‫‪ 𝑃۴ = ۰.۴۳۵۲ ‬و ‪۴ = ۰.۴۸۷۲‬‬
‫‪𝑃۲۲‬‬ ‫‪۲۱‬‬
‫‪ ‬پس ⟸‬
‫‪ = ۰.۷۰۴۸ ‬ق = ‪𝑃 𝑒۵‬‬
‫مثال‪ -‬توزیع در میان کوزه ها‬
‫هشت کوزه‬
‫‪ ‬توزیع توپها در میان آنها‬
‫‪ ‬احتمال خالی نبودن دقیقا سه کوزه پس از توزیع ‪ ۹‬توپ‬

‫𝑛𝑋 تعداد کوزههای پر پس از توزیع ‪ n‬توپ‬

‫‪ ‬حالتهای ممکن ‪ 0‬و ‪ ۱‬و ‪ ۲‬و ‪ ...‬و ‪۸‬‬
‫‪ ‬احتماالت انتقال‬
‫𝑖‬
‫= 𝑖𝑖𝑃‬ ‫‪= ۱ − 𝑃𝑖𝑖+۱ ,𝑖 = {0,۱,۲, … ,۸} ‬‬
‫‪۸‬‬
‫‪ ‬احتمال مطلوب ‪𝑃0۹۳‬‬
‫‪𝑃0۹۳ = 𝑃0۱ 𝑃۱۳‬‬
‫‪ ‬ادعا ‪۸‬‬
‫‪ ‬ادعا ‪𝑃0۱ = ۱‬‬
‫‪𝑃0۹۳ = 𝑃۱۳‬‬
‫‪۸ ‬‬
 ‫مثال‪ -‬توزیع در میان کوزه ها‬
‫سوال‪ -‬احتمال خالی نبودن دقیقا سه کوزه پس از توزیع ‪ ۹‬توپ‬
‫‪ 𝑋𝑛 ‬تعداد کوزههای پر پس از توزیع ‪ n‬توپ‬
‫𝑖‬
‫= 𝑖𝑖𝑃‬ ‫‪= ۱ − 𝑃𝑖𝑖+۱ ,𝑖 = {0,۱,۲, … ,۸} ‬‬
‫‪۸‬‬
‫‪ ‬احتمال مطلوب ‪𝑃0۹۳‬‬
‫‪𝑃0۹۳ = 𝑃۱۳‬‬
‫‪۸ ‬‬

‫‪ ‬با آغاز از یک کوزة پر شده‬

‫‪ ‬ادعا‪-‬هدف رسیدن به سه کوزه پر شده پس از توزیع هشت توپ بعدی؟‬
‫‪ ‬ادعا‪ -‬از حالتهای ‪ ۴‬و ‪ ۵‬و ‪ ۶‬و ‪ ۷‬و ‪ ۸‬نمیتوان به حالت ‪ ۳‬رفت؟‬
‫‪ ‬بنابراین صرفا نیاز به بررسی حالتهای ‪ ۱‬و ‪ ۲‬و ‪ ۳‬و ‪ ۴‬جهت یافتن ‪۸‬‬
‫‪𝑃۱۳‬؟‬
‫‪۱‬‬ ‫‪۷‬‬ ‫‪ ‬جدول احتمال انتقال‬
‫‪0‬‬ ‫‪0‬‬
‫‪۸‬‬ ‫‪۸‬‬
‫‪۲‬‬ ‫‪۶‬‬
‫‪𝑃= 0‬‬ ‫‪۸‬‬ ‫‪۸‬‬
‫‪0‬‬
‫‪۳‬‬ ‫‪۵‬‬
‫‪0 0‬‬
‫‪۸‬‬ ‫‪۸‬‬
‫‪0 0‬‬ ‫‪0‬‬ ‫‪۱‬‬
 ‫مثال‪ -‬توزیع در میان کوزه ها‬
‫‪۱‬‬ ‫‪۷‬‬ ‫سوال‪ -‬احتمال خالی نبودن دقیقا سه کوزه پس از توزیع ‪ ۹‬توپ‬
‫‪0‬‬ ‫‪0‬‬ ‫‪ 𝑋𝑛 ‬تعداد کوزههای پر پس از توزیع ‪ n‬توپ‬
‫‪۸‬‬ ‫‪۸‬‬
‫‪۶‬‬ ‫‪۲‬‬ ‫= 𝑖𝑖𝑃‬
‫𝑖‬
‫‪= ۱ − 𝑃𝑖𝑖+۱ ,𝑖 = {0,۱,۲, … ,۸} ‬‬
‫=𝑃‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪۸‬‬
‫‪۸‬‬ ‫‪۸‬‬ ‫‪𝑃0۹۳ = 𝑃۱۳‬‬
‫‪ ‬احتمال مطلوب ‪۸‬‬
‫‪۳‬‬ ‫‪۵‬‬
‫‪0 0‬‬
‫‪۸‬‬ ‫‪۸‬‬
‫‪0 0 0‬‬ ‫‪۱‬‬

‫‪۰. ۰۰۰۲‬‬ ‫‪۰. ۰۲۵۶‬‬ ‫‪۰. ۲۵۶۳‬‬ ‫‪۰. ۷۱۷۸‬‬

‫‪0‬‬ ‫‪۰. ۰۰۳۹‬‬ ‫‪۰. ۰۹۵۲‬‬ ‫‪۰. ۹۰۰۹‬‬
‫= ‪𝑃۴‬‬
‫‪0‬‬ ‫‪0‬‬ ‫‪۰. ۰۱۹۸‬‬ ‫‪۰. ۹۸۰۲‬‬
‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪۱‬‬
‫‪۸ = ۰. ۰۰۰۲ × ۰. ۲۵۶۳ + ۰. ۰۲۵۶ × ۰. ۰۹۵۲ + ۰. ۲۵۶۳ × ۰. ۰۱۹۸ + ۰. ۷۱۷۸ × ۰ = ۰. ۰۰۷۵۶‬‬
‫‪𝑃۱۳‬‬
 ‫مثال‪ -‬سه شیر متوالی‬
‫پرتاب سکههای سالم مستقل‬
‫‪ N ‬تعداد پرتابها تا رسیدن به سه شیر متوالی‬
‫‪ 𝑃(𝑁 ≤ ۸) ‬و )‪𝑃(𝑁 = ۸‬؟‬

‫حل‪ -‬زنجیره مارکوفی با حالتهای ‪ 0‬و ‪۱‬و ‪ ۲‬و ‪۳‬‬

‫‪ i<3 ‬به معنای ادامه پرتابها تا رسیدن به سه شیر متوالی‬
‫‪ i=3 ‬رخ دادن سه شیر متوالی‬
‫‪ ‬ماتریس احتمال انتقال⟸‬
‫‪۱ ۱‬‬
‫‪0‬‬ ‫‪0‬‬
‫‪۲ ۲‬‬
‫‪۱‬‬ ‫‪۱‬‬
‫‪𝑃= ۲ 0‬‬ ‫‪۲‬‬
‫‪0‬‬
‫‪۱‬‬ ‫‪۱‬‬
‫‪0‬‬ ‫‪0‬‬
‫‪۲‬‬ ‫‪۲‬‬
‫‪0 0‬‬ ‫‪0‬‬ ‫‪۱‬‬
 ‫‪۱ ۱‬‬
‫‪0‬‬ ‫‪0‬‬
‫مثال‪ -‬سه شیر متوالی‬
‫‪۲ ۲‬‬
‫‪۱‬‬ ‫‪۱‬‬ ‫‪ 𝑃(𝑁 ≤ ۸) ‬و )‪𝑃(𝑁 = ۸‬؟‬
‫‪𝑃= ۲‬‬ ‫‪0‬‬ ‫‪0‬‬
‫‪۲‬‬ ‫‪ ‬ماتریس احتمال انتقال⟸‬
‫‪۱‬‬ ‫‪۱‬‬
‫‪0 0‬‬
‫‪۲‬‬ ‫‪۲‬‬
‫‪0 0 0‬‬ ‫‪۱‬‬

‫‪۸۱‬‬ ‫‪۴۴‬‬ ‫‪۲۴‬‬ ‫‪۱۰۷‬‬

‫‪۲۵۶ ۲۵۶‬‬ ‫‪۲۵۶‬‬ ‫‪۲۵۶‬‬
‫‪۶۸‬‬ ‫‪۳۷‬‬ ‫‪۲۰‬‬ ‫‪۱۳۱‬‬
‫‪𝑃۸ = ۲۵۶ ۲۵۶‬‬ ‫‪۲۵۶‬‬ ‫‪۲۵۶‬‬
‫‪۴۴‬‬ ‫‪۲۴‬‬ ‫‪۱۳‬‬ ‫‪۱۷۵‬‬ ‫‪𝑃 𝑁 ≤ ۸ ‬؟‬
‫‪۲۵۶ ۲۵۶‬‬ ‫‪۲۵۶‬‬ ‫‪۲۵۶‬‬ ‫‪۱۰۷‬‬
‫‪‬‬
‫‪0‬‬ ‫‪0‬‬ ‫‪0‬‬ ‫‪۱‬‬ ‫‪۲۵۶‬‬
‫‪𝑃 𝑁 = ۸ ‬؟‬
‫‪ 𝑁 = ۸ ‬به معنای تا ‪ ۷‬انتقال سه شیر اتفاق نیفتاده است و حالت پس از هفت انتقال برابر حالت ‪ ۲‬و پرتاب بعدی شیر میآید ⟸‬
‫‪۱‬‬
‫‪𝑃 𝑁 = ۸ = 𝑃0۷۲‬‬
‫‪۲‬‬
 ‫مثال‬
‫}‪ {𝑋𝑛 ,𝑛 ≥ 0‬زنجیره مارکوفی با حالتهای ‪ 0‬و ‪ ۱‬و ‪ ۲‬و ‪۳‬‬
‫}‪𝑃𝑖𝑗 ; 𝑖,𝑗 ∈ {0,۱,۲,۳‬‬ ‫‪‬‬
‫‪ N‬تعداد انتقالها تا دیدن الگوی ‪ ۱,۲,۱,۲‬و با شروع از حالت صفر‬ ‫‪‬‬
‫}‪𝑁 = 𝑚𝑖𝑛{𝑛 ≥ 0: 𝑋𝑛−۳ = ۱,𝑋𝑛−۲ = ۲,𝑋𝑛− ۱ = ۱,𝑋𝑛 = ۲‬‬ ‫‪‬‬
‫به ازای ‪ k‬دلخواه به دنبال محاسبة )𝑘 ≤ 𝑁(𝑃‬ ‫‪‬‬
‫‪ ‬تعریف زنجیره مارکوفی جدید }‪ {𝑌𝑛 ,𝑛 ≥ 0‬استفاده جهت ردگیری حرکت به سمت الگو‬
‫‪ ‬تعریف 𝑛𝑌‬
‫‪ ‬اگر الگو در انتقال ‪-n‬اُم یافت شد یا بدیگر سخن 𝑛𝑋‪ 𝑋0 , … ,‬شامل ‪ ۱,۲,۱,۲‬آنگاه ‪𝑌𝑛 = ۴‬‬
‫‪ ‬اگر الگو تا انتقال ‪-n‬اُم یافت نشده آنگاه‬
‫‪ 𝑌𝑛 = ۱ ‬اگر ‪ 𝑋𝑛 = ۱‬و )‪۲‬و‪(𝑋𝑛−۲ ,𝑋𝑛− ۱) ≠ (۱‬‬
‫‪ 𝑌𝑛 = ۲ ‬اگر‪𝑋𝑛− ۱ = ۱,𝑋𝑛 = ۲‬‬
‫‪ 𝑌𝑛 = ۳ ‬اگر ‪𝑋𝑛−۲ = ۱,𝑋𝑛− ۱ = ۲,𝑋𝑛 = ۱‬‬
‫‪ 𝑌𝑛 = ۵ ‬اگر ‪ 𝑋𝑛 = ۲‬و ‪𝑋𝑛− ۱ ≠ ۱‬‬
‫‪ 𝑌𝑛 = ۶ ‬اگر ‪𝑋𝑛 = 0‬‬
‫‪ 𝑌𝑛 = ۱,۲,۳,۴‬به معنای حرکت به سمت الگو یا رسیدن به آن با مقدار ‪۴‬‬ ‫•‬
‫‪ 𝑌𝑛 = ۷ ‬اگر ‪𝑋𝑛 = ۳‬‬
‫‪ 𝑌𝑛 = ۵,۶,۷‬به معنای عدم وجود عالئم پیشرفت به سمت الگو و حالت فعلی ‪ ۲‬یا ‪ 0‬یا ‪۳‬‬ ‫•‬
 ‫مثال‬
‫‪ ‬آنگاه )𝑘 ≤ 𝑁(𝑃‬
‫‪ ‬برابر با احتمال تعداد انتقالهای زنجیره مارکوف 𝑛𝑌 هنگامی که از حالت ‪ ۶‬به ‪ ۴‬حرکت میکند کمتر از ‪ k‬باشد‬
‫‪ ‬زیرا حالت ‪ ۴‬حالت جذب کننده (تعریف بیشتر بعدا)‬
‫‪ ‬به دیگر سخن‪𝑄𝑖𝑗 ،‬احتمال انتقال زنجیره مارکوف 𝑛𝑌‬
‫𝑘‬
‫‪۴‬و‪𝑄۶‬‬ ‫‪ ‬به دنبال‬
 ‫مثال‪-‬‬
‫زنجیره مارکوف با حالتهای ‪۱,۲,۳,۴,۵‬‬
‫مطلوب است )‪𝑃(𝑋۴ = ۲,𝑋۳ ≤ ۲,𝑋۲ ≤ ۲,𝑋۱ ≤ ۲|𝑋0 = ۱‬‬
‫‪ ‬به چه معنا؟ با آغاز از حالت ‪ ۱‬زنجیره در زمان ‪ ۴‬در حالت ‪ ۲‬باشد بدون اینکه به حالتهای }‪ 𝔄 = {۳,۴,۵‬وارد شده باشد‪.‬‬

‫جهت محاسبه صرفا نیاز به ‪ 𝑃۱۱‬و ‪ 𝑃۱۲‬و ‪ 𝑃۲۱‬و ‪𝑃۲۲‬‬

‫فرض ‪ 𝑃۱۱ = ۰.۳‬و ‪ 𝑃۱۲ = ۰.۳‬و ‪ 𝑃۲۱ = ۰.۱‬و ‪𝑃۲۲ = ۰.۲‬‬
‫میتوان زنجیره مارکوف را شامل سه حالت‪ ۱,۲,۳‬دانست حالت 𝔄 را ‪ ۳‬نامیدهایم‪ .‬ماتریس‬
‫‪۰. ۳‬‬ ‫‪۰. ۳‬‬ ‫‪۰. ۴‬‬
‫‪Q = ۰. ۱‬‬ ‫‪۰. ۲‬‬ ‫‪۰. ۷‬‬
‫‪0‬‬ ‫‪0‬‬ ‫‪۱‬‬
‫به دنبال ‪۴‬‬
‫‪𝑄۱۲‬‬
‫‪۰. ۰۲۱۹‬‬ ‫‪۰. ۰۲۸۵‬‬ ‫‪۰. ۹۴۹۶‬‬
‫‪𝑄۴ = ۰. ۰۰۹۵‬‬ ‫‪۰. ۰۱۲۴‬‬ ‫‪۰. ۹۷۸۱‬‬
‫‪0‬‬ ‫‪0‬‬ ‫‪۱‬‬
‫شادی و غم گیتی نمی کنند دوام‪ -‬دوام مثال!‬
‫تغییر حال در یک روز‬

‫‪۰. ۸‬‬ ‫‪۰. ۲‬‬

‫=‪P‬‬
‫‪۰. ۳‬‬ ‫‪۰. ۷‬‬

‫احتمالهای انتقالی بین امروز و پسفردا‬

‫‪۰. ۷‬‬ ‫‪۰. ۳‬‬

‫= ‪𝑃۲‬‬
‫‪۰. ۴۵‬‬ ‫‪۰. ۵۵‬‬
‫شادی و غم گیتی نمی کنند دوام‪ -‬دوام مثال‪-‬دوام!‬
‫پس از یک هفته و پس از سی روز‬

‫‪۰. ۶۰۰۰‬‬ ‫‪۰. ۴۰۰۰‬‬ ‫‪۰. ۶۰۳۱‬‬ ‫‪۰. ۳۹۶۹‬‬

‫= ‪𝑃۳۰‬‬ ‫= ‪𝑃۷‬‬
‫‪۰. ۶۰۰۰‬‬ ‫‪۰. ۴۰۰۰‬‬ ‫‪۰. ۵۹۵۳‬‬ ‫‪۰. ۴۰۴۷‬‬
‫تقریبا برابر‬
‫‪ ‬وجود 𝑛𝑃 حــد‬
‫∞→𝑛‬
‫‪ ‬حد منظم‬

‫حالت از حالت آغاز مستقل میشود‪.‬‬

‫‪ ‬منطق‬
‫‪ ‬شرط آغازین در حافظة تکگامی نهایتا فراموش خواهد شد‬
 ‫احتمال غیرشرطی‬
‫تاکنون تمامی احتماالت شرطی )𝑖 = ‪𝑃𝑖𝑗𝑛 = 𝑃(𝑋𝑛 = 𝑗|𝑋0‬‬

‫همچنین نیاز به احتمال غیرشرطی 𝑗 = 𝑛𝑋 = 𝑛 𝑗𝑝‬

‫‪ ‬نیاز به مشخصکردن شرط آغاز یا احتمال آغاز 𝑖 = ‪𝑝𝑖 0 = 𝑋0‬‬
‫‪ ‬استفاده از قانون احتمال کل و تعریف 𝑛 𝑗𝑝 و 𝑛𝑗𝑖𝑃‬
‫∞‬

‫)𝑖 = ‪𝑝𝑗 𝑛 = 𝑋𝑛 = 𝑗 = ෍ 𝑃 𝑋𝑛 = 𝑗 𝑋0 = 𝑖 P(𝑋0‬‬

‫‪𝑖=0‬‬
‫∞‬

‫‪= ෍ 𝑃𝑖𝑗𝑛 𝑝𝑖 0‬‬

‫‪𝑖=0‬‬
‫صورت ماتریسی 𝑇] … ‪𝒑 𝑛 = [𝑝۱ 𝑛 ,𝑝۲ 𝑛 ,‬‬
‫‪𝒑 𝑛 = (𝑃𝑛 )𝑇 𝒑 0‬‬
‫شادی و غم گیتی نمی کنند دوام‪ -‬دوام مثال!‬
‫‪۰.۸‬‬ ‫‪۰.۲‬‬
‫=‪P‬‬ ‫ماتریس احتمال انتقال‬
‫‪۰.۳‬‬ ‫‪۰.۷‬‬

‫𝑇]‪𝒑 0 = [۱ 0‬‬ ‫𝑇]‪𝒑 0 = [0 ۱‬‬

‫با افزایش ‪ N‬احتمال مستقل از حالت آغاز‬

 ‫منابع‬
]‫[پینسکی‬

]‫[راس‬
]‫[زانال‬
]‫ [هایز‬B. Hayes, “First Links in the Markov Chain,” American Scientist, V. 101, pp. 92-97, Mar-Apr 2013.

[Mateos] G. Mateos, “ECE440 - Introduction to Random Processes,”

http://www2.ece.rochester.edu/~gmateosb/ECE440.html
[Ribeiro] A. Ribeiro, “ESE 303 - Stochastic Systems Analysis and Simulation,” https://ese303.seas.upenn.edu/