‫هوالحبیب‬

‫هوالمحبوب‬
‫‪1‬‬
 ‫طراحی و پیاده سازی نرم افزار تشخیص خواب آلودگی‬
‫با استفاده از پردازش تصویر‬

‫ارائه دهنده‪:‬‬
‫مل‪-‬یکا نیکخوا‪-‬ه قهی‬

‫استاد ‪:‬‬
‫آقای خلیل جهانی‬

‫بهار ‪96‬‬

‫‪2‬‬
 ‫نقش خواب­آلودگی در تصادفات‬

‫نقش تصادفات در مرگ و میر انسان­ها‬

‫نرخ تصادفات در ایران ‪ 20‬برابر متوسط جهانی‬ ‫‪‬‬
‫‪ 20,000‬نفر کشته و ‪ 300,000‬نفر مجروح در سال‬ ‫‪‬‬
‫هر ‪ 19‬دقیقه ‪ 1‬نفر کشته‪ ،‬هر ‪ 2‬دقیقه ‪ 1‬نفر معل‪-‬ول‬ ‫‪‬‬
‫ایران پنجمین کشور پر حادثه دنیا از حیث تعداد تلفات سوانح رانندگی‬ ‫‪‬‬
‫دومین عامل مرگ و میر بعد از حوادث قلب و عروقی‬ ‫‪‬‬
‫کشته شدگان سوانح رانندگی در یک دوره ‪ 11‬ساله با مجموع شهدای دفاع مقدس و انقالب‬ ‫‪‬‬
‫برابری می­کند‪.‬‬
‫حدود ‪ %30‬تصادفات جاده­ای ناشی از خواب­آلودگی‬ ‫‪‬‬

‫‪3‬‬

‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫نقش خواب­آلودگی در تصادفات‬

‫علل تصادفات‬

‫جاده‬ ‫خودرو‬ ‫انسان‬

‫خطای غیر آگاهانه‬ ‫خطای آگاهانه‬

‫‪ ...‬پرخاشگری و‬ ‫مصرف مواد و الکل‬ ‫خواب آلودگی‬ ‫حواس پرتی‬

‫‪4‬‬

‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫عوامل موثر در خواب آلودگی‬

‫‪ ‬م‪-‬حرومیت از خواب‬
‫‪ ‬زمان روز و ریتم سیرکادین‬
‫‪ ‬یکنواختی جاده‬
‫‪ ‬خصوصیات شخصیتی و سن راننده‬

‫‪5‬‬
‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬
 ‫انواع روش های تشخیص خواب آلودگی‬

‫‪ ‬خود ارزیابی خواب­آلودگی‬

‫‪ ‬سیگنال­های بیولوژیکی مغزی‪ ،‬قلبی‪ ،‬عضالنی‪ ،‬چشم‪-‬ی و ‪...‬‬
‫‪ ‬عملکرد دینامیکی خودرو و راننده‬
‫‪ ‬بررسی ویدئویی حرکات فیزیکی سر‪ ،‬صورت و بدن راننده‬

‫‪6‬‬
‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬
 ‫محصوالت تولید شده جهت تشخیص خواب‬
‫آلودگی‬

‫دهندهسر‬
‫خواب آلودگی‬ ‫افتادگی‬ ‫دستگاه تشخیص‬
‫هشدار‬
‫‪Optalert‬‬ ‫سیستم ضد خواب ‪ASP‬‬
‫‪DDS‬‬

‫‪7‬‬
‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬
 ‫پردازش تصویر و بینایی ماشین‬

‫پردازش تصویر‬
‫ورودی‪ :‬یک تصویر مثل عکس یا صحنه‌ای از یک فیلم‬ ‫‪‬‬
‫خروجی‪ :‬یک تصویر یا یک مجموعه ازویژگی ها یا اطالعاتی در مورد محتوای تصویر‬ ‫‪‬‬
‫برخورد با تصویر به عنوان یک سیگنال دو بعدی‬ ‫‪‬‬

‫‪8‬‬

‫آزمایسات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫پردازش تصویر و بینایی ماشین‬

‫بینایی ماشین‬
‫از شاخه های هوش مصنوعی‬ ‫‪‬‬
‫حس بینایی انسان و تحلیل اطالعات بصری‬ ‫‪‬‬
‫استفاده در سامانه های ‪ :‬نظارتی ‪ ،‬کنترلی ‪ ،‬ابزار های پزشکی ‪ ،‬کنترل محصوالت صنعتی و ‪...‬‬ ‫‪‬‬

‫‪9‬‬

‫آزمایسات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫اهداف اصلی در پردازش تصویر‬

‫تبدیل داده یک دوربین به یک نمایش جدید‬ ‫‪‬‬

‫‪OpenCV‬‬ ‫‪‬‬

‫‪10‬‬

‫آزمایسات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫عملیات اصلی در پردازش تصویر‬

‫عملیات اصلی در پردازش تصویر به وسیله‬

‫‪OpenCV‬‬
‫تبدیالت هندسی‪ :‬همانند تغییر اندازه‪ ،‬چرخش و‪...‬‬ ‫‪‬‬
‫تغییر رنگ‪ :‬همانند تغییر روشنایی‪ ،‬وضوح و یا تغییر فضای رنگ‬ ‫‪‬‬
‫ترکیب تصاویر‪ :‬ترکیب دو و یا چند تصویر‬ ‫‪‬‬
‫فشرده سازی پرونده‪ :‬کاهش حجم تصویر‬ ‫‪‬‬
‫ناحیه بندی پرونده‪ :‬تجزیه تصویر به نواحی با معنی‬ ‫‪‬‬
‫بهبود کیفیت پرونده‪ :‬کاهش نویز‪ ،‬افزایش کنتراست‪ ،‬اصالح گاما و ‪...‬‬ ‫‪‬‬
‫سنجش کیفیت تصویر‬ ‫‪‬‬
‫ذخیره سازی اطالعات در تصویر‬ ‫‪‬‬
‫انطباق تصاویر‬ ‫‪‬‬
‫فیلترهای مختلف مانند‪ :‬فیلتر تشخیص لبه ‪ ،‬فیلتر تشخیص گوشه و ‪...‬‬ ‫‪‬‬
‫تشخیص اشیا و ‪...‬‬ ‫‪‬‬
‫‪11‬‬

‫آزمایسات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫شبکه عصبی‬

‫الگوی پردازش اطالعات که از ساختار مغز انسان الهام گرفته شده است‬
‫‪ ‬توانایی یادگیری‬
‫‪ ‬مثال هایی برای آموزش‬
‫‪ ‬وزن های توابع تحریک‬ ‫‪12‬‬

‫آزمایسات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫طرح پیشنهادی سیستم تشخیص خواب آلودگی‬

‫گام اول‬
‫مکانی مناسب برای دوربین و ثبت تصویر چهره‬

‫‪13‬‬

‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫طرح پیشنهادی سیستم تشخیص خواب آلودگی‬

‫گام دوم‬
‫پیدا کردن صورت در تصویر با الگوریتم ویوال‪ -‬جونز‬

‫‪14‬‬

‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫طرح پیشنهادی سیستم تشخیص خواب آلودگی‬

‫گام سوم‬
‫پیدا کردن چشم در صورت با الگوریتم ویوال‪-‬جونز‬

‫‪15‬‬

‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫طرح پیشنهادی سیستم تشخیص خواب آلودگی‬

‫گام چهارم‬
‫استخراج ویژگی ها‬

‫‪16‬‬

‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫طرح پیشنهادی سیستم تشخیص خواب آلودگی‬

‫گام پنجم‬
‫تشخیص خواب آلودگی با استفاده از شبکه عصبی‬

‫شبکه عصبی ‪MLP‬با ‪ 3‬الیه که از یک الیه میانی با ‪6‬‬

‫نرون و الیه ورودی با ‪ 1‬نرون و الیه خروجی نیز که از ‪1‬‬
‫نرون تشکیل شده استفاده کرده شده است‪.‬‬

‫‪17‬‬

‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫طرح پیشنهادی سیستم تشخیص خواب آلودگی‬

‫‪18‬‬

‫آزمایشات و نتایج‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫شبیه ساز رانندگی‬

‫‪19‬‬

‫آزمایشات و نتیجه‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫طراحی مسیر‬

‫خط­کشی‪ ،‬تابلوها و عالئم‬

‫طبق استاندارد آیین­نامه ‪ 267‬عالئم ایمنی راه و آیین­نامه ‪ 161‬طراحی هندسی راه­های کشور‬

‫نمونه­ای از تابلوهای مورد استفاده در مسیر‬

‫‪20‬‬

‫آزمایشات و نتیجه‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫طراحی مسیر‬

‫مناظر اطراف‬
‫خسته کننده و یکنوا‪-‬خت به منظور القای بیشتر حس خواب­آلودگی‬

‫‪21‬‬

‫آزمایشات و نتیجه‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫ثبت تصاویر‬

‫ثبت تصاویر چهره‪ ،‬حرکات بدن رانند‪S‬ه و محیط مجازی در حین رانندگی‬

‫‪22‬‬

‫آزمایشات و نتیجه‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫دوربین سیستم تشخیص خواب آلودگی‬

‫مکانی مناسب برای دوربین و ثبت تصویر چهره‬

‫‪23‬‬

‫آزمایشات و نتیجه‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫ثبت سیگنال های بیولوژیکی‬

‫ثبت سیگنال­های امواج مغزی ‪ EEG‬و ‪EOG‬‬

‫متخصص ‪ EEG‬در حال نصب کاله مخصوص بر روی سر کاربر‬

‫‪24‬‬

‫آزمایشات و نتیجه‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫ارزیابی خواب آلودگی‬

‫ثبت میزان خواب­آلودگی در حین رانندگی بر اساس معیار خود ارزیابی ‪ KSS‬توسط اظهارات راننده‬
‫و دو نفر ناظر بیرونی بر اساس حالت چهره راننده و طبق معیار ‪KSS‬‬
‫‹|‪c‬‬
‫‪É Z̋ ÂÅd Ì  “ Át ̓ Âe‬‬
‫‪ʳ{·M[ Y‬‬
‫‪Ây‬‬
‫‪ Z̋ÂÅ0‬‬
‫‪Y‬‬
‫‹ |‪| Ë‬‬ ‫‪1‬‬ ‫‪ Z̋ ÂÅ‬‬
‫‪ Z̋ÂÅʸÌy‬‬ ‫‪2‬‬
‫‪ Z̋ÂÅ‬‬ ‫‪3‬‬
‫‪ Z̋ÂÅ0‬‬
‫¿ ˆ^‪Zf‬‬ ‫‪4‬‬
‫‪ Z̋ÂÅÄ¿Ã{·M[ Y‬‬
‫¿‪Ây Ä‬‬ ‫‪5‬‬
‫‪¹ Y‬‬
‫‪| ¿Ê¸° Œ»½| ¿Z»Y‬‬
‫‪| Ì]ÉY‬‬
‫‪€]Z»Y,{·M[ Y‬‬
‫‪Ây‬‬ ‫‪6‬‬
‫‪¹ Y‬‬
‫‪{ ʸ° Œ»Ê¼¯ ½| ¿Z»Y‬‬
‫‪| Ì]ÉY‬‬
‫‪€]Z»Y,{·M[ Y‬‬
‫‪Ây‬‬ ‫‪7‬‬
‫‹‪d ‡Y‬‬
‫‪Y‬‬‫ˆ { ‪Â‬‬
‫‪ZÌ ]½| ¿Z»Y‬‬
‫‪| Ì]Z»Y,{·M[ Y‬‬
‫‪Ây‬‬ ‫‪8‬‬ ‫‪{·M[ Y‬‬
‫‪Ây‬‬
‫]‪¹Á‬‬
‫‪€[ Y‬‬
‫‪Ây Ä]Ĝv·€Åd ‡Y¾°¼»,{·M[ Y‬‬
‫‪Ây 0‬‬
‫‪Y‬‬
‫‹ |‪| Ë‬‬ ‫‪9‬‬
‫‪25‬‬

‫آزمایشات و نتیجه‬ ‫طرح پیشنهادی‬ ‫اصول‬ ‫مقدمه‬

 ‫پیشنهادات‬

‫پیشنهادات و کارهای آینده‬

‫‪ ‬می توان از ویژگیهای دیگر تصویری از جمله حالت صورت و افتادگی ماهیچه‬
‫های آن‪ ،‬زاویه سر و خم شدن سر به طرفین ویا به جلو‪ ،‬خمیازه کشیدن‪،‬‬
‫خیرگی چشم و تحلیل مقدار توجه و محل توجه و‪....‬‬
‫‪ ‬طراحی و ساخت یک سیستم ‪ Hybrid‬تشخیص خواب­آلودگی بر مبنای نتایج‬
‫حاصل از ادغام سایر روش­های تشخیصی‬
‫‪ ‬افزودن امکان کالیبراسیون الگوریتم برای راننده­های مختلف‬

‫‪26‬‬