Professional Documents
Culture Documents
Oltp نسبت به Olap
Oltp نسبت به Olap
• شناخته می شود از برنامه های تراکنش گرا در یک OLTPچیست؟ پردازش معامله آنالین که به زودی به عنوان OLTP
.هر روزه یک سازمان را مدیریت می کند . OLTPمعماری 3بعدی پشتیبانی می کند
• چیست؟ پردازش تحلیلی آنالین ،یک دسته از ابزارهای نرم افزاری است که تجزیه و تحلیل داده ها را برای تصمیم OLAP
به کاربران اجازه می دهد تا در یک زمان اطالعات پایگاه داده را از سیستم OLAPگیری های تجاری ارائه می کنند .سیستم های
.های مختلف پایگاه داده تجزیه و تحلیل کنند
OLTPمثال سیستم
• است .فرض کنید که یک زن و شوهر دارای حساب مشترک با یک بانک است ATM .مرکز OLTPیک مثال از سیستم
مختلف می رسند و می خواهند کل مبلغ موجود در حساب بانکی ATMیک روز هر دو به طور همزمان در همان زمان به مراکز
.خود را برداشت کنند
• اطمینان OLTPبا این حال ،فردی که اولین فرآیند تأیید را تکمیل می کند قادر به دریافت پول است .در این حالت ،سیستم
برای OLTPحاصل می کند که مقدار خروج هرگز بیشتر از مقدار موجود در بانک نخواهد بود .کلید توجه این است که سیستم های
.برتری تراکنشی به جای تجزیه و تحلیل داده ها بهینه شده اند
• .به راحتی محدودیتهای امنیتی را برای کاربران و اشیاء مطابق با مقررات و محافظت از اطالعات حساس اعمال کنید
• .از طریق ساده سازی فرآیندهای فردی پایه مشتری سازمان را گسترش می دهد OLTP
• .سنتی نیازمند یک روش مدل سازی پیچیده است OLAPدارد ،زیرا ابزار ITپیاده سازی و نگهداری بستگی به حرفه ای
• .نیازمند همکاری بین افراد گروه های مختلف برای موثر بودن است که ممکن است همیشه امکان پذیر نباشد OLAPابزار
• .با خرابی های سخت افزاری مواجه شود ،معامالت آنالین به شدت تحت تاثیر قرار می گیرد OLTPاگر سیستم
• اجازه می دهد چندین کاربر برای دسترسی و تغییر داده های مشابه در همان زمان که چندین بار OLTPسیستم های
.موقعیت بی سابقه ای را ایجاد کرد
OLAPو OLTPتفاوت
یک فرآیند بازیابی و . OLAPاین یک سیستم معامالتی آنالین است .این مدیریت تغییرات پایگاه داده را مدیریت می کند روند
.تجزیه و تحلیل آنالین است
.با حجم زیادی از داده ها مشخص می شود با تعداد زیادی از معامالت آنالین کوتاه مشخص شده است .مشخصه
.سیستم اصالح پایگاه داده آنالین است OLTPعملکرد .یک سیستم مدیریت پرس و جو پایگاه داده آنالین است OLAP
روش .های سنتی استفاده می کند DBMSاز OLTP .از انبار داده استفاده می کند OLAP
پرس و جو درج ،به روز رسانی و حذف اطالعات از پایگاه داده. عمدتا عملیات را انتخاب کنید
...ادامه OLAPو OLTPتفاوت
جدول عادی می شوند OLTP .جداول در پایگاه داده .نرمال نیستند OLAPجداول در پایگاه داده
منبع .می شوند OLAPمختلف منبع داده برای OLTPپایگاه های و معامالت آن منابع داده هستندOLTP .
اغلب اصالح نمی شود .از این OLAPپایگاه داده باید محدودیت یکپارچگی داده را حفظ کند OLTP .پایگاه داده یکپارچگی داده
.رو ،یکپارچگی اطالعات یک مسئله نیست
زمان پاسخ زمان پاسخ در میلی ثانیه است. .زمان پاسخ در ثانیه تا دقیقه
کیفیت داده همیشه دقیق و سازمان یافته است OLTP .داده ها در پایگاه داده ممکن OLAPداده ها در روند پردازش
.است سازماندهی نشوند
مفید بودن این کمک می کند تا کنترل و اجرای وظایف کسب و کار اساسی را انجام دهد. این برنامه با برنامه ریزی،
.حل مسئله و پشتیبانی تصمیمات کمک می کند
نوع پرس و جو .پرسش های پیچیده شامل جمع پرس و جو در این فرایند استاندارد و ساده است.
پشتیبان گیری .پشتیبان کامل از داده ها همراه با پشتیبان گیری افزایشی نیاز به یک پشتیبان از زمان به زمان OLAP
مهم نیست OLTPاست .پشتیبان گیری در مقایسه با
نرم افزار گرا است .مثال :تغییرات طراحی پایگاه داده با صنایع مانند خرده فروشی ،خطوط هوایی ،بانکداری DBطراحی طرح
موضوع موضوع گرا است .مثال :تغییرات طراحی پایگاه داده با موضوعاتی نظیر فروش ،بازاریابی ،خرید DBطراحی و غیره
و غیره
نوع کاربر و متخصص پایگاه داده استفاده می شودDBA .این توسط کاربران داده های حیاتی مانند کارمند، استفاده
.شده توسط کاربران اطالعات دانش مانند کارگران ،مدیران و مدیر عامل
هدف طراحی شده برای عملیات تجاری در زمان واقعی. طراحی شده برای تجزیه و تحلیل اقدامات کسب و کار بر
.اساس طبقه بندی و ویژگی
تعداد کاربران این نوع از کاربران پایگاه داده اجازه می دهد تا هزاران نفر از کاربران. این نوع پایگاه داده اجازه می
.دهد تا تنها صدها نفر از کاربران
بهره وری این کمک می کند تا به افزایش خدمات خود و بهره وری کاربر کمک به افزایش بهره وری از
.تحلیلگران کسب و کار
انبار داده ها به لحاظ تاریخی یک پروژه توسعه بوده است که ممکن است برای ساخت آن هزینه داشته باشد .چالش یک
.برای دانش فنی و تجربه ضروری است OLAPاست .بنابراین ،مدیریت دانش openسرور SQLیک انبار داده OLAPمکعب
روند این نتایج سریع برای داده های روزانه استفاده می شود. .این تضمین می کند که پاسخ به پرس و جو سریعتر است
.این به کاربر اجازه می دهد یک نمایه را با کمک یک صفحه گسترده ایجاد کند ایجاد و نگهداری آسان است .مشخصه
سبک طراحی شده است تا زمان پاسخ سریع ،کمبود داده کم و نرمال شودOLTP . انبار داده ای منحصر به فرد ایجاد شده
است تا بتواند منابع داده های مختلف را برای ساخت یک پایگاه داده متشابه تلفیق کند
خالصه
• پردازش تحلیلی آنالین یک دسته از ابزارهای نرم افزاری است که تجزیه و تحلیل داده ها ذخیره شده در یک پایگاه داده
.است
• شناخته می شود از برنامه های تراکنش گرا در یک معماری 3بعدی OLTPپردازش معامله آنالین که به زودی به عنوان
پشتیبانی می کند
• یک پلت فرم واحد برای همه نوع نیازهای تجزیه و تحلیل کسب و کار ایجاد می کند که شامل برنامه ریزی ،بودجه OLAP
.بندی ،پیش بینی و تجزیه و تحلیل است
• .با تعداد زیادی از معامالت آنالین کوتاه مشخص می شود OLTP
• انبار داده ای منحصر به فرد ایجاد شده است تا بتواند منابع داده های مختلف را برای ساخت یک پایگاه داده متشابه تلفیق
.کند
• .مکعب یک صفحه گسترده و سه بعدی بدون تجربیات تجزیه و تحلیل را می گیرد OLAP
چیست؟ ETL
• استخراج می کند ،سپس داده ها را RDBMSبه عنوان یک فرآیند است که داده ها را از سیستم های منبع مختلف ETL
تغییر می دهد (مانند استفاده از محاسبات ،تلفات و غیره) و در نهایت داده ها را به سیستم انبار داده ها بارگیری می کند .فرم کامل
.است Loadو ETL Extract ،Transform
• وسوسه انگیز است فکر کردن ایجاد یک انبار داده به سادگی استخراج داده ها از منابع مختلف و بارگیری در پایگاه داده
نیاز به ورودی های فعال از ذینفعان ETLدارد .فرایند ETLیک انبار داده است .این دور از حقیقت است و نیاز به یک پروسه پیچیده
.مختلف از جمله توسعه دهندگان ،تحلیلگران ،آزمایشکنندگان ،مدیران ارشد و از لحاظ فنی به چالش کشیدن
• .برای حفظ ارزش آن به عنوان یک ابزار برای تصمیم گیرندگان ،سیستم انبار داده ها باید با تغییرات کسب و کار تغییر کند
یک فعالیت تکراری (روزانه ،هفتگی ،ماهانه) یک سیستم انبار داده است و نیاز به سرعت بخشیدن ،خودکار و مستند سازی ETL
.دارد
o این کمک می کند تا شرکت ها برای تجزیه و تحلیل داده های کسب و کار خود را برای تصمیم گیری های مهم کسب و
.کار
o .پاسخ داده می شود ETLپایگاه های داده عملیاتی نمی توانند به سواالت تجاری پیچیده پاسخ دهند که توسط
o .یک روش انتقال داده ها را از منابع مختلف به یک انبار داده فراهم می کند ETL
o .به عنوان منابع داده تغییر ،انبار داده به طور خودکار به روز رسانی خواهد شد
o .به خوبی طراحی شده و مستند شده برای موفقیت یک پروژه انبار داده تقریبا ضروری است ETLسیستم
o .اجازه می دهد که مقایسه داده های نمونه بین منبع و سیستم هدف انجام شود ETLفرایند
o .می تواند تحوالت پیچیده ای را انجام دهد و برای ذخیره داده ها نیاز به منطقه اضافی دارد ETLفرایند
o به مهاجرت داده ها به یک انبار داده کمک می کند .تبدیل به فرمت های مختلف و انواع برای پیوستن به یک سیستم ETL
.سازگار است
o .یک فرآیند از پیش تعریف شده برای دسترسی و دستکاری داده های منبع در پایگاه داده هدف است ETL
o .زمینه عمیق تاریخی برای کسب و کار ارائه می دهد ETL
o .این به بهبود بهره وری کمک می کند؛ زیرا آن را بدون نیاز به مهارت های فنی مورد استفاده قرار می دهد
مرحله )1استخراج
• در این مرحله ،داده ها از سیستم منبع به منطقه استقرار استخراج می شوند .تغییرات در هر صورت انجام می شود در
زمینه مکان به طوری که عملکرد سیستم منبع در نه تخریب شده است .همچنین ،اگر اطالعات خراب شده به طور مستقیم از منبع به
پایگاه داده انبار داده شده کپی شود ،باز گرداندن یک چالش خواهد بود .منطقه تحریر ،فرصتی را برای اعتبار داده های استخراج شده
.قبل از انتقال به انبار داده فراهم می کند
• منطقه مورد نیاز برای زمانی که میخواهید داده ها را از منابع مختلف چندگانه با هم جمع کنید یا اگر می خواهید با دو یا
با پیوستن دو جداول از دو پایگاه SQLچند سیستم پیوست شوید ،مورد نیاز است .به عنوان مثال ،شما قادر به انجام یک پرس و جو
.داده های متفاوت از لحاظ فیزیکی نخواهید بود
• مختلف ،سخت افزار ،سیستم عامل ها و پروتکل های ارتباطی دارد DBMS .انبار داده ها نیاز به ادغام سیستم هایی با
منابع می توانند شامل برنامه های قدیمی مانند فریم های اصلی ،برنامه های سفارشی ،مکان هایی از دستگاه های ارتباطی مانند
،.داده ها از فروشندگان ،شرکا در میان دیگران باشند ،ERPسوئیچ تماس ،فایل های متنی ،صفحات گستردهATM ،
• از این رو ،قبل از اینکه داده ها به صورت فیزیکی استخراج و بارگذاری شوند ،نیاز به یک نقشه داده منطقی است .این
.نقشه داده ارتباط بین منابع و داده های هدف را توصیف می کند
• صرف نظر از روش مورد استفاده ،استخراج نباید بر عملکرد و زمان پاسخ سیستم های منبع تأثیر بگذارد .این سیستم های
.منبع پایگاه داده های تولید زنده هستند .هر گونه کاهش یا قفل شدن می تواند خط پایین شرکت را تحت تاثیر قرار دهد
o اطمینان حاصل کنید که بدون هرزنامه /اطالعات ناخواسته بارگیری شده است
o تمام انواع داده های تکراری /تکه تکه را حذف کنید
مرحله )2تبدیل
• داده های استخراج شده از سرور منبع خام است و در فرم اصلی آن قابل استفاده نیست .بنابراین باید تمیز ،نقشه برداری و
ارزش آن را اضافه می کند و داده ها را تغییر می دهد تا گزارش ETLتبدیل شود .در حقیقت ،این یک گام کلیدی است که پروتکل
.های هوش مصنوعی تولید شود
• در این مرحله ،مجموعه ای از توابع در داده های استخراج شده اعمال می شود .داده هایی که نیازی به تغییری ندارند ،به
.عنوان حرکت مستقیم یا عبور از داده ها نامیده می شود
• در مرحله تحول ،می توانید عملیات سفارشی را روی داده انجام دهید .به عنوان مثال ،اگر کاربر بخواهد درآمد کل درآمد
که در پایگاه داده نیست .یا اگر نام و نام خانوادگی در یک جدول در ستون های مختلف باشد .ممکن است آنها را قبل از بارگذاری
.پیوند دهیم
• فیلتر کردن -فقط ستون های خاصی را برای بارگذاری انتخاب کنید
• استفاده از قوانین و جداول جستجو برای استاندارد سازی داده ها
• تبدیل واحدهای اندازه گیری مانند تبدیل تاریخ به زمان ،تبدیل ارز ،تبدیل عددی و غیره
• .بررسی اعتبار آستانه داده برای مثال ،سن نمی تواند بیش از دو رقم باشد
• )و غیره " "Fو زن به " "Mبه Gender Maleبه 0یا NULLبرای مثال ،نقشه برداری( تمیز کردن
• .تقسیم یک ستون به چندتایی و ادغام ستون های چندگانه را به یک ستون تک
• با استفاده از هر گونه اعتبار سنجی پیچیده (به عنوان مثال ،اگر دو ستون اول در یک ردیف خالی باشند ،آنگاه به طور
خودکار ردیف از پردازش را رد می کند)
گام )3بارگیری
• است .در یک انبار داده معمولی ،حجم زیادی از ETLبارگیری داده ها در پایگاه داده انبار هدف ،آخرین مرحله پروسه
.داده ها باید در یک دوره نسبتا کوتاه (شبانه) بارگیری شوند .از این رو ،فرآیند بار باید برای عملکرد بهینه سازی شود
• در صورت شکست بار ،مکانیسم های بازیابی باید پیکربندی شوند تا از نقطه خرابی بدون از دست دادن یکپارچگی
.اطالعات مجددا راه اندازی شوند .مدیران داده انبار نیاز به نظارت ،رزومه ،لغو بارها به عنوان عملکرد سرور غالب
o .تغییرات جاری را زمانی که مورد نیاز است به صورت دوره ای انجام دهید Load increment -
o .تازه سازی کامل -محتویات یک یا چند جدول و بارگیری مجدد با داده های تازه
تایید بار
o .اطمینان حاصل کنید که داده های فیلد کلیدی نه از دست رفته و نه خالی است
o .مقادیر ترکیب شده و اندازه گیری های محاسبه را بررسی کنید
o .را بر روی جدول واقعی و متغیر بارگذاری کنید BIگزارش های
ETLابزار
• بسیاری از ابزارهای انبارداری داده ها در بازار موجود هستند .در اینجا ،برخی از برجسته ترین ها هستند
یک راه حل انبارداری است که یکپارچه سازی داده ها را آسان تر و سریع تر از آرایه ای از ویژگی 1. MarkLogic: MarkLogic
.های سازمانی می کند .این می تواند انواع مختلفی از اطالعات مانند اسناد ،روابط و فراداده را پرس و جو کند
اوراکل :اوراکل پایگاه داده های پیشرو در صنعت است .این مجموعه طیف گسترده ای از راه حل های انبار داده را برای هر دو 2.
.در محل و در ابر ارائه می دهد .با افزایش بهره وری عملیاتی ،بهینه سازی تجارب مشتری کمک می کند
است .این یک ابزار ساده و مقرون به صرفه برای تجزیه و Datawarehouseآمازون ابزار RedShift: Redshiftآمازون 3.
است .همچنین اجازه می دهد تا پرس و جو های پیچیده BIو ابزارهای موجود SQLتحلیل تمام انواع داده ها با استفاده از استاندارد
.داده های ساخت یافته را اجرا کنید petabytesدر برابر
• هرگز چیزی را تمیز نکنید :همیشه چیزهایی را تمیز کنید زیرا بزرگترین دلیل برای ساختن انبار داده ها ،ارائه اطالعات
.پاک تر و قابل اطمینان است
• هزینه پاکسازی داده ها را تعیین کنید :قبل از پاکسازی تمام داده های کثیف ،برای تعیین هزینه پاک کردن برای هر عنصر
.داده کثیف مهم است
• برای سرعت بخشیدن به پردازش پرس و جو ،مشاهده و شاخص های کمکی :برای کاهش هزینه های ذخیره سازی،
اطالعات خالصه شده را به نوار دیسک ذخیره کنید .همچنین ،بین حجم داده ذخیره شده و استفاده دقیق آن الزم است .کاهش میزان
اطالعات موجود برای کاهش هزینه های ذخیره سازی
ETLچالش های
• می توانند پیچیدگی های قابل توجهی را شامل شوند و مشکالت سیستم عامل با استفاده از سیستم های ETLفرآیندهای
.رخ می دهد ETLنامناسب
• طیف وسیعی از مقادیر داده ها یا کیفیت داده ها در یک سیستم عملیاتی ممکن است انتظارات طراحان را در زمان
اعتبارسنجی و قوانین تبدیل مشخص کند .پروفیل داده ها از یک منبع در حین تجزیه و تحلیل داده ها می تواند شرایط داده ای را که
باید توسط قوانین قوانین تبدیل شود ،شناسایی می کند و منجر به اصالح قوانین اعتبار سنجی به صراحت و به طور ضمنی در فرایند
.اجرا می شود ETL
• یک ETLانبار داده ها معموال از منابع مختلفی با فرمت های مختلف و اهداف مختلف جمع می شوند .به همین ترتیب،
.فرایند کلیدی است که تمام داده ها را در یک محیط استاندارد و همگن قرار داده است
• را در طول عمر استفاده از آن تعیین کند ،از جمله درک حجم ETLتجزیه و تحلیل طراحی باید مقیاس پذیری یک سیستم
داده هایی که باید در توافقات سطح خدمات پردازش شوند .زمان در دسترس برای استخراج از سیستم های منبع ممکن است تغییر
باید ETLکند ،که ممکن است به این معنی باشد که داده های مشابه ممکن است در زمان کمتری پردازش شوند .بعضی از سیستم های
به منظور پردازش ترابایت داده ها برای به روز رسانی انبار داده ها با ده ها ترابایت داده پردازش شوند .افزایش حجم داده ها ممکن
است نیاز به طرح هایی داشته باشد که می توانند از دسته های روزانه تا چندگانه چندگانه به یکپارچگی با صف پیام یا تغییر در زمان
.واقعی برای تبدیل و به روز رسانی مستمر بپردازند
ETL vs ELT
• است که در آن داده های استخراج شده در ابتدا به سیستم هدف منتقل می ETLنوعی از ) (ELTاستخراج ،بارگذاری ،تبدیل
شود .معماری خط لوله تجزیه و تحلیل نیز باید در جایی که برای تمیز کردن و غنی سازی داده ها و همچنین نحوه مطابقت با ابعاد آن
.را در نظر بگیریم
• قادر به Computing Snowflakeو Google BigQueryآمازون Redshift ،انبارهای اطالعاتی مبتنی بر ابر مانند
ارائه محاسبات بسیار محسوسی هستند .این اجازه می دهد تا کسب و کارها از تحویل پیش بارگیری و تکرار داده های خام در
.آنها را تغییر دهند SQLانبارهای داده خود ،که در آن آنها می توانند با استفاده از
• mart.ممکن است پردازش بیشتر و ذخیره شده در یک داده ELTپس از استفاده از داده های
• در پایگاه ، ELTدر حالی که ETLجوانب مثبت و منفی برای هر رویکرد وجود دارد .بیشترین ابزار ادغام داده ها نسبت به
.داده و لوازم انبار داده محبوب است
چیست؟ ETL
• داده ها را از سیستم های منبع مختلف ETLاست .در این فرایند یک ابزار Loadو Extract ،Transformمخفف ETL
استخراج می کند و سپس اطالعات را مانند استفاده از محاسبات ،تلفیق و غیره و سپس داده ها را در سیستم انبار داده RDBMS
.بارگذاری می کند
• .فرایند پردازش از هر گونه تغییرات داده مراقبت می کند ETLاز منبع به مقصد جریان دارد .در موتور ETLداده های
چیست؟ ELT
• به ELTروش متفاوتی به دنبال رویکرد ابزار به حرکت داده است .به جای تبدیل داده ها قبل از آن نوشته شده استELT ،
.سیستم هدف اجازه می دهد که این تغییر را انجام دهد .داده ها ابتدا به هدف کپی شده و سپس در جای خود تغییر یافتند
• ،دستگاه داده یا نصب ابری استفاده می شود Hadoopمانند خوشه SQLمعموال با پایگاه های داده بدون ELT
خالصه
• .یک روش انتقال داده ها را از منابع مختلف به یک انبار داده فراهم می کند ETL
• .در اولین گام استخراج ،داده ها از سیستم منبع به منطقه تولیدی استخراج می شوند
• .در مرحله تحول ،داده های استخراج شده از منبع پاکسازی و تبدیل می شوند