ЛЕКЦІЯ № 4

Алгоритми рекурентного згладжування.

Навчальна дисципліна: «Вступ до технології Data Science»

Навчально-методичний комплекс:
https://drive.google.com/drive/folders/1xqv2CMJ_BJmOL8QK2GjUne6coi0T5l2U?usp=sharing
Конференція:
https://bbb.comsys.kpi.ua/b/xkx-dhx-zyb-oeg

РОЗДІЛ 1. Методологічні основи Data Science.

РОЗДІЛ 1.1. Прикладний статистичний аналіз даних.

Київ 2021
ВСТУП
 ВСТУП
ПИТАННЯ ЗАНЯТТЯ:
1. Рекурентне згладжування, фільтр Калмана.
2. Нелінійний фільтр Калмана.
3. Технології рекурентного згладжування в Python.
 ВСТУП

НАВЧАЛЬНА ЛІТЕРАТУРА:
1. Навчально-методичний комплекс з дисципліни “Вступ до технології Data Science”,
[https://drive.google.com/drive/folders/1xqv2CMJ_BJmOL8QK2GjUne6coi0T5l2U?usp=sharing ].
2. Писарчук О.О. Нелінійне та багатокритеріальне моделювання процесів у системах керування рухом /
Писарчук О.О., Харченко В.П. – Монографія. – К.: Інститут обдарованої дитини, 2015. – 248 с.
3. Писарчук О.О. Багатокритеріальні математичні моделі ситуаційного управління та самоорганізації у складних
інформаційних системах / Писарчук О.О., Даник Ю. Г., Шестаков В.І., Соколов К.О., та інші. – Монографія. – Житомир:
ПП «Рута», 2016. – 232 c.
4. Ковбасюк С.В. Метод найменших квадратів та його практичне застосування / С.В. Ковбасюк, О.О. Писарчук,
М.Ю. Ракушев // Монографія . – Житомир: ЖВІ НАУ, 2008. – 228 с.
5. Салюк М.А. Статистична обробка даних експериментального дослідження. Методичний посібник з курсу
«Експериментальна психологія» / за ред. Е.Л. Носенко. – Дніпропетровськ: Інновація, 2010. – 26 с.
6. Ланде Д.В., Субач І.Ю., Бояринова Ю.Є. Основи теорії і практики інтелектуального аналізу даних у сфері
кібербезпеки: навчальний посібник. – К.: ІСЗЗІ КПІ ім. Ігоря Сікорського», 2018. — 297 с.
7. Бахрушин В.Є. Методи аналізу даних : навчальний посібник для студентів / В.Є. Бахрушин. – Запоріжжя : КПУ,
2011. – 268 с.
8. Уэс Маккинли Python та аналіз даних / Пер. с англ.., 2015. – 482 с.: ил.
9. Плас Дж. Вандер. Python для складних завдань: наука про дані та машинне навчання, 2018. – 576 с.
10. Майкл Хейдт. Вивчаємо pandas. Високопродуктивна обробка та аналіз даних в Python, 2018. – 438 с.
11. Себастьян Рашка, Вахид Мирджалили. Python та машинне навчання. Машинне та глибоке навчання з
використанням Python, scikit-learn, TensorFlow. К.: Діалектика, 2020. – 656 с.
12. Патрик Джоши. Штучний інтелект з прикладами на Python. К.: Діалектика, 2020. – 448 с. .
 Питання 1.
Рекурентне згладжування,
фільтр Калмана.
 1. Первинний аналіз експериментальних даних. АВ.

Етапи прикладного статистичного аналізу

1. Первинний аналіз
статистичних даних

2. Визначення статистичних
характеристик

3. Побудова експериментальної
моделі (згладжування)

4. Екстраполяція

5. Інтерполяція
 1. Первинний аналіз експериментальних даних. АВ.

Етапи прикладного статистичного аналізу

1. Первинний аналіз
4., 5. Інтерполяція статистичних даних
(екстраполяція) АВ
АВ 2. Визначення статистичних
характеристик

Модель процесу

3. Побудова
експериментальної моделі
Ділянка Ділянка Ділянка
інтерполяції спостереження екстраполяції
 2. Загальні відомості про рекурентне та накопичене згладжування.

Статистична вибірка - відображає надмірність даних, за суттю ДИСКРЕТНИХ

Параметрична надмірність Часова надмірність

Відомий Відомий виміряний
P виміряний процес
параметр P
Параметр
Параметр

P0
Невідомий P0
реальний
параметр

t0 Час t t0 t1 t2 Час t
Поняття згладжування відображає процес обробки Невідомий реальний
часової надмірності як побудови лінії тренду і процес
визначення її аналітичної моделі із зменшенням
випадкової похибки вимірювання
2. Загальні відомості про рекурентне та накопичене згладжування.
1.1. Рекурентний
alfa-beta фільтр.
1.1. Рекурентний alfa-beta фільтр.
1.1. Рекурентний alfa-beta фільтр.
1.1. Рекурентний alfa-beta фільтр.
1.1. Рекурентний alfa-beta фільтр.
 1.2. Рекурентний
alfa-beta-gama фільтр.
1.2. Рекурентний alfa-beta-gama фільтр.
1.3. Фільтр Калмана.
 1.2. Фільтр Калмана.

Алгоритм і особливості фільтра Калмана

 1.2. Фільтр Калмана.

Алгоритм і особливості фільтра Калмана

 1.2. Фільтр Калмана.

Алгоритм і особливості фільтра Калмана

 Питання 2.
Нелінійний фільтр
Калмана.
 Метод диференціальних перетворень академіка ПУХОВА Г.Є.

Головна ідея
Математичний апарат диференціальних перетворень відноситься до класу
операторних методів, відмінність якого полягає в диференціюванні оригіналу
для одержання зображення.

Область Алгебраізована форма Область

оригіналу нелінійної задачі оригіналу

Область
зображень
Нелінійна задача Розв'язок нелінійної
(форма) задачі
Сутність операторних методів
Метод диференціальних перетворень академіка ПУХОВА Г.Є.
Метод диференціальних перетворень академіка ПУХОВА Г.Є.
Метод диференціальних перетворень академіка ПУХОВА Г.Є.
Метод диференціальних перетворень академіка ПУХОВА Г.Є.
2. Нелінійний фільтр Калмана.
2. Нелінійний фільтр Калмана.
2. Нелінійний фільтр Калмана.
2. Нелінійний фільтр Калмана.
2. Нелінійний фільтр Калмана.
2. Нелінійний фільтр Калмана.
 Питання 3.
Технології рекурентного
згладжування в Python.
3. Технології рекурентного згладжування в Python.

Реалізується
самостійно
на Лр2

Досліджується
на Лр3
3. Технології рекурентного згладжування в Python.

,
 3. Технології рекурентного згладжування в Python.

alfa-beta фільтр – вхідний потік без похибок

Вхідний нелінійний процес

Зміщення оцінки “-”

Зміщення оцінки “+”

Обробка лінійного
процесу лінійним
Оцінка за alfa-beta
фільтром
фильтром

Випадкова похибка відсутні – наявне розходження лінійного фільтру (поява

динамічної помилки) через неспівпадіння моделі і реального процесу
 3. Технології рекурентного згладжування в Python.

alfa-beta фільтр – вхідний потік з нормальними похибками

Перехідний процес

Точність оцінок за
alfa-bеta фільтрjv

Точність оцінок
МНК

Вхідний потік за лінійним законом. Зміщеність відсутня, але

спостерігається перехідний процес
 3. Технології рекурентного згладжування в Python.

alfa-beta фільтр – вхідний потік з АВ – 10%

Перехідний процес

Точність оцінок за
alfa-bеta фільтр

Точність оцінок
МНК

Вхідний потік за лінійним законом. Зміщеність відсутня, але

спостерігається перехідний процес
 3. Технології рекурентного згладжування в Python.

alfa-beta фільтр – вхідний потік з АВ – 60%

Перехідний процес

Точність оцінок за
alfa-bеta фільтр

Точність оцінок
МНК

Вхідний потік за лінійним законом. Зміщеність відсутня, але

спостерігається перехідний процес
 3. Технології рекурентного згладжування в Python.

alfa-beta фільтр – вхідний потік з АВ – 10%

Перехідний процес

Точність оцінок за
alfa-bеta фільтром

Точність оцінок
МНК

Вхідний потік за квадратичним законом. Спостерігається

зміщеність та перехідний процес
 3. Технології рекурентного згладжування в Python.

alfa-beta фільтр – вхідний потік без похибок

Вхідний нелінійний процес

Зміщення оцінки “-”

Зміщення оцінки “+”

Обробка лінійного
процесу лінійним
Оцінка за alfa-btna
фільтром
фильтром

Випадкова похибка відсутні – наявне розходження лінійного фільтру (поява

динамічної помилки) через неспівпадіння моделі і реального процесу
3.1. Бібліотека Pandas
 3.1. Бібліотека Pandas

Загальні відомості

Pandas це високорівнева Python бібліотека для аналізу даних. Бібліотека

побудована поверх низкоуровневої бібліотеки NumPy (написана на С), що є великим
плюсом в продуктивності. В екосистемі Python, pandas є найбільш просунутою що
швидко розвивалася бібліотекою для обробки і аналізу даних.

Інформаційна підтримка Pandas:

https://pandas.pydata.org/docs/
 3.1. Бібліотека Pandas

Загальні відомості

Функціонал Pandas:

• Представлення одновимірних даних - Series;

• Представлення багатовимірних даних - DataFrame и Series;
• Виконання операцій над об'єктами Series та DataFrame и Series;
• Реалізація чисельних та статистичних методів;
• Широкі можливості інтеграції даних із зовнішніх файлів;
• Обробка часових рядів;
• Робота із часовими параметрами;
• Сегментація, агрегація , кластеризація даних;
• Візуалізація результатів обробки даних.
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
3.1. Бібліотека Pandas
ВИСНОВКИ
ДЯКУЮ ЗА УВАГУ !

Навчальна дисципліна: «Вступ до технології Data Science»

Навчально-методичний комплекс:
https://drive.google.com/drive/folders/1xqv2CMJ_BJmOL8QK2GjUne6coi0T5l2U?usp=sharing
Конференція:
https://bbb.comsys.kpi.ua/b/rc9-ibe-pdb-zk
b

Київ 2021