Professional Documents
Culture Documents
ЛБ №1
ЛБ №1
Виконання
Задача 1
Розподіл ймовірностей появи символів на виході немарковського джерела
з алфавітом потужності є таким:
Тривалості символів
Розрахувати ентропію, продуктивність та надмірність джерела.
Розв’язання
1) ентропія
3) продуктивність
4) надмірність
Задача 2
Розв’язання
Задача 3
Розв’язання
Контрольні запитання:
• Алфавіт: Множина усіх можливих символів (або станів), які можуть бути
випущені джерелом інформації.
• Ймовірності: Ймовірності появи кожного символу в алфавіті. Вони
визначають, наскільки часто кожен символ випускається джерелом.
• Ентропія: Міра невизначеності або середньої кількості інформації, яку
можна отримати від символів, що випускаються джерелом. Це основний
показник інформаційної потужності джерела.
• Середня довжина кодового слова: Середня кількість бітів, яка потрібна
для кодування кожного символу залежно від його ймовірності.
• Надмірність: Різниця між максимальною можливою ентропією і
реальною ентропією джерела. Вона вказує на те, наскільки ефективно
використовується потенціал джерела для передачі інформації.