Лабораторна робота №1

ДИСКРЕТНІ ДЖЕРЕЛА ІНФОРМАЦІЇ

Мета роботи
Ознайомитися з основними характеристика джерел дискретної інформації.
Дослідити бінарне джерело інформації.

Виконання
Задача 1
Розподіл ймовірностей появи символів на виході немарковського джерела
з алфавітом потужності є таким:

Тривалості символів
Розрахувати ентропію, продуктивність та надмірність джерела.
Розв’язання

Користуючись виразами (1.1), (1.3), (1.4), (1.5), знаходимо:

1) ентропія

2) середня тривалість символу

3) продуктивність

4) надмірність

R = 1 – 2,058 / log 2 5 = 0,114 .

Задача 2

Розв’язання

Маємо два дискретних немарковських джерела інформації з

алфавітами та з такими розподілами ймовірностей
появи символів:
Не розраховуючи ентропії джерел, дати відповідь, яке з них має більшу ентропію.

Оскільки розподіл імовірностей появи символів на виході джерела з алфавітом

є більш близьким до рівноймовірного, ентропія цього джерела буде більшою,
ніж джерела з алфавітом .

Розрахунки підтверджують цей висновок:

Задача 3

Матриця ймовірностей сумісної появи символів на виходах двох немарковських

джерел з алфавітами та має вигляд:

Визначити, яке з джерел має більшу ентропію та чи є джерела статистично

незалежними.

Розв’язання

Для відповіді на перше запитання розрахуємо, користуючись виразами (1.13),

безумовні ймовірності появи символів на виходах першого та другого джерел:

p(x1) = 0,0336 + 0,3150 + 0,0714 = 0,42 ;

p(x2) = 0,0264 + 0,2475 + 0,0561 = 0,33 ;

p(x3) = 0,0200 + 0,1875 + 0,0425 = 0,25 ;

p(y1) = 0,0336 + 0,0264 + 0,0200 = 0,08 ;

p(y2) = 0,3150 + 0,2475 + 0,1875 = 0,75 ;

p(y3) = 0,0714 + 0,0561 + 0,0425 = 0,17 .

Тепер можемо знайти ентропії джерел за виразом (1.1):

Таким чином, джерело з алфавітом має більшу ентропію, ніж джерело з

алфавітом . Відповідь на друге запитання можна отримати різними
способами. По-перше, оскільки вже відомі значення ентропій та
,доцільно перевірити, чи виконується рівність (1.18).
Для цього розрахуємо сумісну ентропію . Підставивши чисельні
значення ймовірностей у вираз (1.11), отримаємо:

Оскільки , джерела є статистично

незалежними. Другий спосіб базується на перевірці виконання
співвідношень для всіх пар символів:

p(x1)  p(y1) = 0,420,08 = 0,0336 ;

p(x2)  p(y1) = 0,330,08 = 0,0264 ;

p(x3)  p(y1) = 0,250,08 = 0,0200 ;

p(x1)  p(y2) = 0,420,75 = 0,3150 ;

p(x2)  p(y2) = 0,330,75 = 0,2475 ;

p(x3)  p(y2) = 0,250,75 = 0,1875 ;

p(x1)  p(y3) = 0,420,17 = 0,0714 ;

p(x2)  p(y3) = 0,330,17 = 0,0561 ;

p(x3)  p(y3) = 0,250,17 = 0,0561 .

Як і слід було очікувати, розраховані ймовірності цілком збігаються із

відповідними значеннями ймовірностей сумісної появи символів, що
наведені в умовах задачі.

Найбільш універсальним способом оцінки статистичної залежності джерел є

обчислення повної взаємної інформації . Аналізуючи вираз (1.23), легко
зрозуміти, що для джерел цієї задачі , оскільки для усіх пар

Ще один спосіб розв’язання задачі базується на аналізі матриці умовних

імовірностей. Розрахуємо, наприклад, умовні ймовірності ,
користуючись виразом :
Всі елементи кожного стовпця однакові і дорівнюють безумовній
ймовірності появи відповідного символу . Це означає, що ймовірність
появи символу на виході першого джерела не залежить від символу на виході
другого джерела. Можна переконатись, що i в матриці умовних ймовірностей
всі елементи кожного стовпця будуть однаковими і дорівнювати .

Контрольні запитання:

1. Назвіть основні характеристики дискретних джерел інформації.

• Алфавіт: Множина усіх можливих символів (або станів), які можуть бути
випущені джерелом інформації.
• Ймовірності: Ймовірності появи кожного символу в алфавіті. Вони
визначають, наскільки часто кожен символ випускається джерелом.
• Ентропія: Міра невизначеності або середньої кількості інформації, яку
можна отримати від символів, що випускаються джерелом. Це основний
показник інформаційної потужності джерела.
• Середня довжина кодового слова: Середня кількість бітів, яка потрібна
для кодування кожного символу залежно від його ймовірності.
• Надмірність: Різниця між максимальною можливою ентропією і
реальною ентропією джерела. Вона вказує на те, наскільки ефективно
використовується потенціал джерела для передачі інформації.

2. Які властивості має ентропія?

Ентропія має наступні властивості:

• Позитивність: Ентропія завжди не менше нуля і може досягати

нуля лише у випадку, коли всі ймовірності рівні нулю, крім одного.
• Максимум при рівних ймовірностях: Максимальне значення
ентропії досягається, коли всі символи в алфавіті мають однакові
ймовірності.
• Адитивність: Ентропія джерела, що складається з декількох
незалежних джерел, дорівнює сумі їхніх ентропій.
• Зменшення при відомості: Якщо ми дізнаємося додаткову
інформацію про випадковий символ, ентропія цього символу
зменшується.

3. Яка відмінність між технічною та інформаційною швидкістю?

Технічна швидкість визначається кількістю бітів, які можуть бути передані

за одиницю часу, наприклад, у бітах на секунду (bps) або кілобітах на
секунду (kbps). Це вимірює потужність трансмісійного каналу або
пристрою передачі.