Professional Documents
Culture Documents
Лекція - 1.1.Дискретні джерела інформації
Лекція - 1.1.Дискретні джерела інформації
1
Будемо говорити, що глибина пам’яті марковського дискретного
джерела інформації дорівнює h, ( h 0 ), якщо ймовірність появи чергового
символу залежить тільки від h попередніх символів на виході цього джерела.
Кількість інформації – одне із основних понять теорії інформації, яка
розглядає технічні аспекти інформаційних проблем, тобто вона дає відповіді
на запитання такого типу: якою повинна бути ємність запам’ятовуючого
пристрою для запису даних про стан деякої системи, якими повинні бути
характеристики каналу зв’язку для передачі певного повідомлення тощо.
Кількісна оцінка інформації пов’язана з поняттям ентропії. Ентропія є
мірою невизначеності, непрогнозованості ситуації. Зменшення ентропії, що
відбулось завдяки деякому повідомленню, точно збігається з кількістю
інформації, яка міститься в цьому повідомленні.
Для дискретного немарковського ( без пам’яті ) джерела інформації
ентропія H визначається за таким виразом:
M
H p( x i ) l og p ( x i ) . (1.1)
i 1
Зазначимо, що H не залежить від того, якими є випадкові події або
величини ( якщо xi – випадкова величина ), а визначається тільки
значеннями ймовірностей. Це означає, що ентропія є характеристикою
розподілу ймовірностей.
Значення H показує, яку кількість інформації в середньому дає поява
одного символу на виході дискретного джерела інформації. Ця міра
запропонована американським математиком і інженером Клодом Шенноном.
Якщо основа логарифма в (1.1) дорівнює двом, то одиниці вимірювання
H, а також кількості інформації називають бітами або двійковими одиницями.
Ентропія дискретного розподілу ймовірностей завжди невід’ємна і
набуває максимального значення H max , коли всі p ( x i ) мають однакові
значення:
p( xi ) 1 / M . (1.2)
В цьому разі маємо міру кількості інформації, яку ще до Шеннона було
запропоновано англійським математиком Р.Хартлі. Підставимо (1.2) в (1.1),
отримаємо
H = H max = log 2 M . (1.3)
2
Значення H max збігається з кількістю двійкових комірок па-м’яті, які
необхідно мати, щоб зафіксувати за допомогою двійкового коду інформацію
про один із M можливих станів системи, або про символ, що з’явиться на
виході дискретного джерела інформації.
Ентропія дорівнює нулю, якщо ймовірність появи одного з символів є
одиниця ( при цьому, звичайно, ймовірність появи будь - якого іншого
символа буде дорівнювати нулю ); в такій ситуації невизначеність відсутня.
Продуктивність H джерела інформації – це кількість інформації, що
виробляється джерелом за одиницю часу:
H = H/ , (1.4)
M
де p( xi ) i – середня тривалість символу, i – тривалість символу
i 1
xi .
Надмірність ( надлишок ) R дискретного джерела інформації дає
відносну оцінку використання потенційних можливостей джерела з алфавітом
заданої потужності M :
H max – H log 2 M – H
R= = H = 1 – (1.5)
H max log 2 M log 2 M .
4
p( y k / xi ) p( y k ) ,
(1.8)
p( xi , y k ) p( x i ) p( y k ) .
В цьому випадку
H (Y / X ) H (Y / x i ) H (Y ) ;
(1.9)
H ( X / Y ) H ( X / yk ) H ( X ) .
Середня умовна ентропія H (Y / X ) не може перевищувати безумовну
p ( x1 , y1 ) p ( x 2 , y1 ) p ( x M , y1 )
p( x , y ) p( x 2 , y 2 ) p( x M , y 2 )
1 2
. (1.12)
p( x1 , y N ) p( x 2 , y N ) p( x M , y N )
Сума елементів k -го рядка цієї матриці дорівнює безумовній імовірності
p ( y k ) появи символу y k на виході другого джерела, а сума елементів i -
5
го стовпця – безумовній ймовірності p ( xi ) появи символу x i на виході
першого джерела:
M
p( y k ) p( x i , y k ) ;
i 1
(1.13)
N
p( xi ) p( xi , y k ) .
k 1
ймовірностей p( xi ) та p ( y k ) .
Ентропію H ( X , Y ) системи двох джерел, користуючись виразом
(1.14), подамо у вигляді:
M N
H ( X ,Y ) p( xi ) l og 2 p( xi ) p( y k / xi )
i 1 k 1
(1.15)
M N
p( xi ) p( y k / xi ) l og 2 p( y k / xi ) .
i 1 k 1
6
Аналогічно можна показати, що
H ( X , Y ) H (Y ) H ( X / Y ) . (1.17)
Якщо джерела статистично незалежні, то із виразу (1.9) виходить
H ( X , Y ) H ( X ) H (Y ) . (1.18)
У загальному випадку
H ( X , Y ) H ( X ) H (Y ) . (1.19)
Для системи, що складається з S джерел з алфавітами X 1 , X 2 , X 3 ,..., X S ,
ентропія визначається так:
H ( X 1 , X 2 ,..., X S ) H ( X 1 ) H ( X 2 / X 1 )
(1.20)
H ( X 3 / X 2 , X 1 ) ... H ( X S / X S 1 , X S 2 ,..., X 2 , X 1 ) .
Звичайно, як і для двох джерел, має місце співвідношення
H ( X 1 , X 2 ,..., X S ) H ( X 1 ) H ( X 2 ) .. H ( X S ) , (1.21)
де рівність має місце, коли всі джерела статистично незалежні.
Звернемось знову до системи двох дискретних джерел. Спостерігаючи
за виникненням символів на виході одного із джерел, наприклад першого, в
загальному випадку будемо отримувати певну кількість інформації про появу
символів на виході другого джерела. Ця інформація I ( X , Y ) в розрахунку
на один символ буде дорівнювати зменшенню ентропії другого джерела.
Оскільки початкова або апріорна ентропія другого джерела ( тобто ентропія,
яка мала місце до спроби, де під спробою будемо розуміти появу символу на
виході першого джерела, який є доступним ) дорівнює H (Y ) , а залишкова
або апостеріорна ( після спроби ) ентропія буде H (Y / X ) , то
I ( X , Y ) H (Y ) H (Y / X ) . (1.22)
Ця величина показує, яка кількість інфомації в середньому міститься в одному
символі першого джерела про виникнення символів на виході другого
джерела.
Користуючись виразами для безумовної та умовної ентропій, після
деяких перетворень можна отримати:
M N
p( xi , y k )
I ( X ,Y ) p( xi , y k ) l og 2 p( xi ) p( y k )
. (1.23)
i 1 k 1
Крім того, враховуючи (1.16) та (1.17), будемо мати такі інтерпретації для
I ( X ,Y ) :
7
I ( X , Y ) H ( X ) H (Y ) H ( X , Y )
(1.24)
H ( X ) H ( X / Y ) I (Y , X ) .
Тобто кількість інформації, що містить в середньому символ на виході
першого джерела про виникнення символів на виході другого джерела,
дорівнює кількості інформації, яка міститься в середньому в символі на виході
другого джерела про виникнення символів на виході першого. Через це
I ( X , Y ) має назву повної взаємної інформації. Аналіз виразів (1.22), (1.23),
(1.24) показує, що рівність повної взаємної інформації нулю є необхідною і
достатньою умовою статистичної незалежності джерел.
Користуючись поняттям умовної ентропії, можна отримати вираз для
обчислення ентропії H П ( X ) джерела з пам’яттю, яке має алфавіт X .
Якщо глибина пам’яті такого джерела дорівнює h , а потужність алфавіту
M , то можна вважати, що перед генерацією чергового символу джерело
знаходиться в одному з Q M h станів, де під станом розуміємо одну з
8
визначається тільки попереднім символом x i ; в цьому разі ентропія
H П 1 ( X ) джерела обчислюється за таким виразом:
M M
H П1(X ) p( x ) p( x
i 1
i
k 1
k / x i ) l og 2 p ( x k / x i )
(1.27)
M M
p( x k , xi ) l og 2 p( x k / xi ) .
i 1 k 1
Для джерела з глибиною пам’яті h 2 стан визначається парою символів
( x i , x j ) , а ентропія:
M M M
H П2 (X ) p( xi , x j , x k ) log 2 p( x k / xi , x(1.28)
j).
i 1 j 1 k 1
Аналогічно можна отримати вирази для ентропій марковських джерел при
більш глибоких статистичних зв’язках.
Задача 1.2.1
Розподіл ймовірностей появи символів на виході немарковського
джерела з алфавітом X потужності M 5 є таким:
p ( x1 ) p( x 2 ) 0,1 ; p ( x 3 ) 0,15 ; p ( x 4 ) 0,2 ; p ( x 5 ) 0,45 .
Тривалості символів 1 2 3 2 мс ; 4 1 мс ; 5 3 мc .
Розрахувати ентропію, продуктивність та надмірність джерела.
9
R = 1 – 2,058 / log 2 5 = 0,114 .
Задача 1.2.2
Маємо два дискретних немарковських джерела інформації з алфавітами
Задача 1.2.3
Матриця ймовірностей сумісної появи символів на виходах двох
немарковських джерел з алфавітами X {x1 , x2 , x3 } та Y { y1 , y 2 , y 3 }
має вигляд:
p ( x1 , y1 ) p ( x 2 , y1 ) p ( x 3 , y1 ) 0,0336 0,0264 0,0200
p( x , y ) p( x 3 , y 2 ) 0,1875
1 2 p( x 2 , y 2 ) 0,3150 0,2475 .
p ( x1 , y 3 ) p( x 2 , y 3 ) p( x 3 , y 3 )
0,0714 0,0561 0,0425
10
H ( X ) 1,553 біт ; H (Y ) 1,037 біт.
Таким чином, джерело з алфавітом X має більшу ентропію, ніж джерело з
алфавітом Y .
Відповідь на друге запитання можна отримати різними способами. По-
перше, оскільки вже відомі значення ентропій H ( X ) та H (Y ) , доцільно
перевірити, чи виконується рівність (1.18). Для цього розрахуємо сумісну
ентропію H ( X , Y ) . Підставивши чисельні значення ймовірностей у вираз
(1.11), отримаємо:
H ( X , Y ) 2,59 біт.
Оскільки H ( X ) H (Y ) 1,533 1,037 2,59 H ( X , Y ) , джерела є
статистично незалежними.
Другий спосіб базується на перевірці виконання співвідношень
11
Ще один спосіб розв’язання задачі базується на аналізі матриці умовних
імовірностей. Розрахуємо, наприклад, умовні ймовірності p ( xi / y k ) ,
користуючись виразом p ( xi / y k ) p ( xi , y k ) / p ( y k ) :
p ( x1 / y1 ) p ( x 2 / y1 ) p ( x 3 / y1 ) 0,42 0,33 0,25
p( x / y ) p( x 3 / y 2 ) 0,25
1 2 p( x 2 / y 2 ) 0,42 0,33
.
p ( x1 / y 3 )
p( x 2 / y 3 )
p( x 3 / y 3 )
0,42 0,33 0,25
Задача 1.2.4
Маємо три дискретних немарковських джерела інформації з алфавітами
X {x1 , x 2 , x3 } , Y { y1 , y 2 } , Z {z1 , z 2 } . Матриці ймовірностей
сумісної появи пар символів є такими:
p( x1 , y1 ) p( x 2 , y1 ) p( x3 , y1 ) 0,28 0,08 0,04
p( x , y ) p( x , y ) p( x , y ) 0,42 0,12 0,06 ,
1 2 2 2 3 2
p ( x1 , z1 ) p ( x 2 , z1 ) p ( x 3 , z1 ) 0,50 0,05 0
p( x , z ) ,
1 2 p( x 2 , z 2 ) p ( x 3 , z 2 )
0,20 0,15 0,10
p ( y1 , z1 ) p ( y 2 , z1 ) 0,35 0,15
p( y , z ) .
1 2 p ( y 2 , z 2 )
0,05 0,45
Визначити, між якими джерелами статистичний зв’язок найбільший, а між
якими найменший.
Розв’язання. Для відповіді на поставлене запитання треба знайти
значення повної взаємної інформації для всіх пар джерел, та порівняти їх.
Найпростіше в даному разі користуватись виразом
I ( X , Y ) H ( X ) H (Y ) H ( X , Y ) .
Щоб обчислити безумовні ентропії кожного з джерел, знайдемо безумовні
ймовірності появи символів на виході джерел за виразом (1.13):
12
p( x1 ) 0,7 ; p( x 2 ) 0,2 ; p ( x 3 ) 0,1 ;
p( y1 ) 0,4 ; p ( y 2 ) 0,6 ;
p( z1 ) 0,5 ; p ( z 2 ) 0,5 .
Слід зазначити, що значення кожної з ймовірностей можна отримати двома
шляхами. Так p ( y i ), i 1,2 є сумою елементів відповідних ря-дків першої
матриці, або елементів стовпців третьої матриці. Це означає, що матриці,
наведені в завданні, відповідним чином узгоджені.
Розрахуємо ентропії джерел, користуючись (1.1):
H( X) = 1,157 біт ; H( Y) = 0,971 біт ; H (Z ) = 1,0 біт .
Далі за виразом (1.11) знаходимо сумісні ентропії:
H ( X , Y ) 2,218 біт ; H ( X , Z ) 1,923 біт ;
H (Y , Z ) 1,675 біт .
Нарешті отримаємо:
I ( X , Y ) 1,157 0,971 2,128 0 біт ;
I ( X , Z ) 1,157 1,0 1,923 0,234 біт ;
I (Y , Z ) 0,971 1,0 1,675 0,296 біт .
Рівність нулю I ( X , Y ) означає, що джерела з алфавітами X та Y
статистично незалежні. Найбільший статистичний зв’язок має місце між
джерелами з алфавітами Y та Z , оскільки I (Y , Z ) має найбільше
значення.
Задача 1.2.5
13
p ( x2, y2, z1 ) = 0,300;
p ( x2, y2, z2 ) = 0,060.
Знайти ентропії кожного з джерел, системи трьох джерел, а також повну
взаємну інформацію для кожної пари джерел.
p ( x 2 ) 1 p ( x1 ) ;
2 2
p ( y1 ) p( xi , y1 , z j ) ;
i 1 j 1
p ( y 2 ) 1 p ( y1 ) ;
2 2
p ( z1 ) p( xi , y k , z1 ) ;
i 1 k 1
p ( z 2 ) 1 p( z1 ) .
p( y1 , z1 ) p ( y 2 , z1 ) 0,32 0,372
p( y , z ) p ( y , z ) 0,08 0,228 ,
1 2 2 2
14
p( x1 , z1 ) p( x 2 , z1 ) 0,12 0,572
p( x , z ) p( x , z ) 0,18 0,128 .
1 2 2 2
Отримаємо
p ( z1 / x1 , y1 ) 0,8 ; p ( z 2 / x1 , y1 ) 0,2 ;
p ( z1 / x 2 , y1 ) 0,8 ; p( z 2 / x 2 , y1 ) 0,2 ;
p ( z1 / x1 , y 2 ) 0,3 ; p( z 2 / x1 , y 2 ) 0,7 ;
p ( z1 / x 2 , y 2 ) 0,8333 ; p ( z 2 / x 2 , y 2 ) 0,1667 .
Далі знаходимо частинні умовні ентропії
2
H ( Z / x1 , y1 ) p( z k / x1 , y1 ) l og 2 p( z k / x1 , y1 ) 0,7219 біт ,
k 1
аналогічно
15
H ( Z / x 2 , y1 ) 0,7219 біт ,
H ( Z / x1 , y 2 ) 0,8813 біт ,
H ( Z / x 2 , y 2 ) 0,6501 біт .
Тепер обчислимо повну умовну ентропію:
2 2
H ( Z / X , Y ) H ( Z / x i , y k ) p( xi , y k ) 0,7343 біт .
k 1 i 1
Нарешті
H ( X , Y , Z ) 0,8813 0,9162 0,7343 2,5316 біт .
Задача 1.2.6
16
p ( x1 ) 0,76543 ; p ( x 2 ) 0,12346 ; p ( x 3 ) 0,11111 .
Тепер можна скористуватись безпосередньо виразом (1.27) , або ж обчислити
частинні умовні ентропії для кожного стану джерела, а потім знайти ентропію
марковського джерела, як математичне сподівання вищезгаданих частинних
умовних ентропій. Кожна частинна умовна ентропія H ( X / x i ) – це ентропія
розподілу умовних імовірностей, розташованих в одному з рядків матриці
(1.29).
Обравши другий шлях, будемо мати:
3
H ( X / x1 ) p( x k / x1 ) l og 2 p( x k / x1 ) 0,922 біт ;
k 1
H ( X / x 2 ) 1,157 біт; H ( X / x 3 ) 1,371 біт ;
3
H П1 ( X ) H ( X / xi ) p( xi ) 1,001 біт .
i 1
Задача 1.2.7
Маємо два дискретних джерела з алфавітами X {x1 , x2 ,..., x M } та
Y { y1 , y 2 ,..., y N } . Перше джерело – марковське з глибиною пам’яті
h = 1. Воно описується матрицею умовних ймовірностей
17
Отримати вираз для ентропії через ймовірності появи символів y k на виході
другого джерела при цих умовах досить важко, оскільки для цього необхідно
знати не тільки безумовні ймовірності p ( y k ) , але й умовні –
p( y k / y j ), p( y k / y n y j ) тощо. Для вирішення цієї задачі краще
скористуватись виразами (1.16, 1.17), з яких можна отримати
H (Y ) H ( X ) H (Y / X ) H ( X / Y ) . (1.32)
Ентропія H ( X ) для марковського джерела з глибиною пам’яті h 1
знаходиться за виразом (1.27). Розрахунок ентропії для такого джерела при
M 3 наведено в задачі 1.2.6.
Умовна ентропія H (Y / X ) знаходиться за виразом (1.7) – значення
p( y k ) p( xі / y k )
p( y k / xі ) .
p( xі )
Таким чином, отримали всі компоненти, щоб розрахувати всі складові
правої частини (1.32).
Припустимо, що перше джерело має характеристики із задачі 1.2.6,
потужність алфавіту другого джерела M 3 , а матриця (1.31) має вигляд
p ( y1 / x1 ) p ( y 2 / x1 ) p ( y 3 / x1 ) 0,7 0,15
p( y / x ) p ( y 3 / x 2 )
1 2 p( y 2 / x2 ) 0,2 0,6
p ( y1 / x 3 )
p( y 2 / x3 )
p ( y 3 / x3 )
0 0
.
Послідовно виконуючи вищезгадані дії, отримаємо:
H( Y/ X ) = 1,073 біт ;
p(y 1 ) = 0,56049; p(y 2 ) = 0,18889; p(y 3 ) = 0,25062;
p ( x1 / y1 ) p ( x 2 / y1 ) p ( x 3 / y1 ) 0,95595 0,04405 0
p ( x / y ) p( x p ( x 3 / y 2 )
1 2 2 / y2 ) 0,60784 0,39216 0
p ( x1 / y 3 ) p ( x 2 / y 3 ) p ( x 3 / y 3 )
0,45813 0,09852
0,44335
Задача 1.2.8
Маємо два немарковських дискретних джерела інформації з алфавітами
X x1 , x 2 , x3 , Y y1 , y 2 , y 3 . Ймовірності появи символів на виході
першого джерела
p( x1 ) 0,65; p( x 2 ) 0,2; p ( x3 ) 0,15.
Значення умовних ймовірностей p ( y k / xі ) виникнення символу y k на
. (1.33)
Розрахувати ентропії кожного з джерел, системи двох джерел та повну взаємну
інформацію.
19
.
Тепер неважко пересвідчитись (зробіть це самостійно), що
H(X,Y ) = I (X,Y ) = H( X ) = H( Y ) = 1,28 біт .
1.3. Задачі
21
2 0,22 0,78 0,43 0,57 3,3 5,1
3 0,15 0,85 0,64 0,36 2,6 1,1
4 0,92 0,08 0,84 0,16 0,3 0,4
5 0,62 0,38 0,24 0,76 2,3 1,4
6 0,59 0,41 0,61 0,39 8,6 3,4
7 0,35 0,65 0,16 0,84 15 7
8 0,55 0,45 0,97 0,03 5,4 1,5
9 0,12 0,88 0,35 0,65 1,2 0,2
10 0,58 0,42 0,82 0,18 2,8 3,5
11 0,16 0,84 0,52 0,48 7,6 2,1
12 0,64 0,36 0,83 0,17 0,5 0,3
13 0,18 0,82 0,44 0,56 2,5 1,4
14 0,80 0,20 0,71 0,29 3,4 5,8
15 0,25 0,75 0,33 0,67 36 18
16 0,55 0,45 0,11 0,89 0,6 1,8
17 0,21 0,79 0,16 0,84 1,8 1,2
18 0,95 0,05 0,63 0,37 5 14
19 0,23 0,77 0,51 0,49 0,2 0,1
20 0,75 0,25 0,84 0,16 3,7 2,1
1.3.4. Маємо два немарковських дискретних джерела інформації з
алфавітами X = {x 1 , x 2 , x 3 } та Y = { y 1 , y 2 }. Чисельні значення безумовних
p( y k ) та умовних p( y k / x i ) ймовірностей виникнення символів на виході
джерела з алфавітом Y відомі та для різних варіантів наведені у таблиці 1.3.4.
Отримати чисельні значення ентропії H ( X , Y ) системи цих двох джерел та
повної взаємної інформації I ( X , Y ). Яке з цих джерел має більшу
надмірність?
Таблиця 1.3.4
№ p( y1 / x1 ) p( y 2 / x1 ) p( y 3 / x1 )
варіанта p( y 1 ) p( y 2 ) p( y 3 ) p( y / x ) p( y 2 / x 2 ) p( y 3 / x 2 )
1 2
22
0,75 0,15 0,10
4 0,575 0,29 0,135 0,25
0,55 0,20
0,36 0,15 0,49
5 0,304 0,29 0,406 0,16
0,65 0,19
0,40 0,19 0,41
6 0,479 0,348 0,173 0,50
0,39 0,11
0,15 0,18 0,67
7 0,206 0,168 0,626 0,43
0,12 0,45
0,28 0,48 0,24
8 0,266 0,466 0,268 0,14
0,34 0,52
0,40 0,12 0,48
9 0,424 0,136 0,44 0,55
0,22 0,23
0,74 0,23 0,03
10 0,656 0,188 0,156 0,54
0,13 0,33
0,17 0,33 0,50
11 0,257 0,504 0,239 0,27
0,53 0,20
0,37 0,58 0,05
12 0,412 0,202 0,386 0,42
0,13 0,45
0,15 0,48 0,37
13 0,181 0,449 0,37 0,25
0,38 0,37
0,53 0,34 0,13
14 0,368 0,178 0,454 0,33
0,14 0,53
0,74 0,16 0,10
15 0,532 0,082 0,386 0,34
0,01 0,65
0,33 0,14 0,53
16 0,236 0,328 0,436 0,13
0,54 0,33
0,27 0,15 0,58
17 0,483 0,221 0,296 0,57
0,25 0,18
0,18 0,15 0,67
18 0,312 0,348 0,34 0,38
0,45 0,17
0,11 0,17 0,72
19 0,168 0,286 0,546 0,31
0,57 0,12
23
0,36 0,12 0,52
20 0,444 0,225 0,331 0,48
0,27 0,25
24