Mat Inf Ea Efop Hu

You might also like

Download as pdf or txt
Download as pdf or txt
You are on page 1of 225

Matematika és információelmélet mérnököknek előadás

Baran Sándor

A tananyag elkészítését az EFOP-3.4.3-16-2016-00021 számú projekt támogatta. A projekt


az Európai Unió támogatásával, az Európai Szociális Alap társfinanszírozásával valósult
meg.

Baran Sándor Matematika és információelmélet előadás 1 / 239


Irodalom

Brian Davies: Integráltranszformációk és alkalmazásaik. Műszaki


Könyvkiadó, Budapest, 1983.

John J. D’Azzo, Constantine H Houpis, Stuart N. Sheldon: Linear


Control System Analysis and Design with Matlab. Marcel Dekker,
New York, 2003.

Györfi László, Győri Sándor, Vajda István: Információ- és kódelmélet.


Typotex, 2010.

Járai Antal: Modern alkalmazott analízis. Typotex, Budapest, 2008.

Baran Sándor Matematika és információelmélet előadás 2 / 239


Tartalom
1 Mátrixkalkulus
2 Többváltozós függvények differenciálszámítása
3 Optimalizálási feladatok numerikus megoldása
4 Többváltozós függvények integrálszámítása
5 Laplace transzformált és alkalmazásai
6 A Fourier transzformált és tulajdonságai
7 Digitális jelek, z-transzformált
8 Forráskódolás alapjai, egyértelműen dekódolható és prefix kódok
9 Az entrópia és tulajdonságai. Blokk kódolás
10 Univerzális forráskódolás. Lempel-Ziv algoritmusok
11 Kvantálás, mintavételezés
12 Transzformációs kódolás. DPCM, Jayant-kvantáló, delta-moduláció,
prediktorok
13 Hang és beszédkódolás
14 Képkódolás, videokódolás
Baran Sándor Matematika és információelmélet előadás 3 / 239
Mátrixok

Definíció. A valós vagy komplex számok m sorba és n oszlopba való


 
a11 a12 · · · a1n
 a21 a22 · · · a2n 
 
A= . .. .. 
 .. . . 
am1 am2 · · · amn

alakú elrendezését m × n dimenziós valós, illetve komplex mátrixnak ne-


vezzük. Ha n = m, akkor A n-edrendű négyzetes mátrix.

Alapvető ismert mátrixműveletek:


összeadás és skalárral (R vagy C eleme) való szorzás;
mátrixok szorzása;
transzponálás.

Baran Sándor Matematika és információelmélet előadás 5 / 239


Speciális mátrixok
Definíció. Egy A mátrixot szimmetrikusnak nevezünk, ha A⊤ = A.
( )
Definíció. Egy m × n dimenziós A = aij mátrix diagonális, ha csupán a
főátlójában tartalmaz nullától különböző elemeket, azaz aij = 0, ha i ̸= j.
Jelölése az n = m esetben: A = diag(a11 , a22 , . . . , ann ).
Az olyan n-edrendű négyzetes diagonális mátrixot, melynek főátlójában
csupa 1 áll, n-edrendű egységmátrixnak nevezzük. Jelölése: In .
Definíció. Egy m×n dimenziós valós A mátrix ortogonális, ha A⊤ A = In .
Megjegyzés. Az A mátrix ortogonalitása pontosan azt jelenti, hogy a
mátrix a1 , a2 , . . . , an oszlopvektorai ortonormáltak, azaz
{
1, ha i = j,
a⊤i aj = i, j = 1, 2, . . . n.
0, ha i ̸= j,

Definíció. Egy A n-edrendű négyzetes mátrix hatványai:


A0 := In , A1 := A, An := An−1 A, n ∈ N.
Baran Sándor Matematika és információelmélet előadás 6 / 239
Sajátértékek
Definíció. Legyen A egy n-edrendű négyzetes mátrix. Ha egy λ skalár és
x ̸= 0 vektor esetén
Ax = λx,
akkor λ az A mátrix sajátértéke, x pedig a λ sajátértékhez tartozó saját-
vektor.
( )
Ekvivalens megfogalmazás: Ax = λx ⇐⇒ A − λIn x = 0.
( )
Megjegyzés. Az A − λIn x = 0 homogén lineáris egyenletrendszernek
pontosan akkor létezik triviálistól különböző (x ̸= 0) megoldása, ha
( )
det A − λIn = 0.

Definíció. A ( )
p(λ) := det A − λIn
n-edfokú polinomot az A mátrix karakterisztikus polinomjának nevezzük.
Baran Sándor Matematika és információelmélet előadás 7 / 239
Sajátvektorok
Egy n-edrendű kvadratikus mátrixnak multiplicitással együtt pontosan n
darab sajátértéke van.
( ) ( )⊤
Az A = aij mátrix λ sajátértékéhez tartozó x = x1 , x2 . . . , xn saját-
vektor az
    
a11 − λ a12 ··· a1n x1 0
 a21 a − · · · a   x   
 22 λ 2n   2  0
 .. .. ..   ..  =  .. 
 . . .   .  .
an1 an2 · · · ann − λ xn 0

homogén lineáris egyenletrendszer megoldása.


Megjegyzés. Ha x megoldja a fenti egyenletet, akkor tetszőleges c ̸= 0
skalár esetén cx is megoldás, azaz a sajátvektorok nem egyértelműek.
√ √
Normált sajátvektor: ∥x∥2 := x⊤ x = |x1 |2 + |x2 |2 + · · · + |xn |2 = 1.
√ √
n ⊤
Ha x ∈ R , akkor ∥x∥2 := x x = x21 + x22 + · · · + x2n = 1.
Baran Sándor Matematika és információelmélet előadás 8 / 239
Példa
   
−1 −1 1 −1 − λ −1 1
A = −4 2 4 , A − λI3 =  −4 2−λ 4 .
−1 1 5 −1 1 5−λ

Karakterisztikus polinom:
( )
p(λ) = det A − λI3 = −λ3 + 6λ2 + 4λ − 24.

A sajátértékek (a p(λ) polinom gyökei): λ1 = 6, λ2 = −2, λ3 = 2.


( )
A λ1 = 6 sajátértékhez tartozó sajátvektor az A−6I3 x = 0 egyenletrendszer megoldása.

         
( ) −7 −1 1 x1 0 7 1 −1 x1 0
A − 6I3 x = −4 −4 4  x2  = 0 ⇐⇒ 0 1 −1 x2  = 0 .
−1 1 −1 x3 0 0 0 0 x3 0

A megoldás paraméteres: x1 = 0, x2 = t, x3 = t, ahol 0 ̸= t ∈ R tetszőleges.


( √ √ )⊤
A λ1 = 6 sajátértékhez tartozó normált sajátvektor: x1 = 0, 1/ 2, 1/ 2 .

Baran Sándor Matematika és információelmélet előadás 9 / 239


MATLAB megoldás
>> A=[-1 -1 1;-4 2 4;-1 1 5]; Sajátértékek: λ1 = 6, λ2 = −2, λ3 = 2.
>> [V L]=eig(A)
Normált sajátvektorok rendre:
V =    
0√ 0.0000
x1 = 1/√2 = 0.7071 ,
0.0000 0.7071 0.4082 1/ 2 0.7071
0.7071 0.7071 -0.8165
√   
0.7071 0.0000 0.4082 1/√2 0.7071
x2 = 1/ 2 = 0.7071 ,
L = 0 0.0000
 √   
6.0000 0 0 1/ √6 0.4082
0 -2.0000 0 x3 = −2/√ 6 = −0.8165 .
0 0 2.0000 1/ 6 0.4082

További példák
   
3 −1 2 −1 −1 1
B= 3 −1 6 , C= 4 2 4 .
−2 2 −2 −1 1 5
Baran Sándor Matematika és információelmélet előadás 10 / 239
Példa, többszörös sajátértékek

>> B=[3 -1 2;3 -1 6;-2 2 -2]; Sajátértékek: λ1 = λ3 = 2, λ2 = −4.


>> [V L]=eig(B) Sajátvektorok általános alakja:
   
V = s − 2t u
0.8890 -0.2673 0.0730 x1 = x3 =  s , x2 =  3u  ,
0.3810 -0.8018 0.9062 t −2u
-0.2540 0.5345 0.4166
ahol s, t, u ∈ R, u ̸= 0, s2 + t2 ̸= 0.
L = x1 , x3 egy kétdimeziós alteret feszít fel, ennek
2 0 0 tetszőleges bázisát vehetjük.
0 -4 0
0 0 2 Az s = 0, illetve t = 0 választáshoz tartozó
normált sajátvektorok:

     
( √ ) −2 ( √ ) 1 ( √ ) 1
x1 = 1/ 5  0  , x2 = 1/ 14  3  , x3 = 1/ 2 1 .
1 −2 0

Baran Sándor Matematika és információelmélet előadás 11 / 239


Példa, komplex sajátértékek
>> C=[-1 -1 1;4 2 4;-1 1 5];
>> [V L]=eig(C)

V =
0.2132 - 0.4264i 0.2132 + 0.4264i 0.0000 + 0.0000i
-0.8528 + 0.0000i -0.8528 + 0.0000i 0.7071 + 0.0000i
0.2132 - 0.0000i 0.2132 + 0.0000i 0.7071 + 0.0000i

L =
0.0000 + 2.0000i 0.0000 + 0.0000i 0.0000 + 0.0000i
0.0000 + 0.0000i 0.0000 - 2.0000i 0.0000 + 0.0000i
0.0000 + 0.0000i 0.0000 + 0.0000i 6.0000 + 0.0000i

Sajátértékek: λ1 = 2i, λ2 = −2i, λ3 = 6.


Normált sajátvektorok:
     
( √ ) 1 − 2i ( √ ) 1 + 2i ( √ ) 0
x1 = 1/ 22  −4  , x2 = 1/ 22  −4  , x3 = 1/ 22 1 .
1 1 1

Baran Sándor Matematika és információelmélet előadás 12 / 239


Sajátértékek tulajdonságai
Tétel. Szimmetrikus valós mátrix sajátértékei valósak.
( )
Definíció. Egy A = aij n-edrendű kvadratikus mátrix nyoma
tr(A) = a11 + a22 + · · · + ann .

Tétel. Legyenek λ1 , λ2 , . . . , λn az A n-edrendű kvadratikus mátrix saját-


értékei. Ekkor

tr(A) = λ1 + λ2 + · · · + λn = nk=1 λk ;

det(A) = λ1 · λ2 · · · · · λn = nk=1 λk .
Következmény. Egy A kvadratikus mátrix pontosan akkor szinguláris,
azaz det(A) = 0, ha a 0 sajátértéke.

Tétel. Legyenek λ1 , λ2 , . . . , λn az A n-edrendű kvadratikus mátrix saját-


értékei. Ekkor
Ak sajátértékei λk1 , λk2 , . . . , λkn , k ∈ N;
ha A reguláris, akkor A−1 sajátértékei 1/λ1 , 1/λ2 , . . . , 1/λn .
Baran Sándor Matematika és információelmélet előadás 13 / 239
Pozitív definit és pozitív szemidefinit mátrixok
Definíció. Egy A n-edrendű valós négyzetes mátrix pozitív szemidefinit,
ha tetszőleges x ∈ Rn esetén
x⊤ Ax ≥ 0.
Az A mátrix pozitív definit, ha tetszőleges 0 ̸= x ∈ Rn esetén
x⊤ Ax > 0.

Tétel. Egy A n-edrendű valós szimmetrikus mátrix esetén a következő


állítások ekvivalensek:
A pozitív definit; ( )
A összes sarokminora pozitív, azaz ∆k := det Ak > 0, k = 1, 2, . . . , n,
ahol Ak az A mátrix bal felső sarkában lévő k-adrendű kvadratikus
részmátrix.
A sajátértékei pozitívak.

Megjegyzés. Egy szimmetrikus, pozitív szemidefinit mátrix sajátértékei


nemnegatívak.
Baran Sándor Matematika és információelmélet előadás 14 / 239
Negatív definit és negatív szemidefinit mátrixok
Definíció. Egy A valós szimmetrikus négyzetes mátrix negatív definit, ha
sajátértékei negatívak és negatív szemidefinit, ha a sajátértékei nem pozití-
vak.

Tétel. Legyen A egy n-edrendű valós szimmetrikus mátrix és jelölje ∆k az


A mátrix k-adik sarokminorát, k = 1, 2, . . . , n.
A pontosan akkor negatív definit, ha (−1)k ∆k > 0, k = 1, 2, . . . , n.
Ha (−1)k ∆k > 0, k = 1, 2, . . . , n − 1, és ∆n = 0, akkor A negatív
szemidefinit.
Ha ∆k > 0, k = 1, 2, . . . , n − 1, és ∆n = 0, akkor A pozitív szemide-
finit.

Definíció. Egy valós szimmetrikus mátrix indefinit, ha se nem pozitív, se


nem negatív szemidefinit (így nem lehet pozitív és negatív definit sem).

Tétel. Tetszőleges A valós mátrix esetén A⊤ A pozitív szemidefinit. A⊤ A


pontosan akkor pozitív definit, ha A oszlopai lineárisan függetlenek.
Baran Sándor Matematika és információelmélet előadás 15 / 239
Mátrix polinomok
Definíció. Legyen

p(x) = α0 + α1 x + · · · + αk xk

egy tetszőleges valós vagy komplex együtthatós polinom, A pedig egy


n-edrendű négyzetes mátrix. Ekkor a p(x) polinom A mátrixben vett értéke

p(A) := α0 In + α1 A + · · · + αk Ak .

Cayley-Hamilton tétel. Legyen A egy n-edrendű négyzetes mátrix, p(λ)


pedig az A karakterisztikus polinomja. Ekkor

p(A) = 0n ,

ahol 0n a csupa nullából álló n-edrendű négyzetes mátrixot jelöli.

Baran Sándor Matematika és információelmélet előadás 16 / 239


Mátrix hatványsorok
Definíció. Legyen


f(x) = αk xk
k=0
egy tetszőleges valós vagy komplex hatványsor, A pedig egy n-edrendű
négyzetes mátrix. Ekkor


f(A) := αk Ak ,
k=0

amennyiben ez a sor konvergens.

Példák. Legyen A egy n-edrendű négyzetes mátrix.


∑∞ k ∞

x x Ak
1 exp(x) = e = , azaz exp(A) = .
k! k!
k=0 k=0

∑ ∞

(−1)k x2k (−1)k A2k
2 cos(x) = , azaz cos(A) = .
(2k)! (2k)!
k=0 k=0
Baran Sándor Matematika és információelmélet előadás 17 / 239
Mátrix hatványsorok kiszámítása
A: n-edrendű négyzetes mátrix p(x) karakterisztikus polinommal.
f(x): tetszőleges polinom vagy hatványsor.

Cél: határozzuk meg az f(A) értékét zárt alakban.

Maradékos osztás:
[ ]
f(x) = g(x) · p(x) + r(x), ahol deg r(x) ≤ n − 1.

Cayley-Hamilton tétel: p(A) = 0n , azaz f(A) = r(A).

Elegendő meghatározni az

r(x) = β0 + β1 x + · · · βn−1 xn−1

polinom együtthatóit.

Baran Sándor Matematika és információelmélet előadás 18 / 239


Egyszeres sajátértékek

Tegyük fel, hogy p(x) gyökei (A sajátértékei) egyszeresek, azaz

p(x) = (−1)n (x − λ1 )(x − λ2 ) · · · (x − λn ).

p(λi ) = 0, így f(λi ) = g(λi )p(λi ) + r(λi ) = r(λi ), i = 1, 2, . . . , n.


Az
r(x) = β0 + β1 x + · · · βn−1 xn−1
polinom együtthatóinak meghatározáshoz meg kell oldani a

f(λi ) = β0 + β1 λi + · · · βn−1 λn−1


i , i = 1, 2, . . . , n,

lineáris egyenletrendszert.

Baran Sándor Matematika és információelmélet előadás 19 / 239


Példa
Határozzuk meg az f(A) := exp(A) értékét, ha
   
−1 −1 1 4 0 0
A = −4 2 4 , azaz A = −8
2
12 24 .
−1 1 5 −8 8 28

Karakterisztikus polinom: p(x) = −x3 + 6x2 + 4x − 24 = −(x − 6)(x + 2)(x − 2).


Sajátértékek: λ1 = 6, λ2 = −2, λ3 = 2.
Az r(x) maradék polinom alakja: r(x) := β0 + β1 x + β2 x2 .
A megoldandó egyenletrendszer:

e6 = β0 + 6β1 + 36β2 ; e−2 = β0 − 2β1 + 4β2 ; e2 = β0 + 2β1 + 4β2 .

A megoldás:
1( ) 1( 2 ) 1( 6 )
β0 = − e6 + 6e2 + 3e−2 , β1 = e − e−2 , β2 = e − 2e2 + e−2 .
8 4 32
 −2 −2

2
e +3e 2
−e +e e2 −e−2
1 6
exp(A) = −e −2e2 +3e−2 e6 +2e2 +e−2 3e6 −2e2 −e−2  .
4
−e6 +e2 e6 −e2 3e6 −e2

Baran Sándor Matematika és információelmélet előadás 20 / 239


Többszörös sajátértékek
Tegyük fel, hogy p(x) gyökei (A sajátértékei):
λ1 : ℓ1 -szeres, λ2 : ℓ2 -szeres, · · · , λk : ℓk -szoros, ℓ1 + ℓ2 + · · · + ℓk = n.
A karakterisztikus polinom:
p(x) = (−1)n (x − λ1 )ℓ1 (x − λ2 )ℓ2 · · · (x − λk )ℓk .
p(λi ) = p′ (λi ) = p′′ (λi ) = · · · = p(ℓi −1) (λi ) = 0, i = 1, 2, . . . , k, így
f(λi ) = g(λi )p(λi )+r(λi ) = r(λi );
f′ (λi ) = g′ (λi )p(λi )+g(λi )p′ (λi )+r′ (λi ) = r′ (λi );
f′′ (λi ) = g′′ (λi )p(λi )+2g′ (λi )p′ (λi )+g(λi )p′′ (λi )+r′′ (λi ) = r′′ (λi );
..
.
f(ℓi −1) (λi ) = ··· = r(ℓi −1) (λi ), i = 1, 2, . . . , k.
A megoldandó, n egyenletből álló n ismeretlenes egyenletrendszer:
f(j) (λi ) = r(j) (λi ), i = 1, 2, . . . , k, j = 1, 2, . . . , ℓi .
Baran Sándor Matematika és információelmélet előadás 21 / 239
Példa
Határozzuk meg az f(B) := exp(B) értékét, ha
   
3 −1 2 2 2 −4
B= 3 −1 6 , azaz B2 = −6 10 −12 .
−2 2 −2 −4 −4 12

Karakterisztikus polinom: p(x) = −x3 + 12x − 16 = −(x − 2)2 (x + 4).


Sajátértékek: λ1 = λ2 = 2, λ3 = −4.
Az r(x) maradék polinom alakja: r(x) := β0 + β1 x + β2 x2 ; r′ (x) = β1 + 2β2 x.
A megoldandó egyenletrendszer:
e2 = β0 + 2β1 + 4β2 ; e2 = β1 + 4β2 ; e−4 = β0 − 4β1 + 16β2 .

A megoldás:
1( ) 1( 2 ) 1( 2 )
β0 = − 4e2 + e−4 , β1 = 4e − e−4 , β2 = 5e + e−4 .
9 9 36
 
7e2 −e−4 −e2 +e−4 e2 −e−2
6 6 3
 
exp(B) = 

e2 −e−4
2
e2 +e−4
2
2
e −e −4  .

−e2 +e−4 e2 −e−4 e2 +2e−4
3 3 4

Baran Sándor Matematika és információelmélet előadás 22 / 239


MATLAB megoldás
   
−1 −1 1 3 −1 2
A = −4 2 4, B= 3 −1 6 . >> A=[-1 -1 1;-4 2 4;-1 1 5];
−1 1 5 −2 2 −2 >> expA=expm(A)
  expA =
e2 +3e−2 −e2 +e−2 e2 −e−2
4 4 4
 
eA = 

−e6 −2e2 +3e−2
4
e6 +2e2 +e−2
4
3e6 −2e2 −e−2 
4  1.9488 -1.8134 1.8134
−e6 +e2 e6 −e2 3e6 −e2 -104.4502 104.5856 298.8432
4 4 4
  -99.0099 99.0099 304.4189
1.9488 −1.8134 1.8134
= −104.4502 104.5856 298.8432 . >> B=[3 -1 2;3 -1 6;-2 2 -2];
−99.0099 99.0099 304.4189 >> expB=expm(B)
 
7e2 −e−4 −e2 +e−4 e2 −e−2
6 6 3 expB =
 
eB = 

e2 −e−4
2
e2 +e−4
2
2
e −e −4 

8.6175 -1.2285 2.4569
−e2 +e−4 e2 −e−4 e2 +2e−4
3 3 4 3.6854 3.7037 7.3707
  -2.4569 2.4569 2.4752
8.6175 −1.2285 2.4569
=  3.6854 3.7037 7.3707 .
−2.4569 2.4569 2.4752
Baran Sándor Matematika és információelmélet előadás 23 / 239
Mátrixok szinguláris felbontása
Tétel. Tetszőleges m × n dimenziós valós A mátrixnak létezik egy
A = UΣV⊤
alakú szinguláris felbontása, ahol U és V rendre m × m és n × n dimenzi-
ós ortogonális mátrixok, Σ pedig egy m × n dimenziós diagonális mátrix,
melynek főátlójában a σ1 ≥ σ2 ≥ · · · ≥ σmin{m,n} ≥ 0 valós értékek állnak,
amiket az A szinguláris értékeinek nevezünk.
Megjegyzés. A pozitív sziguláris értékek száma megegyezik az A mát-
rix r rangjával. Ekkor a szinguláris felbontás:

r
A= σi ui v⊤
i ,
i=1
ahol ui , illetve vi rendre az U, illetve V mátrix i-edik oszlopa.

Alkalmazások:
képfeldolgozás: tömörítés, zajszűrés (deblurring);
digitális jelfeldolgozás: zajszűrés.
Baran Sándor Matematika és információelmélet előadás 24 / 239
Szimmetrikus mátrixok spektrálfelbontása

Tétel. Legyen A egy n-edrendű valós, négyzetes, szimmetrikus mátrix,


λ1 ≥ λ2 ≥ · · · ≥ λn az A sajátérékei, q1 , q2 , . . . , qn pedig a megfelelő
ortonormált sajátvektorok. Az A mátrix spektrálfelbontása


n
A= λi qi q⊤
i .
i=1

Mátrixos alakban
A = QΛQ⊤ ,
ahol Q az az ortogonális mátrix melynek oszlopai a q1 , q2 , . . . , qn saját-
vektorok és Λ = diag(λ1 , λ2 , . . . , λn ).

Megjegyzés. Szimmetrikus pozitív definit négyzetes mátrix esetén a


spektrálfelbontás éppen a szinguláris felbontással egyenlő.

Baran Sándor Matematika és információelmélet előadás 25 / 239


MATLAB svd függvény használata

>> A=[1 2 3 4;5 6 7 8];

Teljes felbontás Takarékos felbontás

>> [U,S,V]=svd(A) >> [U,S,V]=svd(A,'econ')

U = U =
-0.3762 -0.9266 -0.3762 -0.9266
-0.9266 0.3762 -0.9266 0.3762

S = S =
14.2274 0 0 0 14.2274 0
0 1.2573 0 0 0 1.2573

V = V =
-0.3521 0.7590 -0.4001 -0.3741 -0.3521 0.7590
-0.4436 0.3212 0.2546 0.7970 -0.4436 0.3212
-0.5352 -0.1165 0.6910 -0.4717 -0.5352 -0.1165
-0.6268 -0.5542 -0.5455 0.0488 -0.6268 -0.5542

Baran Sándor Matematika és információelmélet előadás 26 / 239


Moore-Penrose pszeudoinverz
Definíció. Legyen A egy m × n dimenziós valós mátrix, melynek szingulá-
ris felbontása
A = UΣV⊤ .
Az A mátrix Moore-Penrose pszeudoinverze az

A+ = VΣ+ U⊤

n × m dimenziós mátrix, ahol a Σ+ mátrix úgy áll elő, hogy a Σ nemnulla


elemeit a reciprokukkal helyettesítjük, majd a kapott mátrixot transzponál-
juk.
Tétel. Tetszőleges mátrixnak létezik pszeudoinverze és az egyértelmű.
Tétel. A pszeudoinverz tulajdonságai:
AA+ A = A és A+ AA+ = A+ ;
( + )⊤ ( )⊤
AA = AA+ és A+ A = A+ A;
amennyiben A invertálható, A+ = A−1 .
Baran Sándor Matematika és információelmélet előadás 27 / 239
Lineáris egyenletrendszerek megoldása

Tekintsük az Ax = b alakú lineáris egyenletrendszert, ahol A egy m × n


dimenziós valós mátrix, b ∈ Rm , x ∈ Rn .

Az egyenletrendszer általános megoldása: x∗ = A+ b.


Amennyiben az egyenletrendszernek létezik egyértelmű megoldása,
úgy x∗ éppen a megoldás.
Amennyiben az egyenletrendszernek több megoldása van, akkor a
megoldások közül x∗ normája a legkisebb.
Amennyiben az egyenletrendszer ellentmondásos, azaz nincs megoldá-
sa, úgy x∗ az ∥Ax − b∥2 minimumhelyei közül a minimális normájú.

Baran Sándor Matematika és információelmélet előadás 28 / 239


MATLAB pinv függvény használata
>> A=[1 2 3 4;5 6 7 8]; >> C=[-1 -1 1;4 2 4;-1 1 5];
>> A_inv=pinv(A) >> det(C)

A_inv = ans =
-0.5500 0.2500 24
-0.2250 0.1250
0.1000 -0.0000 >> C_inv=pinv(C)
0.4250 -0.1250
C_inv =
>> B=[-1 -1 1;4 2 4;3 1 5]; 0.2500 0.2500 -0.2500
>> det(B) -1.0000 -0.1667 0.3333
0.2500 0.0833 0.0833
ans =
0 >> inv(C)

>> B_inv=pinv(B) ans =


0.2500 0.2500 -0.2500
B_inv = -1.0000 -0.1667 0.3333
-0.2115 0.1538 -0.0577 0.2500 0.0833 0.0833
-0.2179 0.1282 -0.0897
0.2372 -0.0513 0.1859
Baran Sándor Matematika és információelmélet előadás 29 / 239
Összefoglaló az egyváltozós függvények deriválásáról
Definíció. Azt mondjuk, hogy az f : R 7→ R függvény differenciálható az
x pontban, ha létezik a

f(x + h) − f(x) df
lim =: f′ (x) = (x)
h→0 h dx
határérték. Az f′ (x) érték az f függvény deriváltja az x pontban.
Megjegyzés. f pontosan akkor differenciálható az x pontban, ha létezik
a ∈ R, melyre
f(x + h) − f(x) − a · h
lim = 0.
h→0 h
Ekkor a = f′ (x).
Megjegyzés. Legjobb lineáris approximáció:

f(x + h) ≈ f(x) + f′ (x) · h.

Baran Sándor Matematika és információelmélet előadás 31 / 239


Többváltozós függvények deriválása
Definíció. Azt mondjuk, hogy az f : Rn 7→ R függvény differenciálható az
x ∈ Rn pontban, ha létezik egy a ∈ Rn vektor, melyre

f(x + h) − f(x) − a⊤ h
lim = 0.
h→0 ∥h∥2

A a vektort az f függvény x pontbeli gradiensvektorának nevezzük, a je-


lölése ∇f(x).

Definíció Azt mondjuk, hogy az f : Rn 7→ R függvény xi -szerint parciáli-


san deriválható az x = (x1 , x2 , . . . , xn ) ∈ Rn pontban, ha létezik a

∂f f(x + hei ) − f(x)


(x) := lim
∂xi h→0 h
f(x1 , . . . , xi−1 , xi + h, xi+1 , . . . xn ) − f(x1 , . . . , xi−1 , xi , xi+1 , . . . xn )
= lim
h→0 h
∂f
határérték. ∂xi az f i-edik parciális deriváltja, i = 1, 2, . . . , n.
Baran Sándor Matematika és információelmélet előadás 32 / 239
Másodrendű parciális deriváltak.
Tétel. Ha az f : Rn 7→ R függvény differenciálható az x ∈ Rn pontban,
akkor léteznek a parciális deriváltjai és a gradiense
( )⊤
∂f ∂f ∂f
∇f(x) = (x), (x), . . . , (x) .
∂x1 ∂x2 ∂xn

Megjegyzés. A ∂x ∂f
i
: Rn 7→ R, i = 1, 2, . . . , n, parciális deriváltaknak is
tekinthetjük a parciális deriváltjait. Ekkor kapjuk a
∂2f
(x), i, j = 1, 2, . . . , n,
∂xi ∂xj
másodrendű parciális deriváltakat. Amennyiben ezek minden x ∈ Rn ese-
tén folytonosak, akkor
∂2f ∂2f
(x) = (x), i, j = 1, 2, . . . , n.
∂xi ∂xj ∂xj ∂xi

Baran Sándor Matematika és információelmélet előadás 33 / 239


Hesse-mátrix

Definíció. Amennyiben az f : Rn 7→ R függvénynek léteznek a másod-


rendű parciális deriváltjai, az
 2 
∂ f ∂2f ∂2f
2 (x) (x) · · · (x)
 ∂x1 ∂x1 ∂x2 ∂x1 ∂xn

 ∂2f ∂2f ∂2f 
 ∂x2 ∂x1 (x) (x) · · · (x) 
 ∂x 2 ∂x2 ∂x n 
∇2 f(x) :=  .
2
. . 
 .. .. .. 
 
 2 2 2

∂ f ∂ f ∂ f
∂xn ∂x1 (x) ∂xn ∂x2 (x) · · · ∂x2
(x)
n

mátrixot az f függvény Hesse-mátrixának nevezzük.

Megjegyzés. Ha a másodrendű parciális deriváltak folytonosak, akkor a


Hesse-mátrix szimmetrikus.

Baran Sándor Matematika és információelmélet előadás 34 / 239


Példa
Megoldás.
Határozzuk meg az Parciális deriváltak:
f(x1 , x2 ) := x31 + x32 − 3x1 − 3x2 ∂f ∂f
(x1 , x2 ) = 3x21 −3, (x1 , x2 ) = 3x22 −3.
∂x1 ∂x2
függvény gradiensét és Hesse-mátrixát.
Gradiens:
( )⊤
∇f(x1 , x2 ) = 3x21 − 3, 3x22 − 3 .
4

2
Másodrendű parciális deriváltak:
0
∂2f ∂2f
(x1 , x2 ) = 6x1 , (x1 , x2 ) = 0,
-2 ∂x21 ∂x1 ∂x2
-4
∂2f ∂2f
2
(x1 , x2 ) = 6x2 , (x1 , x2 ) = 0.
1.5
1
∂x22 ∂x2 ∂x1
0.5
0 2
-0.5
0.5
1
1.5
Hesse-mátrix:
( )
-1 0
-0.5
-1.5 -1
-1.5
6x1 0
∇2 f(x1 , x2 ) =
-2 -2
.
0 6x2

Baran Sándor Matematika és információelmélet előadás 35 / 239


Példa
Határozzuk meg az
f(x1 , x2 , x3 ) := x1 x2 x3 − x3 ex1 + x42 x23
függvény gradiensét és Hesse-mátrixát.

MATLAB megoldás.

>> syms x1 x2 x3
>> F=x1*x2*x3+x3*exp(x1)+x2^4*x3^2;
>> GradF=jacobian(F)

GradF =
[ x2*x3 + x3*exp(x1), 4*x2^3*x3^2 + x1*x3, 2*x3*x2^4 + x1*x2 + exp(x1)]

>> HesseF=jacobian(GradF)

HesseF =
[ x3*exp(x1), x3, x2 + exp(x1)]
[ x3, 12*x2^2*x3^2, 8*x3*x2^3 + x1]
[ x2 + exp(x1), 8*x3*x2^3 + x1, 2*x2^4]

Baran Sándor Matematika és információelmélet előadás 36 / 239


Jacobi-mátrix

Definíció. Az f = (f1 , f2 , . . . , fm )⊤ : Rn 7→ Rm vektor értékű függvény


differenciálható az x = (x1 , x2 , . . . , xn )⊤ ∈ Rn pontban, ha az fi függvé-
nyek (i = 1, 2, . . . , m) differenciálhatóak x-ben. Ebben az esetben az
 ∂f 
∂x1 (x) ∂x2 (x) · · ·
1 ∂f1 ∂f1
∂xn (x)
 ∂f 
 2 (x) ∂f2 (x) · · · ∂f2 (x)
 ∂x1 ∂x2 ∂xn 
f′ (x) := 
 .. .. .. 

 . . . 
 
∂x1 (x) ∂x2 (x) · · ·
∂fm ∂fm ∂fm
∂xn (x)

m × n dimenziós mátrixot az f Jacobi-mátrixának nevezzük.

Megjegyzés. A Jacobi-mátrix i-edik sora ∇fi (x)⊤ .

Baran Sándor Matematika és információelmélet előadás 37 / 239


Példa
Határozza meg az
 
e2x1 +x2 ( )
y1 + 2y2 + y23
f(x1 , x2 ) := x2 − x1  és g(y1 , y2 , y3 ) := 2
y1 + sin(y2 + y3 )
x21 + x2
függvények Jacobi-mátrixát.
MATLAB megoldás.
>> syms x1 x2 >> syms y1 y2 y3
>> f=[exp(2*x1+x2);x2-x1;x1^2+x2] >> g=[y1+2*y2+y3^2;y1^2+sin(y2+y3)]

f = g =
exp(2*x1 + x2) y3^2 + y1 + 2*y2
x2 - x1 y1^2 + sin(y2 + y3)
x1^2 + x2
>> Jg=jacobian(g)
>> Jf=jacobian(f)
Jg =
Jf = [ 1, 2, 2*y3]
[ 2*exp(2*x1 + x2), exp(2*x1 + x2)] [ 2*y1, cos(y2 + y3), cos(y2 + y3)]
[ -1, 1]
[ 2*x1, 1]
Baran Sándor Matematika és információelmélet előadás 38 / 239
Taylor sorfejtés
Taylor tétel. Legyen f : Rn 7→ R egy folytonosan differenciálható (diffe-
renciálható és a parciális deriváltjai folytonosak) függvény, valamint legyen
p ∈ Rn . Ekkor létezik olyan t ∈ (0, 1), melyre
f(x + p) = f(x) + ∇f(x + tp)⊤ p.
Amennyiben f kétszer folytonosan differenciálható, akkor létezik olyan
t ∈ (0, 1), melyre
1
f(x + p) = f(x) + ∇f(x)⊤ p + p⊤ ∇2 f(x + tp)⊤ p.
2

Elsőrendű Taylor közelítés x körül:


f(x + p) ≈ f(x) + ∇f(x)⊤ p.
Másodrendű Taylor közelítés x körül:
1
f(x + p) ≈ f(x) + ∇f(x)⊤ p + p⊤ ∇2 f(x)⊤ p.
2
Baran Sándor Matematika és információelmélet előadás 39 / 239
Példa
Határozzuk meg az
f(x1 , x2 ) := xx12 , x1 ∈ R+ , x2 ∈ R,
függvény első-, illetve másodrendű Taylor közelítését az (1, 1) pont körül.
Megoldás. A parciális deriváltak:
∂f ∂f
(x1 , x2 ) = x2 xx12 −1 , (x1 , x2 ) = xx12 ln(x1 );
∂x1 ∂x2
∂2f ∂2f
(x1 , x2 ) = x2 (x2 − 1)xx12 −2 , (x1 , x2 ) = xx12 ln2 (x1 ),
∂x21 ∂x22
∂2f ( ) ∂2f
(x1 , x2 ) = xx12 −1 1 + x2 ln(x1 ) = (x1 , x2 ).
∂x1 ∂x2 ∂x2 ∂x1
( )
0 1
Gradiens: ∇f(1, 1) = (1, 0)⊤ ; Hesse-mátrix: ∇2 f(1, 1) = .
1 0
Elsőrendű Taylor közelítés:
f(1 + p1 , 1 + p2 ) ≈ f(1, 1) + ∇f(1, 1)⊤ (p1 , p2 )⊤ = 1 + p1 .
Másodrendű Taylor közelítés:
1
f(1+p1 , 1+p2 ) ≈ f(1, 1)+∇f(1, 1)⊤ (p1 , p2 )⊤+ (p1 , p2 )∇2 f(1, 1)(p1 , p2 )⊤ = 1+p1 +p1 p2 .
2
Baran Sándor Matematika és információelmélet előadás 40 / 239
Példa

Közelítsük az 1.011.005 kifejezés értékét Taylor közelítés segítségével.

Megoldás.
Függvény: f(x1 , x2 ) := xx12 .
Elsőrendű közelítés az (1, 1) pont körül: f(1 + p1 , 1 + p2 ) ≈ 1 + p1 .
Másodrendű közelítés az (1, 1) pont körül: f(1 + p1 , 1 + p2 ) ≈ 1 + p1 + p1 p2 .

p1 = 0.01, p2 = 0.005 mellett


az elsőrendű közelítés: 1.011.005 ≈ 1 + 0.01 = 1.01;
a másodrendű közelítés: 1.011.005 ≈ 1 + 0.01 + 0.01 · 0.005 = 1.01005;
a pontos érték (15 tizedesjegyig): 1.011.005 = 1.010050250420819.

Baran Sándor Matematika és információelmélet előadás 41 / 239


Többváltozós függvények szélsőértékhelyei

Legyen f : Rn 7→ R egy folytonosan differenciálható függvény.


x∗ az f globális minimumhelye
[ ∗ [maximumhelye],
] ha minden x ∈ Rn

esetén f(x ) ≤ f(x) f(x ) ≥ f(x) .
x∗ az f lokális minimumhelye [maximumhelye], ha x∗ -nak létezik egy
n ∗
[ ∗ N ⊂ R] környezete, hogy minden x ∈ N esetén f(x ) ≤ f(x)
olyan
f(x ) ≥ f(x) .
x∗ az f szigorú lokális minimumhelye [maximumhelye], ha x∗ -nak lé-
tezik egy olyan
[ N ⊂ Rn környezete,
] hogy minden x∗ ̸= x ∈ N esetén
f(x∗ ) < f(x) f(x∗ ) > f(x) .
x∗ az f izolált lokális minimumhelye [maximumhelye], ha x∗ -nak léte-
zik egy olyan N ⊂ Rn környezete, amiben nincs másik lokális mini-
mumhely [maximumhely].

Baran Sándor Matematika és információelmélet előadás 42 / 239


Stacionárius pontok
Tétel. (Elsőrendű szükséges feltétel) Ha x∗ az f : Rn 7→ R lokális szélső-
értékhelye (minumuma vagy maximuma) és f folytonosan differenciálható
az x∗ egy nyílt környezetében, akkor ∇f(x∗ ) = 0.
Definíció. Az x∗ pont az f : Rn 7→ R függvény stacionárius pontja, ha
∇f(x∗ ) = 0.
Definíció. Ha x∗ az f függvény olyan stacionárius pontja, amely se nem
lokális minimum, se nem lokális maximum, akkor x∗ nyeregpont.

Példa.
4

2
f(x1 , x2 ) := x21 − x22 .
1

0
( )⊤
∇f(x1 , x2 ) = 2x1 , −2x2 .
-1

-2

-3

-4
2
Az egyetlen stacionárius pont a
1

0
1
2 (0, 0), ami nyeregpont.
-1 0
-1
-2 -2

Baran Sándor Matematika és információelmélet előadás 43 / 239


A szélsőérték másodrendű feltételei

Tétel. (Másodrendű szükséges feltétel) Ha x∗ az f : Rn 7→ R lokális mi-


numumhelye [maximumhelye], valamint ∇2 f létezik és folytonos az x∗ egy
nyílt környezetében, akkor
a) ∇f(x∗ ) = 0;
b) ∇2 f(x∗ ) pozitív [negatív] szemidefinit.

Tétel. (Másodrendű elégséges feltétel) Tegyük fel, hogy ∇2 f létezik és


folytonos az x∗ egy nyílt környezetében, valamint
a) ∇f(x∗ ) = 0;
b) ∇2 f(x∗ ) pozitív [negatív] definit.
Ekkor x∗ az f szigorú lokális minumumhelye [maximumhelye].

Baran Sándor Matematika és információelmélet előadás 44 / 239


Példa
Megoldás.
Határozzuk meg az Gradiens:
( )⊤
f(x1 , x2 ) := x31 + x32 − 3x1 − 3x2 ∇f(x1 , x2 ) = 3x21 − 3, 3x22 − 3 .

függvény szélsőértékhelyeit. Stacionárius pontok:

(1, 1), (−1, 1), (1, −1), (−1, −1).

4 Hesse-mátrix:
( )
2
6x1 0
∇2 f(x1 , x2 ) = .
0
0 6x2
-2

∇2 f(1, 1) pozitív definit, (1, 1) mini-


-4
2
1.5
1 mumhely.
0.5
0
-0.5
1.5
2 ∇2 f(−1, −1) negatív definit, (−1, −1)
1
-1
-0.5
0
0.5
maximumhely.
-1.5 -1

∇2 f(−1, 1) és ∇2 f(1, −1) indefinit,


-2 -1.5
-2

(−1, 1) és (1, −1) nyeregpontok.

Baran Sándor Matematika és információelmélet előadás 45 / 239


Optimalizálási feladat
Adott egy f : Rn 7→ R folytonosan differenciálható függvény. Keressük a
min f(x)
x
értékét.
Példák.
Rosenbrock-függvény:
( )2 ( )2
f(x1 , x2 ) := x31 + x32 − 3x1 − 3x2 . g(x1 , x2 ) := 100 x2 −x21 + 1−x1 .

-2

-4
2
1.5
1
0.5
0 2
1.5
-0.5 1
0.5
-1 0
-0.5
-1.5 -1
-2 -1.5
-2

Baran Sándor Matematika és információelmélet előadás 47 / 239


Optimalizáló eljárások
Egy optimalizáló eljárás általános alakja:
1 egy x0 kezdeti közelítés megadása;
2 az xk −→ xk+1 stratégia meghatározása;
3 leállási feltétel.

Vonalmenti keresés: meghatározunk egy pk irányt, amerre csökken a függ-


vény, és ebben az irányban egy egyváltozós minimalizálást hajtunk végre.

min f(xk + αpk ).


α

Definíció. Azt mondjuk, hogy egy xk −→ xk+1 stratégiájú optimalizáló


algoritmus q-adrendben konvergál az x∗ optimumhelyhez, ha létezik olyan
C > 0 konstans, melyre valamely ∥ · ∥ normában

∥xk+1 − x∗ ∥ ≤ C∥xk − x∗ ∥q .

Baran Sándor Matematika és információelmélet előadás 48 / 239


Vonalmenti keresés
A p keresési irány megválasztása: csökkenjen a függvény.
Elsőrendű Taylor közelítés valamely kicsi α esetén:

f(xk + αp) ≈ f(xk ) + αp⊤ ∇f(xk ).

Így a megoldandó feladat:

min p⊤ ∇f(xk ), ∥p∥ = 1.


p

Mivel
p⊤ ∇f(xk ) = ∥p∥ · ∥∇f(xk )∥ cos Θ = ∥∇f(xk )∥ cos Θ,
ezért az optimális irány a cos Θ = −1-nek megfelelő:

∇f(xk )
p=−
∥∇f(xk )∥.

Legmeredekebb leereszkedés elve (gradiens módszer).


Baran Sándor Matematika és információelmélet előadás 49 / 239
Példa

1 xs xmin
0

-2

-4
2
1.5 0
1
0.5
0 2
1.5
-0.5 1
0.5
-1 0
-1.5
-0.5
−1 xmax xs
-1
-2 -1.5
-2

f(x1 , x2 ) := x31 + x32 − 3x1 − 3x2 −2

−2 −1.5 −1 −0.5 0 0.5 1 1.5 2


Minimumhely: (1, 1).
Maximumhely: (−1, −1). Kontúrvonalak, stacionárius pontok és a
Nyeregpontok: (1, −1) és (−1, 1). negatív gradiens mező

Baran Sándor Matematika és információelmélet előadás 50 / 239


Csökkenési irányok
Definíció. A p ∈ Rn irány x pontbeli csökkenési irány (leereszkedési
irány), ha p⊤ ∇f(x) < 0.

Kicsi α esetén
f(xk + αp) ≈ f(xk ) + αp⊤ ∇f(xk ).

Mivel
p⊤ ∇f(xk ) = ∥p∥ · ∥∇f(xk )∥ cos Θ,
ha cos Θ < 0, akkor p⊤ ∇f(xk ) < 0

Speciális eset: legmeredekebb leereszkedés (gradiens módszer):

p⊤ = −∇f(xk ) azaz cos Θ = −1.

Probléma: A gradiens módszer nagyon lassú lehet, ha a szélsőérték egy


hosszú, elnyújtott völgyben van.
Baran Sándor Matematika és információelmélet előadás 51 / 239
Elnyújtott völgyek hatása

2 2

1 xs xmin xs xmin
1

0 0

−1 xmax xs
−1 xmax xs

−2
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2 −2 −1.5 −1 −0.5 0 0.5 1 1.5 2

f(x1 , x2 ) := x31 + x32 − 3x1 − 3x2 g(x1 , x2 ) := 10x31 + x32 − 30x1 − 3x2
kontúrvonalai és a negatív gradiensmező. kontúrvonalai és a negatív gradiensmező.

Baran Sándor Matematika és információelmélet előadás 52 / 239


Gradiens módszer - lépéshossz választás

Ha adott a pk keresési irány, akkor az

α 7→ f(xk + αpk ), (α > 0)

egyváltozós függvényt kellene minimalizálni.

A minimumhely meghatározása túl költséges lehet, ezért sokszor beérjük


egy „elég jó” α értékkel.

Két lépés:
Meghatározunk egy intervallumot, ahol α-t keressük (maximális lé-
péshossz).
Az adott intervallumon keresünk egy elegendően jó α-t (amire az
f(xk + αpk ) elegendő mértékben kisebb az f(xk ) értékénél).

Baran Sándor Matematika és információelmélet előadás 53 / 239


Ideális eset: kvadratikus függvény

Legyen f : Rn 7→ R kvadratikus, azaz


1
f(x) := x⊤ Qx − b⊤ x.
2
Q: n × n-dimenziós szimmetrikus és pozitív definit mátrix; b ∈ Rn .
Ekkor ∇f(x) = Qx − b, azaz az x∗ stacionárius pontra Qx∗ = b.
Az optimális lépéshossz az xk pontban:

∇f⊤ (xk )∇f(xk )


αk = ,
∇f⊤ (xk )Q∇f(xk )
azaz ( )
∇f⊤ (xk )∇f(xk )
xk+1 = xk − ∇f(xk ).
∇f⊤ (xk )Q∇f(xk )

Baran Sándor Matematika és információelmélet előadás 54 / 239


Példa: gradiens módszer

−1

−2

−3

−4
−10 −8 −6 −4 −2 0 2 4 6 8 10

A gradiens módszer az f(x1 , x2 ) := x21 + 10x22 függvényre.

Baran Sándor Matematika és információelmélet előadás 55 / 239


Gradiens-módszer visszaléptetéssel
Visszaléptetéses módszer αk megválasztására:
1 Legyen c1 ∈ (0, 1), ϱ ∈ (0, 1) rögzített, α := α0 ;
2 while f(xk + αpk ) > f(xk ) + αc1 ∇f(xk )⊤ pk
α := ϱα
end
3 αk = α;

A visszaléptetéses gradiens-módszer algoritmusa:


1 Legyen adott x0 .
2 Ha ismert xk , akkor legyen pk = −∇f(xk ).
3 Válasszuk αk -t a visszaléptetéses módszerrel.
4 Legyen xk+1 = xk + αk pk .
5 Leállás: ha ∇f(xk ) = 0 (ha ∥∇f(xk )∥ < ε).

Baran Sándor Matematika és információelmélet előadás 56 / 239


Példa: visszaléptetéses gradiens módszer

0.9984

0.99835

0.9983

0.99825

0.99913 0.99914 0.99915 0.99916 0.99917 0.99918 0.99919 0.9992 0.99921

A visszaléptetéses gradiens módszer a Rosenbrock-függvényre, az utolsó


130 iterált. x0 = (−1.2, 1), ε = 10−3 , ϱ = 0.5. Az elvégzett lépések száma
5231.
Baran Sándor Matematika és információelmélet előadás 57 / 239
Newton-módszer nemlineáris egyenletekre
Nemlineáris egyenlet:

f(x) = 0, ahol f : R 7→ R.

A megoldás közelítésére szolgáló, adott x0 kezdőpontú Newton-iteráció:

f(xk )
xk+1 = xk − , k = 0, 1, 2, . . . .
f′ (xk )

Nemlineáris egyenletrendszer:

F(x) = 0, ahol F : Rn 7→ Rn .

A megoldás közelítésére szolgáló, adott x0 kezdőpontú Newton-iteráció:


( )
F′ (xk ) xk+1 − xk = −F(xk ), k = 0, 1, 2, . . .

Baran Sándor Matematika és információelmélet előadás 58 / 239


Newton-módszer optimalizálásra
Az f függvény minimumhelye megoldása a ∇f(x) = 0 egyenletnek.

∇f : Rn 7→ Rn , így ∇f(x) = 0 nemlineáris egyenletrendszer.

Ha f kétszer folytonosan differenciálható, akkor az adott x0 kezdőpontú


Newton-módszer a ∇f(x) = 0 egyenletrendszerre:
( )
∇2 f(xk ) xk+1 − xk = −∇f(xk ), k = 0, 1, 2, . . . .

Az algoritmus:
x0 adott;
( )−1
∇2 f(xk )pk = −∇f(xk ), azaz pk = − ∇2 f(xk ) ∇f(xk );
xk+1 = xk + pk .

Megjegyzés. A Newton-módszer lépéshossza 1.

Baran Sándor Matematika és információelmélet előadás 59 / 239


Newton-irány
Definíció. A ( )−1
pk = − ∇2 f(xk ) ∇f(xk )
irányt Newton-iránynak nevezzük.

Megjegyzés. Ha ∇2 f(xk ) pozitív definit, akkor a Newton-irány csökke-


nési irány:
( 2 )−1
p⊤ ⊤
k ∇f(xk ) = −∇f (xk ) ∇ f(xk ) ∇f(xk ) < 0.

Ha ∇2 f(xk ) nem pozitív definit, akkor előfordulhat, hogy a Newton-irány


nem definiált, vagy nem csökkenési irány.

A Newton-irány
előnye: a minimumhely elég jó közelítése esetén négyzetes konver-
gencia;
hátránya: szükség van a Hesse-mátrixra.
Baran Sándor Matematika és információelmélet előadás 60 / 239
Kvázi-Newton irány
Ha nem ismerjük a ∇2 f(xk ) Hesse-mátrixot, vagy költséges a meghatáro-
zása, annak egy Bk ≈ ∇2 f(xk ) közelítését használjuk. Ez egy kvázi-New-
ton irányt eredményez.

A Bk mátrixokat megválasztásának szempontjai:


teljesül ( )
Bk+1 xk+1 − xk = ∇f(xk+1 ) − ∇f(xk );
Bk szimmetrikus;
Bk és Bk+1 eltérése alacsony rangú.

Legismertebb: Broyden-Fletcher-Goldfarb-Shanno (BFGS) algoritmus.


A BFGS formula:
Bk sk s⊤
k Bk yk y⊤
k
Bk+1 = Bk − + ,
s⊤ B
k k k s y⊤s
k k

ahol sk = xk+1 − xk és yk = ∇f(xk+1 ) − ∇f(xk ).


Baran Sándor Matematika és információelmélet előadás 61 / 239
Példa: BFGS
2

1.5

1
x2

0.5

−0.5

−1
−1.5 −1 −0.5 0 0.5 1 1.5
x1

BFGS módszer a Rosenbrock-függvényre, x0 = (−1.2, 1), ε = 10−4 . Az elvégzett


lépések száma 36.

Baran Sándor Matematika és információelmélet előadás 62 / 239


Felosztások
Legyen D := [a, b] × [c, d] ⊂ R2 egy téglalap, valamint f : D 7→ R egy
korlátos függvény.
Tekintsük az [a, b] és [c, d] intervallumok egy
a = x0 < x1 < x2 < · · · < xm−1 < xm = b,
c = y0 < y1 < y2 < · · · < yn−1 < yn = d
felosztását.
A D téglalap egy P felosztása alatt az mn darab
{ }
Rij := (x, y) ∈ R2 xi−1 ≤ x ≤ xi , yj−1 ≤ y ≤ yj ,
i = 1, 2, . . . , m, j = 1, 2, . . . , n résztéglalapot értjük.
Rij területe: ∆Aij := ∆xi ∆yj = (xi − xi−1 )(yj − yj−1 ).

Rij átmérője: diam(Rij ) := (xi − xi−1 )2 + (yj − yj−1 )2 .
A P felosztás normája: ∥P∥ := max diam(Rij ).
1≤i≤m
1≤j≤n
Baran Sándor Matematika és információelmélet előadás 64 / 239
Integrálközelítő összegek
Definíció.
( ∗ ∗) A D téglalap egy P felosztásához és a felosztás tagjaiból vett
xij , yij ∈ Rij pontokhoz tartozó integrálközelítő összeg

m ∑
n
( )
R(f, P) := f x∗ij , y∗ij ∆Aij .
i=1 j=1
Legyen f ≥ 0.
( )
f x∗ij , y∗ij ∆Aij : az Rij alapú és
( )
f x∗ij , y∗ij magasságú egye- nes
hasáb térfogata.
R(f, P): az f függvény D fe-
letti gráfja alatti térfogat kö-
zelítése.
∫∫
D f(x, y)dxdy: az R(f, P)
határértéke ∥P∥ → 0 mellett,
amennyiben
( ∗ ∗) a határérték az
Forrás: Robert Adams, Christopher Essex: Calculus: A xij , yij választásától függet-
Complete Course, 7th Edition. Pearson, Toronto, 2010. lenül létezik.
Baran Sándor Matematika és információelmélet előadás 65 / 239
Téglalap feletti kettős integrál
Definíció. Legyen f : D ⊂ R2 7→ R egy korlátos függvény. Azt mondjuk,
hogy f integrálható a D téglalap felett, ha a D tetszőleges finomodó Pk
felosztássorozata esetén, melyre limk→∞ ∥Pk ∥ = 0, valamint a Pk résztég-
lalapjaiból választott tetszőleges pontrendszerre az R(f, Pk ) integrálköze-
lítő összeg sorozat konvergens. Az integrálközelítő összegek sorozatának
∫∫
I := f(x, y)dxdy
D
határértéke az f kettős integrálja a D felett.
Példa Legyen D = [0, 1]2 és f(x, y) := 2x2 + xy, valamint tekintsük az x = 1/2 és
y = 1/2 egyenesek által meghatározott felosztást és vegyük a kapott kis négyzetek
középpontjait, azaz az (1/4, 1/4), (1/4, 3/4), (3/4, 1/4) és (3/4, 3/4) pontokat.
∫∫ ( ) ( )
1 1 1 1 1 1 3 1
(2x2 + xy)dxdy ≈ 2· + · + 2· + ·
D 16 4 4 4 16 4 4 4
( ) ( )
9 3 1 1 9 3 3 1 7
+ 2· + · + 2· + · = = 0.875.
16 4 4 4 16 4 4 4 8
∫∫
11
(2x2 + xy)dxdy = = 0.9167.
D 12
Baran Sándor Matematika és információelmélet előadás 66 / 239
Integrál síkbeli korlátos halmazon

Definíció. Legyen S ⊂ R2 egy korlátos halmaz, f : S 7→ R egy korlátos


függvény, fS : R2 7→ R pedig
{
f(x, y), ha (x, y) ∈ S,
fS (x, y) :=
0, ha (x, y) ̸∈ S.

Legyen D ⊂ R2 egy olyan tégla, melyre S ⊆ D. Azt mondjuk, hogy az f


függvény integrálható S felett, ha fS integrálható D felett. Ekkor az f
függvény S feletti kettős integrálja
∫∫ ∫∫
f(x, y)dxdy := fs (x, y)dxdy.
S D

Baran Sándor Matematika és információelmélet előadás 67 / 239


A kettős integrál tulajdonságai
Tétel. Legyen D ⊂ R2 egy korlátos halmaz, f, g : D 7→ R korlátos függ-
vények, valamint jelölje λ(D) a D halmaz területét.
a) Ha λ(D) = 0, akkor ∫∫
f(x, y)dxdy = 0.
D
b) ∫∫
1dxdy = λ(D).
D
c) Ha f és g integrálható D felett, akkor αf + βg is integrálható és
∫∫ ∫∫
( )
αf(x, y) + βg(x, y) dxdy = α f(x, y)dxdy
D ∫D∫
+β g(x, y)dxdy, α, β ∈ R.
D
d) Ha f és g integrálható D felett és f(x, y) ≤ g(x, y), (x, y) ∈ D, akkor
∫∫ ∫∫
f(x, y)dxdy ≤ g(x, y)dxdy.
D D
Baran Sándor Matematika és információelmélet előadás 68 / 239
A kettős integrál tulajdonságai
e) Ha f integrálható D felett, akkor |f| is integrálható D felett és
∫∫ ∫∫
f(x, y)dxdy ≤ f(x, y) dxdy.
D D

f) Legyen S ⊆ D. Ha f ≥ 0 integrálható mind S, mind pedig D felett,


akkor ∫∫ ∫∫
f(x, y)dxdy ≤ f(x, y)dxdy.
S D
g) Ha f integrálható a D1 , D2 , . . . , Dk diszjunkt halmazok mindegyike
felett, akkor f integrálható a
D := D1 ∪ D2 ∪ · · · ∪ Dk
unió felett is és
∫∫ k ∫∫

f(x, y)dxdy ≤ f(x, y)dxdy.
D i=1 Di

Baran Sándor Matematika és információelmélet előadás 69 / 239


Egyszerű tartományok
Definíció. A D ⊂ R tartomány y-egyszerű, ha az x = a és x = b függ-
őleges egyenesek és az y = c(x) és x = d(x) függvények határolják. Ha-
sonlóképpen, a D x-egyszerű ha az y = c és y = d vízszintes egyenesek és
az x = a(y) és x = b(y) függvények határolják.

y y=d(x) y
d
x=b(y)
x=a(y)

y=c(x) c

a b x x
y-egyszerű tartomány x-egyszerű tartomány

Baran Sándor Matematika és információelmélet előadás 70 / 239


Ismétléses integrálás
Tétel. Legyen f(x, y) folytonos az a ≤ x ≤ b és c(x) ≤ y ≤ d(x) egyen-
lőtlenségekkel definiált D korlátos y-egyszerű tartományon. Ekkor
∫∫ ∫ [∫ b
]
d(x)
f(x, y)dxdy = f(x, y)dy dx.
D a c(x)

Hasonlóképpen, ha f(x, y) folytonos a c ≤ y ≤ d és a(y) ≤ x ≤ b(y)


egyenlőtlenségekkel definiált D korlátos x-egyszerű tartományon, akkor
∫∫ ∫ [∫ d
]
b(y)
f(x, y)dxdy = f(x, y)dx dy.
D c a(y)

∫∫ ∫∫
Megjegyzés. Az D f(x, y)dxdy helyett használhatjuk az D f(x, y)dydx
kifejezést is, mindkettő az f függvény D feletti kettős integrálját jelenti. A
dx és dy sorrendje az ismétléses integrálás során válik fontossá.
Baran Sándor Matematika és információelmélet előadás 71 / 239
Példa
Határozzuk meg az
∫∫
{ √ }
(x2 + y)dxdy értékét, ahol S := (x, y) 0 ≤ x ≤ 1, x2 ≤ y ≤ x .
D

Megoldás.
∫∫ ∫ [∫ √ ]
[ ]y=√x

1 x 1
2 2 2 y2
(x + y)dxdy = (x + y)dy dx = x y+ dx
D 0 x2 0 2 y=x2
∫ 1( ) [ ]1
5/2 x 3 4 2 7/2 x2 3 x5 33
= x + − x dx = x + − = .
0 2 2 7 4 2 5 0 140

MATLAB megoldás.

>> syms x y
>> int(int((x^2+y),y,x^2,sqrt(x)),x,0,1)

ans =
33/140

Baran Sándor Matematika és információelmélet előadás 72 / 239


Improprius integrálok
Improprius integrálról akkor beszélhetünk, ha vagy maga a D ⊆ R2 integ-
rálási tartomány nem korlátos, vagy pedig az f integrandus nem korlátos a
D valamelyik pontja közelében, vagy a D határán.
f ≥ 0 vagy f ≤ 0 esetén az integrál vagy létezik (véges), vagy végtelen.
∫∫ 1 −y/x
{ }
Példa. Adjuk meg a T x4
e dxdy értékét, ha T := (x, y) ∈ R2 x ≥ 1, 0 ≤ y ≤ x .
Megoldás.
∫∫ ∫ ∞∫ x ∫ ∞ [∫ x ]
1 −y/x 1 −y/x 1 −y/x
4
e dxdy = 4
e dydx = e dy dx
T x 1 0 x 1 x4 0
∫ ∞ ( ) ∫ ϱ
1 [ −y/x
]y=x 1 dx
= 4
−xe dx = 1− lim 3
1 x y=0 e ϱ→∞ 1 x
( ) [ ]ϱ ( ) ( ) ( )
1 1 1 1 1 1 1
= 1− lim − 2 = 1− lim − 2 = 1− .
e ϱ→∞ 2x 1 e ϱ→∞ 2 2ϱ 2 e
MATLAB megoldás.
>> int(int(f,y,0,x),x,1,Inf)
>> syms x y
>> f=exp(-y/x)/x^4; ans =
1/2 - exp(-1)/2
Baran Sándor Matematika és információelmélet előadás 73 / 239
Integráltranszformáció
Legyen f : D ⊆ R2 7→ R egy integrálható függvény és tegyük fel, hogy x és
y felírható valamely u és v változók függvényeként, azaz
x = x(u, v), y = y(u, v).
A fenti függvények egy transzformációt határoznak meg az uv-sík (u, v)
pontjaiból az xy-sík (x, y) pontjaiba.
Definíció. A transzformáció Jacobi determinánsa
( ∂x )
∂u (u, v) ∂x
∂v (u, v)
J(u, v) := det ∂y ∂y .
∂u (u, v) ∂v (u, v)

Tétel. Legyen x = x(u, v), y = y(u, v) az uv-sík S tartományát az xy-sík D


tartományába átvivő kölcsönösen egyértelmű transzformáció és tegyük fel,
hogy az x és y folytonosan differenciálható
( az S tartományon.
) Ha f(x, y)
integrálható D felett, akkor g(u, v) := f (x(u, v), y(u, v) J(u, v) is
integrálható S felett és
∫∫ ∫∫
( )
f(x, y)dxdy = f (x(u, v), y(u, v) J(u, v) dudv.
D S
Baran Sándor Matematika és információelmélet előadás 74 / 239
Síkbeli polártranszformáció
Tetszőleges (x, y) Descartes koordinátájú P pont megadható az [r, θ] po-
lár koordinátáival is.
r: az origótól való távolság.
[ r, θ]

(x,y)
θ: az x-tengely pozitív irányával bezárt
szög.
r y √
x = r cos θ, r = x2 + y2 ,
θ y = r sin θ, tan θ = y/x.
x
dA = dx dy: egy ki-
y y csiny téglalap terüle-
y+dy te a Descartes-féle
dA dy dA koordinátarendszerben.
y dx rd θ dr
dA ≈ r dr dθ: a

megfelelő terület a
θ polár koordináta-
x x+dx x r r+dr x
rendszerben.
Baran Sándor Matematika és információelmélet előadás 75 / 239
Áttérés polár koordinátákra
Az [r, θ] polár koordináták és az (x, y) Descartes koordináták közötti
transzformáció:
x = r cos θ, y = r sin θ.
Jacobi determináns:
( )
cos θ −r sin θ
J(r, θ) = det = r.
sin θ r cos θ
Integráltranszformáció:
∫∫ ∫∫
( )
f(x, y)dxdy = f r cos θ, r sin θ r drdθ.
D S

Példák halmazok közötti transzformációkra:


{ } { }
D := (x, y) x2 + y2 ≤ a2 ⇐⇒ S := [r, θ] 0 ≤ r ≤ a, 0 ≤ θ ≤ 2π ;
{ }
D := (x, y) b2 ≤ x2 + y2 ≤ a2 , x, y ≥ 0
{ }
⇐⇒ S := [r, θ] b ≤ r ≤ a, 0 ≤ θ ≤ π/2 .
Baran Sándor Matematika és információelmélet előadás 76 / 239
Példa
∫∫
Határozzuk meg az S xy dxdy integrál értékét, ahol S egy a sugarú kör első síknegyed-

be eső részének azon pontjaiból áll, amik az y = 3x egyenes alatt helyezkednek el.

Megoldás.
∫∫ ∫ π/3 [∫ a ]
xy dxdy = r cos θ · r sin θ · r dr dθ
S 0 0 y
∫ π/3 ∫ a y= 3x
= cos θ sin θ dθ r3 dr
0 0
∫ ]a [
1 π/3
r4 x2+ y 2= a 2
= sin(2θ) dθ
2 0 4 0
[ ]π/3 S
4
a 1
= − cos(2θ) π/3
8 2 0
4( )
a 3 4 a x
= 1 − cos(2π/3) = a .
16 32

Baran Sándor Matematika és információelmélet előadás 77 / 239


Háromszoros integrálok

Legyen B := [a, b] × [c, d] × [p, q] ⊂ R3 egy téglatest és legyen f : B 7→ R


egy korlátos függvény. A B résztéglatestekre való felosztásának segítségé-
vel a ∫∫∫
f(x, y, z)dxdydz
B
háromszoros integrál a kettős integrálhoz hasonlóan definiálható. Tulaj-
donságai a kettős integrál tulajdonságaival analógok.

Legyen D ⊂ R3 egy korlátos halmaz. Ekkor


∫∫∫
1dxdydz = λ(D),
D

ahol λ(D) a D térfogata.

Baran Sándor Matematika és információelmélet előadás 78 / 239


Példa
Három pontot választva véletlenszerűen az [a, b] intervallumból adjuk meg annak a való-
színűségét, hogy a harmadik kiválasztott pont az első kettő közé esik.

Megoldás. Geometriai való színűség. Jelölje rendre x, y és z a kiválasztott pontok ko-


ordinátáit. Ez a három érték a λ(C) = (b − a)3 kocka egy (x, y, z) pontját határozza
meg, mely kocka térfogata λ(C) = (b − a)3 . A feltételeknek eleget tevő pontok az
{ }
S := (x, y, z) ∈ [a, b]3 x < z < y vagy y < z < x
halmaz elemei.
A keresett valószínűség: P = λ(S)/λ(C) = λ(S)/(b − a)3 .
A szimmetria miatt:
∫∫∫ ∫ b ∫ y ∫ z ∫ b ∫ y
λ(S) = 1dxdydz = 2 1dxdzdy = 2 [x]x=z
x=a dzdy
S a a a a a
∫ b∫ y ∫ b[ ]z=y ∫ b
(z − a)2
=2 (z − a)dzdy = 2 dy = (y − a)2 dy
a a a 2 z=a a
[ ]y=b
(y − a)3 (b − a)3
= = .
3 y=a 3

A fentiek alapján P = 1/3.


Baran Sándor Matematika és információelmélet előadás 79 / 239
Integráltranszformáció háromszoros integrálok esetén
Legyen f : D ⊂ R3 7→ R egy integrálható függvény és tegyük fel, hogy az
x, y és z koordináták felírhatóak
x = x(u, v, w), y = y(u, v, w), z = z(u, v, w)
alakban. Az egyenletek az uvw-tér (u, v, w) pontjainak az xyz-tér (x, y, z)
pontjainba való transzformációját definiálják. A Jacobi determináns:
 ∂x ∂x ∂x 
∂u (u, v, w) ∂v (u, v, w) ∂w (u, v, w)
J(u, v, w) := det  ∂u
∂y
(u, v, w) ∂y ∂y
∂v (u, v, w) ∂w (u, v, w)
.
∂z ∂z ∂z
∂u (u, v, w) ∂v (u, v, w) ∂w (u, v, w)

Ha az uvw-tér S tartományát az xyz-tér D tartományába átvivő transzfor-


máció kölcsönösen egyértelmű, az azt definiáló fügvények folytonosan dif-
ferenciálhatóak és f : D ⊆ R3 7→ R integrálható D felett akkor
∫∫∫ ∫∫∫
f(x, y, z)dxdydz = g(u, v, w) J(u, v, w) dudvdw,
D S
( )
ahol g(u, v, w) := f x(u, v, w), y(u, v, w), z(u, v, w) .
Baran Sándor Matematika és információelmélet előadás 80 / 239
Hengerkoordináta transzformáció
Tetszőleges (x, y, z) Descartes koordinátájú P pont megadható az [r, θ, z]
hengerkoordináták segítségével is.
z
r: a P pont xy-síbeli merő-
leges vetületének az origótól
[ r, θ , z ]
(x, y, z) való távolsága.

θ: az xy síkban az x tengely
d
z pozitív irányával bezárt szög.

x
x = r cos θ,
θ
r
y
y = r sin θ,
x y z = z.
●❘

Jacobi determináns:
 
cos θ −r sin θ 0
J(r, θ, z) = det  sin θ r cos θ 0 = r.
0 0 1
Baran Sándor Matematika és információelmélet előadás 81 / 239
Térbeli polár transzformáció
Tetszőleges (x, y, z) Descartes koordinátájú P pont megadható az [ρ, ϕ, θ]
polárkoordináták segítségével is.
z ρ: az origótól való távolság.
[ρ,φ,θ]
ϕ: a z tengely pozitív irányá-

(x,y,z)
val bezárt szög.
θ: az xy síkban az x tengely
ρ pozitív irányával bezárt szög.
z
φ

x = ρ sin ϕ cos θ,
x
θ
r y = ρ sin ϕ sin θ,
y

x y z = ρ cos ϕ.
●❘

Jacobi determináns:
 
sin ϕ cos θ ρ cos ϕ cos θ −ρ sin ϕ sin θ
J(ρ, ϕ, θ) = det  sin ϕ sin θ ρ cos ϕ sin θ ρ sin ϕ cos θ = ρ2 sin ϕ.
cos ϕ −ρ cos ϕ 0
Baran Sándor Matematika és információelmélet előadás 82 / 239
Példa
Számítsuk ki a következő integrált:
∫∫∫
{ }
x2 z2 dxdydz, ahol S := (x, y, z) x, y > 0, x2 + y2 + z2 ≤ a2 , a > 0.
S

Megoldás. Polár koordinátarendszerben az S halmaz a következőképpen írható fel:


{ }
D := [ρ, ϕ, θ] 0 ≤ ρ ≤ a, 0 ≤ ϕ ≤ π, 0 ≤ θ ≤ π/2 .
Így
∫∫∫ ∫∫∫
( )2 ( )2 ( )
x2 z2 dxdydz = ρ sin ϕ cos θ ρ cos ϕ ρ2 sin ϕ dρ dϕ dθ
S D
∫ π/2 ∫ π ∫ a
= ρ6 sin3 ϕ cos2 θ cos2 ϕ dρ dϕ dθ
0 0 0
(∫ a ) (∫ π ) (∫ π/2
)
6 3 2 2
= ρ dρ sin ϕ cos ϕ dϕ cos θ dθ
0 0 0
[ ]ϕ=π [ ]θ=π/2
a7 1 θ 1
= cos3 ϕ(3 cos2 ϕ − 5) + sin(2θ)
7 15 ϕ=0 2 4 θ=0

a7 4 π a7 π
= = .
7 15 4 105
Baran Sándor Matematika és információelmélet előadás 83 / 239
A Laplace-integrál

Definíció. Legyen f : [0, ∞[ 7→ R egy tetszőleges függvény. Az


∫ ∞
F(s) := f(t)e−st dt
0

Laplace-integrált, amennyiben létezik, az f(t) függvény Laplace-transzfor-


máltjának nevezzük.

Megjegyzések.
a) s egy s = σ + iω alakú komplex szám, ahol i2 = −1.
b) A gyakorlatban a t változó általában az időt jelenti, azaz f(t) egy
időben változó mennyiséget ad meg.
c) Az[ ]f függvény Laplace-integráljának általánosan használt rövidítése
L f := F(s).

Baran Sándor Matematika és információelmélet előadás 85 / 239


Példák
Egységugrás-függvény (Heaviside-függvény): u−1 (t)

{ ∫
1, t > 0; [ ] ∞
u−1 (t) := L u−1 (t) = u−1 (t)e−st dt =: U−1 (s).
0, t < 0. 0

∫ ∞ [ −st ]t=∞
e 1
U−1 (s) = e−st dt = − = , ha σ > 0.
0 s t=0 s

Csökkenő exponenciális függvény: e−αt (α > 0)


∫ ∫ [ −(s+α)t ]t=∞
[ ] ∞ ∞
e 1
L e−αt = e−αt e−st dt = e−(s+α)t dt = − = , ha σ > −α.
0 0 s + α t=0 s+α

Egyszerű periodikus függvény: eiωt (ω ∈ R)


∫ ∫ [ −(s−iω)t ]t=∞
[ ] ∞ ∞
e 1
L eiωt = eiωt e−st dt = e−(s−iω)t dt = − = , ha σ > 0.
0 0 s − iω t=0 s − iω

Baran Sándor Matematika és információelmélet előadás 86 / 239


Példák
Egyszerű harmonikus (szinuszoid) függvény: cos(ωt) (0 < ω ∈ R)


[ ] ∞
eiωt + e−iωt
L cos(ωt) = cos(ωt)e−st dt, ahol cos(ωt) =
.
0 2
∫ [∫ ∞ ∫ ∞ ]
[ ] 1 ∞ ( iωt ) 1
L cos(ωt) = e + e−iωt e−st dt = eiωt e−st dt + e−iωt e−st dt
2 0 2 0 0
[ ]
1 1 1 s
= + = 2 , ha σ > 0.
2 s − iω s + iω s + ω2

Rézsű-függvény (ramp function): u−2 (t) := tu−1 (t)


∫ ∞ ∫
[ ] ∞
L u−2 (t) = u−2 (t) e−st dt = te−st dt =: U−2 (s).
0 0
Parciális integrálás:
∫ ∞ [ ]t=∞ ∫ ∞ ( −st )
te−st e
U−2 (s) = te−st dt = − − − dt
0 s t=0 0 s
[ −st ]t=∞
e 1
=0− − 2 = 2, ha σ > 0.
s t=0 s

Baran Sándor Matematika és információelmélet előadás 87 / 239


A Laplace-transzformált tulajdonságai I
Tétel (Linearitás). Ha α és β konstansok, vagy nem függenek az s és t
értékétől, f(t) és g(t) Laplace-transzformáltjai rendre F(s) és G(s), akkor
[ ] [ ] [ ]
L αf(t) + βg(t) = αL f(t) + βL g(t) = αF(s) + βG(s).

Tétel (Eltolás az időtartományban). Legyen az f(t) Laplace-traszformált-


ja F(s), valamint a egy pozitív konstans. Ekkor az f(t − a)u−1 (t − a) idő-
eltolt függvény Laplace-transzformáltja
[ ]
L f(t − a)u−1 (t − a) = e−as F(s).

Tétel (Komplex differenciálás). Legyen az f(t) Laplace-traszformáltja


F(s). Ekkor
[ ] d
L tf(t) = − F(s).
ds

Baran Sándor Matematika és információelmélet előadás 88 / 239


Példák
1.
( )
[ ] s [ ] d s s2 − ω 2
L cos(ωt) = , így L t cos(ωt) = − = .
s2 + ω 2 ds s2 + ω 2 (s2 + ω 2 )2
2. ( )
[ ] 1 [ ] d 1 1
L e−αt = így L te−αt = − = .
s+α ds s+α (s + α)2
3. Az
[ ] 1
L u−1 (t) =
s
alapján
( )
[ ] [ ] d 1 1
L u−2 (t) = L tu−1 (t) = − = 2;
ds s s
( )
[ ] [ ] [ ] d 1 2 2!
L u−3 (t) = L tu−2 (t) = L t2 u−1 (t) − = = 3;
ds s2 s3 s
( )
[ ] [ ] [ ] d 2 6 3!
L u−4 (t) = L tu−3 (t) = L t3 u−1 (t) − = = 4.
ds s3 s4 s
Általánosan:
[ ] [ ] n!
L u−(n+1) (t) = L tn u−1 (t) = n+1 .
s
Baran Sándor Matematika és információelmélet előadás 89 / 239
A Laplace-transzformált tulajdonságai II
Tétel (Eltolás az s tartományban). Legyen az f(t) Laplace-traszformáltja
F(s), valamint a egy komplex szám. Ekkor
[ ]
L eat f(t) = F(s − a).
Tétel (Valós differenciálás). Legyen az f(t) Laplace-traszformáltja F(s), és
tegyük fel, hogy f′ (t) = dt
d
f(t) = Df(t) is Laplace-traszformálható. Ekkor
[ ]
L f′ (t) = sF(s) − f(0+ ),
ahol f(0+ ) az f függvénynek a 0 pontban vett jobboldali határértéke, azaz
f(0+ ) := lim f(t).
x→0
x>0
d2
Az f′′ (t) = dt2
f(t) = D2 f(t) második derivált Laplace-transzformáltja
[ ]
L f′′ (t) = s2 F(s) − sf(0+ ) − f′ (0+ ).
d n
Általánosan, az f(n) (t) = dt n
n f(t) = D f(t) n-edik derivált transzformáltja
[ ]
L f(n) (t) = sn F(s) − sn−1 f(0+ ) − sn−2 f′ (0+ ) − · · · − sf(n−2) (0+ ) − f(n−1) (0+ ).
Baran Sándor Matematika és információelmélet előadás 90 / 239
A Laplace-transzformált tulajdonságai III
Tétel (Valós integálás). Legyen az f(t) Laplace-traszformáltja F(s). Ekkor
az f függvény
∫ t ∫ t
−1 −1 + −1 +
D f(t) := f(s)ds + D f(0 ), ahol D f(0 ) := lim f(s)ds,
0 t→0 0
t>0
integrálja is transzformálható és a Laplace-transzformáltja
[ ] F(s) D−1 f(0+ )
L D−1 f(t) = + .
s s
A kétszeresen integrált függvény Laplace-transzformáltja
[ ] F(s) D−1 f(0+ ) D−2 f(0+ )
L D−2 f(t) = 2 + + .
s s2 s
Általánosan
[ ] F(s) D−1 f(0+ ) D−n f(0+ )
L D−n f(t) = n + + · · · + .
s sn s

A továbbiakban az f(0+ ) helyett egyszerűan az f(0) jelölést használjuk.


Baran Sándor Matematika és információelmélet előadás 91 / 239
Példák
1.
[ ] s 1
L cos(ωt) = , valamint sin(ωt) = − cos′ (ωt).
s2 + ω 2 ω
Ezek alapján
[ ] 1 [ ] 1( [ ] )
L sin(ωt) = − L cos′ (ωt) = − sL cos(ωt) − cos(0)
ω ω
( )
1 s2 ω
=− − 1 = 2 .
ω s2 + ω 2 s + ω2

2.
[ ] s+α
L e−αt cos(ωt) = .
(s + α)2 + ω 2

3. Laplace-transzformálás MATLAB segítségével

>> syms A W t >> g=exp(-A*t)*cos(W*t);


>> f=sin(W*t);
>> F=laplace(f,t) >> G=laplace(g,t)

F = G =
W/(W^2 + t^2) (A + t)/((A + t)^2 + W^2)

Baran Sándor Matematika és információelmélet előadás 92 / 239


A Laplace-transzformált tulajdonságai IV
Tétel (Határérték a végtelenben). Ha f(t) és f′ (t) Laplace-transzformál-
ható, az f(t) Laplace-transzformáltja F(s), valamint t → ∞ esetén létezik
az f(t) határértéke, akkor
lim F(s) = lim f(t).
s→0 t→∞

Tétel (Határérték a nullában). Ha f(t) és f′ (t) Laplace-transzformálha-


tó, az f(t) Laplace-transzformáltja F(s), valamint s → ∞ esetén létezik az
sF(s) határértéke, akkor
lim sF(s) = lim f(t).
s→∞ t→0

Tétel (Komplex integrálás). Legyen az f(t) Laplace-transzformáltja F(s)


és tegyük fel, hogy t → 0, t > 0 esetén létezik az f(t)/t határértéke
(jobboldali határérték). Ekkor
[ ] ∫ ∞
f(t)
L = F(s)ds.
t 0
Baran Sándor Matematika és információelmélet előadás 93 / 239
Példa: soros RLC kör
v(t) vagy u(t): feszültség a t időpontban (V); I(t): áramerősség a t időpontban (A)
Kirchhoff törvények
1 Zárt hurokban a feszültségforrások összege megegyezik a feszültségesések össze-
gével (huroktörvény).
2 A csomópontban befolyó áramok összege megegyezik az onnan elfolyó áramok
összegével (csomóponti törvény).
Elem Mennyiség Feszültségesés
I(t) Ellenállás (R) Ellenállás (Ω) vR = RI
dI
R Tekercs (L) Induktivitás (H) vL = L dt =: LDI
∫t
Kondenzátor (C) Kapacitás (F) vC = C1 0 I(τ )dτ + QC0 =: CD
I

+
u(t) Q0 : a kondenzátor kezdeti töltése.
L
u(t): bemenő feszültség.
Kirchhoff huroktörvénye: vR (t) + vL (t) + vC (t) = u(t).
C I
A kapcsolódó egyenlet: RI + LDI + CD
= u.

Output y(t): a kondenzátoron mért vC (t) feszültségesés.


Az outputra felírt egyenlet:
RCDy(t) + LCD2 y(t) + y(t) = u(t) ⇐⇒ LC y′′ (t) + RC y′ (t) + y(t) = u(t).
Baran Sándor Matematika és információelmélet előadás 94 / 239
A Laplace-transzformálás alkalmazása
Másodrendű lineáris differenciálegyenlet az y(t) output feszültségesésre:
LC y′′ (t) + RC y′ (t) + y(t) = u(t).
Az egyenlet Laplace-transzformáltja:
[ ] [ ]
L LC y′′ (t) + RC y′ (t) + y(t) = L u(t) .
A tagok Laplace-transzformáltjai:
[ ] [ ] ( )
L y(t) = Y(s), L RC y′ (t) = RC sY(s) − y(0) ,
[ ] [ ] ( )
L u(t) = U(s), L LC y′′ (t) = LC s2 Y(s) − sy(0) − y′ (0) .
Az egyenletbe való behelyettesítés eredménye:
( ) ( )
LCs2 + RCs + 1 Y(s) − LC sy(0) + LC y′ (0) + RC y(0) = U(s).
1 LC sy(0) + LC y′ (0) + RC y(0)
Y(s) = U(s) + .
LCs2 + RCs + 1 LCs2 + RCs + 1
| {z } | {z }
A rendszer átviteli függvénye A kezdeti értékeket tartalmazó tag

A megoldás Laplace-transzformáltja:
U(s) + LC sy(0) + LC y′ (0) + RC y(0)
Y(s) = .
LCs2 + RCs + 1
Baran Sándor Matematika és információelmélet előadás 95 / 239
Az egyenlet megoldása
Az eredeti egyenlet: LC y′′ (t) + RC y′ (t) + y(t) = u(t).
A megoldás Laplace-transzformáltja:
U(s) + LC sy(0) + LC y′ (0) + RC y(0)
Y(s) = .
LCs2 + RCs + 1
Az y(t) megoldás az L−1 inverz Laplace-transzformált segítségével adható meg
[ ]
[ ] U(s) + LC sy(0) + LC y′ (0) + RC y(0)
y(t) = L−1 Y(s) = L−1 .
LCs2 + RCs + 1
A konkrét értékek behelyettesítése után használhatjuk a Laplace-transzformációs táblá-
zatokat.
Tegyük fel, hogy t = 0 időpillanatban egy 1 V feszültségű egyenáramú forrást kapcsolunk
be, azaz y(0) = y′ (0) = 0, u(t) pedig az egységugrás-függvény, azaz u(t) = u−1 (t).
[ ] [ ]
[ ] 1/(LC) ω2
y(t) = L−1 Y(s) = L−1 ( 2 ) = L−1 ( ) ,
s s + (R/L)s + 1/(LC) s s2 + 2ζωs + ω 2
√ ( √
ahol ω := 1/ LC és ζ := R/2) C/L. A Laplace-transzformációs táblázat alapján:
e−ζωt ( √ )
y(t) = 1 − √ sin ω 1 − ζ 2 t + arccos ζ .
1 − ζ2
Baran Sándor Matematika és információelmélet előadás 96 / 239
Konvolúció

Definíció. Legyenek f1 , f2 : [0, ∞[ 7→ R tetszőleges integrálható függvé-


nyek. Ekkor az f1 és f2 függvények konvolúciója
∫ ∞
f(t) := f1 (t) ∗ f2 (t) := f1 (τ )f2 (t − τ )dτ.
0

Tétel. Ha az f1 (t) és f2 (t) függvények Laplace transzformáltjai rendre


F1 (s) és F2 (s), akkor
[ ]
L f1 (t) ∗ f2 (t) = F1 (s) · F2 (s).

Baran Sándor Matematika és információelmélet előadás 97 / 239


Inverz transzformálás
Az f(t) függvény F(s) Laplace transzformáltja gyakorta egy racionális
törtfüggvény, aminek alakja
P(s) ak sk + ak−1 sk−1 + · · · + a1 s + a0
F(s) = = n , k < n.
Q(s) s + bn−1 sn−1 + · · · + b1 s + b0
Definíció. Az F(s) pólusai a Q(s) polinom s1 , s2 , . . . , sn gyökei, amennyi-
ben P(si ) ̸= 0, i = 1, 2, . . . , n (a P(s) és Q(s) polinomoknak nincs közös
gyöke).
Az inverz transzformált az F(s) parciális törtekre való bontásával számol-
ható. Négy esetet különböztethetünk meg aszerint, hogy az F(s) pólusai:
1 elsőrendű valós pólusok;

2 többszörös valós pólusok;

3 elsőrendű komplex konjugált párok;

4 többszörös komplex konjugált párok.

A szükséges Laplace transzformált:


[ ]
−1 1 tn−1 eαt
L = .
(s − α)n (n − 1)!
Baran Sándor Matematika és információelmélet előadás 98 / 239
Elsőrendű valós pólusok

P(s) P(s) A1 A2 An
F(s) = = = + ··· .
Q(s) (s − s1 )(s − s2 ) · · · (s − sn ) s − s1 s − s2 s − sn
[ ]
f(t) = L−1 F(s) = A1 es1 t + A2 es2 t + · · · + An esn t , t ≥ 0.

Példa. Határozzuk meg a következő függvény inverz Laplace transzformáltját:


10
F(s) = .
s3 + 7s2 + 10s
Megoldás.
10 1 2 1 5 1 2 −5t 5 −2t
F(s) = = + · − · , f(t) = 1 + e − e .
s(s + 2)(s + 5) s 3 s+5 3 s+2 3 3

MATLAB megoldás
>> syms s >> ilaplace(F,s)
>> F=10/(s^3+7*s^2+10*s)
ans =
F = (2*exp(-5*s))/3 - (5*exp(-2*s))/3 + 1
10/(s^3 + 7*s^2 + 10*s)
Baran Sándor Matematika és információelmélet előadás 99 / 239
Többszörös valós pólusok
P(s) A11 A1q1
F(s) = = + ··· +
(s − s1 − s2 ) · · · (s − sr )
)q1 (s q 2 qr s − s1 (s − s1 )q1
A21 A2q2 Ar1 Arqr
+ + ··· + + ··· + + ··· + .
s − s2 (s − s2 ) 2
q s − sr (s − sr )qr
[ ] tq1 −1 s1 t
f(t) = L−1 F(s) = A11 es1 t + A12 tes1 t · · · + A1q1 e
(q1 − 1)!
tqr −1 s1 t
+ · · · + Ar1 esr t + Ar2 tesr t · · · + Arqr e , t ≥ 0.
(qr − 1)!
Példa. Határozzuk meg a következő függvény inverz Laplace transzformáltját:
s2 + s + 1
F(s) = .
s4 + 5s3 + 9s2 + 7s + 2
Megoldás.
s2 + s + 1 3 2 1 3
F(s) = = − + − .
(s + 1)3 (s + 2) s+1 (s + 1)2 (s + 1)3 s+2
t2 −t
f(t) = 3e−t − 2te−t + e − 3e−2t , t ≥ 0.
2
Baran Sándor Matematika és információelmélet előadás 100 / 239
Elsőrendű komplex konjugált párok

P(s) A1 A2 An
F(s) = = + + ··· + ,
(s2 +2ζωs+ω 2 )(s−s3 ) · · · (s−sn ) s−s1 s−s2 s−sn
√ √
s1 = −ζω+iω 1−ζ 2 , s2 = −ζω−iω 1−ζ 2 ∈ C, s3 , . . . , sn ∈ R.
A1 A2 A3 An
F(s) = √ + √ + + ··· + .
s+ζω−iω 1−ζ 2 s+ζω+iω 1−ζ 2 s−s 3 s−s n
√ √
2 2
f(t) = A1 e(−ζω+iω 1−ζ )t + A2 e(−ζω−iω 1−ζ )t + A3 es3 t + · · · + An esn t .

A1 , A2 ∈ C: komplex konjugáltak; A2 , · · · , An ∈ R.
( √ )
f(t) = 2|A1 |e−ζωt sin ω 1 − ζ 2 t + ϕ + A3 es3 t + · · · + An esn t
( )
= 2|A1 |eσt sin ωd t + ϕ + A3 es3 t + · · · + An esn t ,

ahol σ := −ζω, ωd := ω 1 − ζ 2 , valamint ϕ − π/2 az A1 szöge.
Baran Sándor Matematika és információelmélet előadás 101 / 239
Példa
Határozzuk meg a következő függvény inverz Laplace transzformáltját:
36s
F(s) = .
s3 + 6s2 + 21s + 26
Megoldás.

36s 36s
F(s) = =
(s2 + 4s + 13)(s + 2) (s + 2 − 3i)(s + 2 + 3i)(s + 2)
4 − 6i 4 + 6i 8
= + − .
s + 2 − 3i s + 2 + 3i s+2

f(t) = (4 − 6i)e(−2+3i)t + (4 + 6i)e(−2−3i)t − 8e−2t


( ) ( ) ( )
= 4e−2t e3it +e−3it −6ie−2t e3it −e−3it −8e−2t = 4e−2t 2 cos(3t)+3 sin(3t) − 2
| {z } | {z }
2 cos(3t) 2i sin(3t)
( )
√ 2 3
= 4 13e−2t √ cos(3t)+ √ sin(3t) −8e−2t
13 13
√ ( ) √
= 4 13e−2t sin ϕ cos(3t) + cos ϕ sin(3t) −8e−2t = 4 13e−2t sin(3t + ϕ)−8e−2t ,

ahol tan ϕ = 2/3, azaz ϕ = 33.69◦ .


Baran Sándor Matematika és információelmélet előadás 102 / 239
Tiszta képzetes pólusok
P(s) A1 A2 An
F(s) = = + + ··· +
(s2 + ω 2 )(s−s3 ) · · · (s−sn ) s−s1 s−s2 s−sn
A1 A2 A3 An
= + + + ··· + , s3 , . . . , sn ∈ R.
s−iω s+iω s−s3 s−sn
f(t) = A1 eiωt + A2 e−iωt + A3 es3 t + · · · + An esn t
( )
= 2|A1 | sin ωt + ϕ + A3 es3 t + · · · + An esn t , t ≥ 0.

Példa. Határozzuk meg a következő függvény inverz Laplace transzformáltját:


20
F(s) = .
(s2 + 16)(s + 2)
MATLAB megoldás
>> syms s >> ilaplace(F,s)
>> F=20/(s^2+16)/(s+2)
ans =
F = exp(-2*s) - cos(4*s) + sin(4*s)/2
20/((s^2 + 16)*(s + 2))
Baran Sándor Matematika és információelmélet előadás 103 / 239
Többszörös komplex konjugált párok
A többszörös komplex konjugált pólus párokat a többszörös valós pólusok-
hoz hasonlóan kezeljük.
Példa. Határozzuk meg a következő függvény inverz Laplace transzformáltját:
324s 324s
F(s) = 2 = .
(s + 4s + 13)2 (s + 2) (s + 2 − 3i)2 (s + 2 + 3i)2 (s + 2)
Megoldás.
4 − 3i 4 + 3i 9 + 6i 9 − 6i 8
F(s) = + − − − .
s + 2 − 3i s + 2 + 3i (s + 2 − 3i)2 (s + 2 + 3i)2 s+2

f(t) = (4−3i)e(−2+3i)t + (4+3i)e(−2−3i)t − (9+6i)te(−2+3i)t − (9−6i)te(−2−3i)t − 8e−2t


( ( ) ( ) )
= e−2t (4 − 9t) e3it +e−3it − (3 + 6t)i e3it −e−3it − 8
( )
( ) 4 3
= 2e−2t (4 − 9t) cos(3t) + (3 + 6t) sin(3t) − 4 = 10e−2t cos(3t) + sin(3t)
5 5
( )
√ 3 2
− 6 13te−2t √ cos(3t) − √ sin(3t) − 8e−2t
13 13
√ 4 3
= 10e−2t sin(3t + ϕ) + 6 13te−2t sin(3t − ψ) − 8e−2t , tan ϕ = , tan ψ = .
3 2

Baran Sándor Matematika és információelmélet előadás 104 / 239


Fourier transzformált
Definíció. Egy f : R 7→ R függvény Fourier-transzformáltja alatt az
∫ ∞
[ ]
b
F f(t) := f(ω) := f(t)eiωt dt
−∞

integrált értjük azon ω pontokban, ahol az integrál létezik.

Megjegyzés. Legyen f be abszolút integrálható, azaz


∫ ∞
f(t) dt < ∞.
−∞

Ekkor
∫ ∞ ∫ ∞ ∫ ∞
f(t)eiωt dt ≤ f(t)eiωt dt ≤ f(t) dt < ∞,
−∞ −∞ −∞

azaz létezik az f Fourier-transzformáltja.

Baran Sándor Matematika és információelmélet előadás 106 / 239


Kapcsolat a Laplace-transzformálttal
Jelölje F± (s) a ∫ ∞
F± (s) := f(±t)e−st dt
0

Laplace-transzformáltat. Ekkor az f(t) függvény bf(ω) Fourier-transzfor-


máltjára teljesül
bf(ω) = F+ (−iω) + F− (iω).
Példa. Legyen f(t) := e−α|t| , t ∈ R, α > 0.
∫ ∞ ∫ 0 ∫ ∞
bf(ω) = e−α|t| eiωt dt = e(α+iω)t dt + e(−α+iω)t dt
−∞ −∞ 0
[ ]t=0 [ ]t=∞
e(α+iω)t e(−α+iω)t 1 1 2α
= + = − = 2 .
α + iω t=−∞ −α + iω t=0 α + iω −α + iω α + ω2
A megfelelő Laplace-transzformáltak:
[ ] 1 [ ] 1
F+ (s) = L e−αt = , F− (s) = L e−αt = .
s+α s+α
1 1 2α
F+ (−iω) + F− (iω) = + = 2 = bf(ω).
−iω + α iω + α α + ω2

Baran Sándor Matematika és információelmélet előadás 107 / 239


Kapcsolat a valószínűségszámítással
Definíció. Legyen f(t) egy X abszolút folytonos valószínűségi változó sű-
rűségfüggvénye, azaz
∫ x
( )
P X≤x = f(t)dt.
−∞

Ekkor az f sűrűségfüggvény bf(ω) Fourier-transzformáltját az X karakte-


risztikus függvényének nevezik.
Megjegyzés. A karakterisztikus
[ ] függvényt úgy is tekinthetjük, mint az
eiωX valószínűségi változó E eiωX várható értékét, mivel
∫ ∞
[ ]
bf(ω) = f(t)eiωt dt = E eiωX .
−∞

Példa. φ(t): a standard normális eloszlás sűrűségfüggvénye.


1 2 2
φ(t) := √ e−t /2 , b
φ(ω) = e−ω /2
.

Baran Sándor Matematika és információelmélet előadás 108 / 239


Inverz Fourier-transzformált
Tétel. Tegyük fel, hogy mind f, mind pedig bf abszolút integrálható. Ek-
kor f folytonos és minden egyes t értékre
∫ ∞
1 bf(ω)e−iωt dω,
f(t) =
2π −∞
azaz az f függvényt a Fourier-transzformáltja egyértelműen meghatározza.
Megjegyzés. A Fourier-transzformáció köti össze az időtartományban ér-
telmezett f függvényt a frekvenciatartománybeli bf reprezentációjával.
Tétel (Parseval-egyenlőség). Tegyük fel, hogy mind f, mind pedig bf ab-
szolút integrálható. Ekkor
∫ ∞ ∫ ∞
2 1 bf(ω) 2 dω.
f(t) dt =
−∞ 2π −∞

Ha f és g, valamint az abszolút integrálhatóak, és ugyanez teljesül az bf és b


g
Fourier-transzformáltjaikra, akkor
∫ ∞ ∫ ∞
1 bf(ω)b
f(t)g(t)dt = g(ω)dω.
−∞ 2π −∞
Baran Sándor Matematika és információelmélet előadás 109 / 239
Fizikai értelmezés
f(t): jel az időtartományban (pl. feszültségesés egy ellenálláson).
Az f(t) jel teljes energiatartalma az összes t időpillanatra:
∫ ∞
2
Ef := f(t) dt.
−∞

Az bf(ω) Fourier-transzformáltak teljes energiatartalma az összes ω frek-


venciára : ∫ ∞ ∫ ∞
1 bf(ω) 2 dω = bf(2πν) 2 dν.
2π −∞ −∞

bf(ω) 2 : az f energia-sűrűség spektruma.

Parseval-egyenlőség: az f(t) jel energiatartalma nem csak energia per


2
egységidő alapján számolható, azaz f(t) integráljaként, hanem energia
per egységfrekvencia alapján is, ami bf(ω) /2π integráljaként áll elő a
2

frekvenciatartományon.
Baran Sándor Matematika és információelmélet előadás 110 / 239
Példa
2T hosszúságú négyszögjel
{ ∫ [ ]t=T
1, |t| ≤ T; bf(ω) =
T
eiωt 2 sin(ωT)
f(t) := eiωt dt = = .
0, |t| > T. −T iω t=−T ω
( )
bf(ω) = 2 sin(ωT) = 2T sinc ωT , ahol sinc(x) :=
sin(πx)
, x ∈ R.
ω π πx

Time domain Frequency domain

10
1
8

0.8
6

0.6
4

fb(ω)
f (t)

0.4
2

0.2
0

0 −2

−0.2 −4
−10 −5 0 5 10 −3 −2 −1 0 1 2 3
t ω

2T hosszúságú négyszögjel és Fourier-transzformáltja T = 5 esetén.

Baran Sándor Matematika és információelmélet előadás 111 / 239


Példa
Sávszűrő. Legyen 0 < w < W és
{
bf(ω) = 1, |ω| ∈ [w, W]; f(t) =
sin(Wt)

sin(wt)
.
0 egyébként. πt πt

Frequency domain Time domain


1.5

1
1
0.8

0.6 0.5

f (t)
fb(ω)

0.4
0
0.2

0 −0.5

−0.2
−10 −5 0 5 10 −3 −2 −1 0 1 2 3
ω t

Sávszűrő és inverz Fourier-transzformáltja w = 1, W = 5 esetén.

Baran Sándor Matematika és információelmélet előadás 112 / 239


A Fourier-transzformált tulajdonságai, I
Tétel (Linearitás). Ha α és β konstansok, vagy nem függenek az ω és t
értékétől, az f(t) és g(t) függvények Fourier-transzformáltjai pedig rendre
[ ] [ ]
F f(t) = bf(ω) és F g(t) = b g(ω), akkor
[ ] [ ] [ ]
F αf(t) + βg(t) = αF f(t) + βF g(t) = αbf(ω) + βb g(ω).

Tétel (Deriválás az időtartományban). Ha f(t) folytonos és szakaszon-


ként differenciálható, valamint f′ (t) abszolút integrálható, akkor
fb′ (ω) = iωbf(ω).

Tétel (Eltolás és moduláció). Legyen τ, a ∈ R.


[ [
F f(t − τ )] = eiωτ F f(t)] = eiωτbf(ω),
[
F eiat f(t)] = bf(a + ω).

Baran Sándor Matematika és információelmélet előadás 113 / 239


A Fourier-transzformált tulajdonságai, II
Tétel (Deriválás a frekvenciatományban). Tegyük fel, hogy tf(t) abszo-
lút integrálható. Ekkor
[ ] d
F tf(t) = i bf(ω).

Tétel (Hasonlóság). Legyen 0 ̸= a ∈ R. Ekkor


[ ]
F f(t/a) = |a|bf(aω).

Tétel (Konvolúció). Legyen f(t) az f1 (t) és f2 (t) abszolút integrálható


függvények konvolúciója, azaz
∫ ∞
f(t) := f1 (t) ∗ f2 (t) := f1 (τ )f2 (t − τ )dτ.
−∞
Ekkor
bf(ω) = f\ b b
1 ∗ f2 (ω) = f1 (ω) · f2 (ω).

Baran Sándor Matematika és információelmélet előadás 114 / 239


Diszkrét idejű Fourier transzformált

f[n], n ∈ Z: egy diszkrét idejű (digitális) jel.

Az f[n] jelet megkaphatjuk úgy, hogy T periódussal mintavételezünk egy


g(t), t ∈ R, folytonos jelből, azaz f[n] = g(nT).

Definíció. Az f : Z 7→ R digitális jel diszkrét idejű Fourier transzformáltja




{ }
F(ω) := F f[n] := f[n]eiωn , −π ≤ ω ≤ π.
n=−∞

A megfelelő diszkrét idejű inverz Fourier transzformált


∫ π
1
f[n] = F(ω)e−iωn dω.
2π −π

Baran Sándor Matematika és információelmélet előadás 115 / 239


Diszkrét Fourier transzformált
f[n], n = 0, 1, . . . , N − 1: egy véges diszkrét idejű jel.

Definícó. Az f[n], n = 0, 1, . . . , N − 1, véges diszkrét jel diszkrét Fouri-


er transzformáltja


N−1

F[k] := f[n]eikω0 n , ω0 := , k = 0, 1, . . . , N − 1.
N
n=0

A megfelelő diszkrét inverz Fourier transzformált

1 ∑
N−1
f[n] := F[k]e−ikω0 n , n = 0, 1, . . . , N − 1.
N
k=0

Megjegyzés. ω0 = 2π 1 2π
N az alapfrekvencia ( N Hz, N rad/s). Emellett fel-
használjuk a 2ω0 , 3ω0 , . . . , (N−1)ω0 felharmonikusokat és a 0 = 0 · ω0 DC
komponenst.
Baran Sándor Matematika és információelmélet előadás 116 / 239
Mátrix reprezentáció
Az f[n], n = 0, 1, . . . , N − 1, diszkrét Fourier transzformáltja:


N−1

F[k] := f[n]ei N kn , k = 0, 1, . . . , N − 1.
n=0

Mátrix reprezentáció:
 
  1 1 1 1 ··· 1  
F[0] 1 f[0]
 F[1]   W W 2 W 3 ··· WN−1  
   f[1]
 F[2]  1 W
2 W4 W6 ··· WN−2 
 

  = 1 W3 6   f[2],
 ..   W W9 ··· W N−3
 ..
 .   . .. ..   .
 .. . . 
F[N − 1] f[N − 1]
1 WN−1 WN−2 WN−3 ··· W

ahol W := ei N az N-edik komplex egységgyök.

A szorzó mátrix tulajdonságain alapulnak a gyors Fourier transzformált


(FFT) algoritmusok.
Baran Sándor Matematika és információelmélet előadás 117 / 239
Példa
Tekintsük a következő folytonos jelet:
( ) ( )
6 + 2 cos 2πt − π/2 + 3 cos 4πt ,
f(t) = |{z} t ≥ 0.
| {z } | {z }
DC 1Hz 2Hz

10
Minavételezzünk az f(t) jelből 4Hz frek-
8 venciával (másodpercenként 4 minta, min-
6
tavételi periódus T = 1/4) a t = 0-tól a
t = 3/4-ig (N = 4 érték).
4
A mintavételezett jel a t = nT = n/4,
f (t)

2
n = 0, 1, 2, 3 időpillanatokban:
0 ( ) ( )
f[n] = 6 + 2 cos πn/2 − π/2 + 3 cos πn .
−2
f[0] = 9, f[1] = 5, f[2] = 9, f[3] = 1.
−4
0 0.5 1 1.5 2 2.5
t

A diszkrét Fourier transzformált:



3
π
F[k] = f[n]ei 2 kn , k = 0, 1, 2, 3.
n=0

Baran Sándor Matematika és információelmélet előadás 118 / 239


Példa
( ) ( )
Folytonos jel: f(t) = 6 + 2 cos 2πt − π/2 + 3 cos 4πt , t ≥ 0.
( ) ( )
Mintavételezett jel: f[n] = 6 + 2 cos πn/2 − π/2 + 3 cos πn , n = 0, 1, 2, 3.


3
π
Fourier transzformált: F[k] = f[n]ei 2 kn , k = 0, 1, 2, 3.
n=0
π
W := ei 2 = i, azaz W2 = −1, W3 = −i, W4 = 1.

Matrix reprezentáció:
         
F[0] 1 1 1 1 f[0] 1 1 1 1 9 24
F[1] 1 W W2 W3  f[1] 1 i −1 −i     
 =    =   5 =  4i  .
F[2] 1 W2 W4 W6  f[2] 1 −1 1 −1 9  12 
F[3] 1 W3 W6 W 9
f[3] 1 −i −1 i 1 −4i

Az együtthatók F[k] nagyságrendje: 24, 4, 12, 4.

Baran Sándor Matematika és információelmélet előadás 119 / 239


Digitális jelek z-transzformáltja
Definíció. Legyen f : Z 7→ C egy olyan diszkrét idejű (digitális) jel, mely-
re f[n] = 0, ha n = −1, −2, . . .. Az f (egyoldali) z-transzformáltja


{ }
F(z) := Z f[n] := f[n]z−n
n=0

azon z ∈ C értékekre, ahol a sor konvergens.


Megjegyzés. A{z-transzformálás
} egy kölcsönösen egyértelmű megfelelte-
tést ad f[n] és Z f[n] között.
Példa. Legyen a ∈ C és f[n] := an , n = 0, 1, 2, . . ., valamint f[n] = 0, n = −1, −2, . . ..
∞ ( )
{ } ∑ ∞ ∑ a n z
Z an = an z−n = = .
n=0 n=0
z z − a

Speciális eset (egységugrás fügvény): f[n] ≡ 1 = 1n =: u[n], n = 0, 1, 2, . . ., valamint


f[n] = 0, n = −1, −2, . . ..
{ } z
Z u[n] = .
z−1

Baran Sándor Matematika és információelmélet előadás 121 / 239


Motiváció: mintavételezés
f(t): folytonos jel.
f(t)
p(t): 1/γ amplitúdójú és T periódu-
sú mintavételező impulzus sorozat.
Az egyes impulzusokhoz kapcsolódó
t terület 1.
p(t)
Mintavételezett függvény:

1 f∗p (t) = p(t) · f(t).


γ

T γ t γ → 0: Dirac impulzus sorozat (ideá-


lis mintavételező)
f*(t)
p


δT (t) := δ(t − nT).
n=−∞

t δ(t): Dirac delta függvény.


Baran Sándor Matematika és információelmélet előadás 122 / 239
Dirac delta függvény
u−1 (t): egységugrás függvény.
δ(t, γ): 1/γ amplitúdójú és γ hosszúságú impulzus

u−1 (t) − u−1 (t − γ)


δ(t, γ) := .
γ

Delta függvény:

u−1 (t) − u−1 (t − γ)


δ(t) := lim δ(t, γ) = lim .
γ→0 γ→0 γ
γ>0 γ>0

Formálisan:
{
∞ t = 0; ′
δ(t) = vagy δ(t) = ”u−1 (t)”.
0 t ̸= 0,

Baran Sándor Matematika és információelmélet előadás 123 / 239


A Dirac delta függvény tulajdonságai
f(t): folytonos jel.
∫ ∞ ∫ t2
f(τ )δ(τ − t0 )dτ = f(τ )δ(τ − t0 )dτ = f(t0 ), t0 ∈ R,
−∞ t1

minden olyan intervallumra, ahol t0 ∈ [t1 , t2 ] ⊆ R. Speciális eset:


∫ ∞ ∫ t2 {
1, 0 ∈ [t1 , t2 ];
δ(τ )dτ = δ(τ )dτ =
−∞ t1 0, egyébként.

Laplace transzformált:
[ ] 1( [ ] [ ]) 1 − e−γs
F(s, γ) := L δ(t, γ) = L u−1 (t) − L u−1 (t − γ) = .
γ γs
[ ] 1 − e−γs
F(s) := L δ(t) = lim F(s, γ) = lim = 1.
γ→0 γ→0 γs
γ>0 γ>0
[ ]
A Dirac delta függvény Laplace transzformáltja: L δ(t) = 1.
Baran Sándor Matematika és információelmélet előadás 124 / 239
A mintavételezett jel Laplace transzformáltja
f(t): folytonos jel, f(t) = 0, ha t < 0.
δT (t): ideális mintavételező.
Mintavételezett jel:


f∗δT (t) = f(t) · δT (t) = f(t)δ(t − nT).
n=0

A mintavételezett jel Laplace transzformáltja:


∫ ∞
[ ]
F∗δT (s) := L f∗δT (t) = f(t)δT (t)e−st dt
0
∞ ∫
∑ ∞ ∞

= f(t)δ(t − nT)e−st dt = f(nT)e−snT .
n=0 0 n=0
1
Legyen z = esT ,azaz s = ln z. Ekkor
T
(1 ) ∑∞
{ }
e ∗ ∗
FδT (z) := FδT ln z = f(nT)z−n = Z f[nT] .
T
n=0
Baran Sándor Matematika és információelmélet előadás 125 / 239
A z-transzformált tulajdonságai, I
Tétel. Legyenek f, g : Z 7→ C olyan diszkrét idejű (digitális) jelek, mely-
ekre f[n] = g[n] = 0, ha n = −1, −2, . . ., valamint jelölje rendre F(z) és
G(z) az f és g z-transzformáltját.
(Linearitás) Ha α és β konstans, vagy független a z és n értékétől,
akkor
{ } { } { }
Z αf[n] + βg[n] = αZ f[n] + βZ g[n] = αF(z) + βG(z).

(Konvolúció) Jelölje h[k] az f[k] és g[k] konvolúcióját, azaz



∑ ∑
k
h[k] = (f ∗ g)[k] := f[ℓ]g[k − ℓ] = f[ℓ]g[k − ℓ],
ℓ=−∞ ℓ=0

ahol k = 0, 1, 2, . . .. Ekkor
{ } { } { }
H(z) := Z h[k] = Z f[k] · Z g[k] = F(z) · G(z).

Baran Sándor Matematika és információelmélet előadás 126 / 239


A z-transzformált tulajdonságai, II
Tétel. Legyen f : Z 7→ C egy olyan digitális jel, melyre f[n] = 0, ha
n = −1, −2, . . ., valamint jelölje rendre F(z) az f z-transzformáltját.
(Visszaléptetés)
{ } { }
Z f[n − 1] = z−1 Z f[n] = z−1 F(z).
Általánosan, tetszőleges k ∈ N esetén
{ } { }
Z f[n − k] = z−k Z f[n] = z−k F(z).

(Eltolás)
{ } { }
Z f[n + 1] = zZ f[n] − zf[0] = zF(z) − zf[0].
Általánosan, tetszőleges k ∈ N esetén

{ { } ∑
} k
k−1
k−ℓ k

k−1
Z f[n + k] = z Z f[n] − f[ℓ]z = z F(z) − f[ℓ]zk−ℓ .
ℓ=0 ℓ=0

Baran Sándor Matematika és információelmélet előadás 127 / 239


Példák
1. A Kronecker-delta függvény
{
1, n = 0,
δ0 [n] :=
̸ 0.
0, n =

A z-transzformált:
{ } ∑∞
Z δ0 [n] = δ0 [n]z−n = 1.
n=0
n
2. Határozzuk meg az f[n] := na , n = 0, 1, 2, . . . , 0 ̸= a ∈ C, z-transzformáltját
Megoldás.
{ } ∑ ∞
z
Z an = an z−n =
n=0
z−a
Vegyük mindkét oldal z szerinti deriváltját:


a ∑

za
−nan z−n−1 = − ⇐⇒ nan z−n = .
n=1
(z − a)2 n=1
(z − a)2

Ezek alapján
{ } za
Z nan = .
(z − a)2

Baran Sándor Matematika és információelmélet előadás 128 / 239


Példa ()
1. Legyen 0 ̸= a ∈ C, 0 ≤ k ∈ Z, és f[n] := nk an .
{( ) }
{ } n n zak
Z f[n] = Z a = .
k (z − a)k+1

Speciális eset: a = 1. {( )}
n z
Z = .
k (z − 1)k+1
Még speciálisabb esetek (k = 1, 2):
{ } z { } z
Z n = , Z n(n − 1)/2 = .
(z − 1)2 (z − 1)3
Ezek alapján
{ } 2z z z(z + 1)
Z n2 = + = .
(z − 1)3 (z − 1)2 (z − 1)3
2. z-transzformálás MATLAB segítségével
>> syms n k a z
>> f=nchoosek(n,k)*a^n;
>> F=ztrans(f,n,z)

F =
piecewise([k == 0, z/(a*(z/a - 1))], [0 < k, z/(a*(z/a - 1)^(k + 1))], [k < 0, 0])
Baran Sándor Matematika és információelmélet előadás 129 / 239
Példa: a Fibonacci sorozat
Fibonacci sorozat: az első kettő kivételével mindegyik szám az előző két szám összege.
1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, . . .
f[n]: a Fibonacci sorozat n-edik tagja.
A sorozatot definiáló rekurzió:
f[n + 2] = f[n + 1] + f[n], f[0] = f[1] = 1.
A fenti egyenlet megoldása megadja az f[n] zárt alakját.

Az egyenlet z-transzformáltja:
{ } { } { } { } { }
Z f[n + 2] = Z f[n + 1] + f[n] ⇐⇒ Z f[n + 2] = Z f[n + 1] + Z f[n] .
{ }
Legyan F(z) := Z f[n] . A több tag z-transzformáltja:
{ }
Z f[n + 1] = zF(z) − zf[0] = zF(z) − z;
{ }
Z f[n + 2] = z2 F(z) − z2 f[0] − zf[1] = z2 F(z) − z2 − z.
Az egyenletbe való behelyettesítés eredménye:
( 2 )
z2 F(z) − z2 − z = zF(z) − z + F(z) ⇐⇒ z − z − 1 F(z) = z2 .
A megoldás z-transzformáltja:
z2
F(z) = .
z2 − z − 1
Baran Sándor Matematika és információelmélet előadás 130 / 239
Példa: a Fibonacci rekurziós egyenlet megoldás
A Fibonacci rekurzió:
f[n + 2] = f[n + 1] + f[n], f[0] = f[1] = 1.
{ }
A megoldás Z f[n] =: F(z) z-transzformáltja:
z2 z
F(z) = =z( √ )( √ ).
z2 − z − 1 z− 1+ 5
z − 1− 5
2 2

A parciális törtekre való bontás eredménye:


(√ √ )
5+1 1 5−1 1
F(z) = z √ √ + √ √
2 5 z − 1+2 5 2 5 z − 1−2 5
√ √
5+1 z 5−1 z
= √ √ + √ √ .
2 5 z − 1+2 5 2 5 z − 1−2 5
{ }
Mivel tetszőleges a ∈ C esetén Z an = z−a z
,
√ {( √ )n } √ {( √ )n }
5+1 1+ 5 5−1 1− 5
F(z) = √ Z + √ Z .
2 5 2 2 5 2
A megoldás így
√ ( √ )n √ ( √ )n
5+1 1+ 5 5−1 1− 5
f[n] = √ + √ .
2 5 2 2 5 2
Baran Sándor Matematika és információelmélet előadás 131 / 239
Állandó együtthatós lineáris differencia egyenletek
A Fibonacci rekurziós egyenlet

f[n + 2] − f[n + 1] − f[n] = 0

egy speciális állandó együtthatós lineáris differencia egyenlet.


A k-adrendű állandó együtthatós lineáris differencia egyenlet általános
alakja:

ak f[n + k] + ak−1 f[n + k − 1] + · · · + a1 f[n + 1] + a0 f[n] = g[n],

ahol a0 , a1 , . . . , ak ∈ C, ak ̸= 0, g[n] pedig egy adott digitális jel.


Homogén egyenlet: g[n] ≡ 0.
Kezdeti értékek:

f[0] = b0 , f[1] = b1 , . . . , f[k − 1] = bk−1 , b0 , b1 , . . . , bk−1 ∈ C.

Baran Sándor Matematika és információelmélet előadás 132 / 239


Általános megoldás
Az egyenlet: ak f[n+k] + ak−1 f[n+k−1] + · · · + a1 f[n+1] + a0 f[n] = g[n].
Kezdeti értékek: f[0] = b0 , f[1] = b1 , . . . , f[k − 1] = bk−1 .
Az egyenlet z-transzformáltja:
{ } { } { }
ak Z f[n+k] + ak−1 Z f[n+k−1] + · · · + a0 Z f[n] = Z{g[n]}.
{ } { }
Legyen F(z) := Z f[n] és G(z) := Z g[n] . A tagok z-transzformáltjai:
{ } { } ∑ j−1

j−1
Z f[n + j] = z j Z f[n] − z j−ℓ f[ℓ] = z j F(z) − z j−ℓ bℓ , j = 1, 2, . . . , k
ℓ=0 ℓ=0

A transzformált egyenlet alakja:


(∑ k ) ∑k ∑
j−1
F(z) aj z j − aj z j−ℓ bℓ = G(z);
j=0 j=1 ℓ=0
(∑
k ) k−1 ( ∑
∑ k )
F(z) aj z j − z aj bj=ℓ−1 z ℓ = G(z).
j=0 ℓ=0 j=ℓ+1

A megoldás z-transzformáltja:
(∑ k )−1 ( k−1 ( ∑
∑ k ) )
j
F(z) = aj z G(z) + z aj bj=ℓ−1 z ℓ .
j=0 ℓ=0 j=ℓ+1
Baran Sándor Matematika és információelmélet előadás 133 / 239
Példa
Oldjuk meg az alábbi differencia egyenletet:
f[n + 2] − 2f[n + 1] − 3f[n] = 6n + 6, f[0] = 0, f[1] = 1.
{ }
Megoldás. Let F(z) := Z f[n] . A g[n] = 6n + 6 z-transzformáltja
( )
{ } z z 6z2
G(z) := Z g[n] = 6 + = ,
(z − 1)2 z−1 (z − 1)2
továbbá
{ }
Z f[n + 1] = zF(z) − zf[0] = zF(z);
{ }
Z f[n + 2] = z2 F(z) − z2 f[0] − zf[1] = z2 F(z) − z.
A transzformált egyenlet:
6z2 ( 2 ) 6z2
z2 F(z) − z − 2zF(z) − 3F(z) = ⇐⇒ z − 2z − 3 F(z) = z + .
(z − 1)2 (z − 1)2
A megoldás z-transzformáltja:
(z − 1)2 + 6z z2 + 4z + 1
F(z) = z =z .
(z2 − 2z − 3)(z − 1)2 (z − 3)(z + 1)(z − 1)2

Baran Sándor Matematika és információelmélet előadás 134 / 239


Példa

A megoldandó differencia egyenletet:

f[n + 2] − 2f[n + 1] − 3f[n] = 6n + 6, f[0] = 0, f[1] = 1.

A megoldás z-transzformáltja parciális törtekre bontva:

z2 + 4z + 1 11 z 1 z 3 z 3 z
F(z) = z = + − − .
(z − 3)(z + 1)(z − 1)2 8 z−3 8z+1 2z−1 2 (z − 1)2

Mivel { } { }
z z
Z n = és Z an = , a ∈ C,
(z − 1)2 z−a
a megoldás
11 n 1 3 3
f[n] = 3 + (−1)n − − n.
8 8 2 2

Baran Sándor Matematika és információelmélet előadás 135 / 239


Az információelmélet alapfogalmai
Forrásábécé: X = {x1 , x2 , . . . , xn }, n ≥ 2, véges halmaz. Elemeit (forrás)
betűknek nevezzük. Felfoghatóak úgy, mint egy X diszkrét valószínűségi
változó (forrás) lehetséges értékei.
X ∗ : az X elemeiből álló véges sorozatok halmaza. X ∗ elemeit üzenetek-
nek, vagy közleményeknek nevezzük.
Kódábécé: Y = {y1 , y2 , . . . , ys }, s ≥ 2, véges halmaz. Elemeit kódjelek-
nek nevezzük.
Y ∗ : az Y elemeiből álló véges sorozatok halmaza. Y ∗ elemei a kódszavak.
Kód: egy f : X → Y ∗ függvény. s = 2: bináris kód.
Időnként kódként hivatkoznak az f kód K = f(X ) értékkészletére.
Ha az f kód értékkészlete különböző hosszúságú kódszavakból áll, akkor
változó hosszúságú kódolásról beszélünk.
Betűnkénti kódolás: egy közlemény kódját az egyes forrásbetűk kódjainak
egymás után írásával kapjuk.
Baran Sándor Matematika és információelmélet előadás 137 / 239
Egyértelműen dekódolható kódok
Definíció. Az f : X → Y ∗ kód egyértelműen dekódolható, ha tetszőleges
u ∈ X ∗ , v ∈ X ∗ esetén, ahol u = u1 u2 . . . uk , v = v1 v2 . . . vℓ és u ̸= v, telje-
sül, hogy f(u1 )f(u2 ) . . . f(uk ) ̸= f(v1 )f(v2 ) . . . f(vℓ ).
Minden véges kódjelsorozat legfeljebb egy közlemény kódolásával állhat
elő.

Példák.
1. X = {a, b, c}, Y = {0, 1}, és f(a) = 1, f(b) = 01, f(c) = 10110.
Az f kódoló függvény invertálható, de a kód nem egyértelműen dekódolha-
tó. Pl., f(c)f(a) = 101101 = f(a)f(b)f(a)f(b).
2. X = {a, b, c}, Y = {0, 1}, és f(a) = 1, f(b) = 10, f(c) = 100.
A kód egyértelműen dekódolható, mivel az 1 mindig egy új kódszó kezde-
tét jelzi.
3. X = {a, b, c}, Y = {0, 1}, és f(a) = 1, f(b) = 00, f(c) = 01.
A kód egyértelműen dekódolható.
Baran Sándor Matematika és információelmélet előadás 138 / 239
Prefix kódok
Definíció. Az f kód prefix, ha a lehetséges kódszavak mind különbözőek
és egyik kódszó sem folytatása a másiknak.
Megjegyzések.
1. Minden prefix kód egyértelműen dekódolható.
2. Állandó hosszúságú kód mindig prefix, ha a kódszavai különbözőek.

Példák.
1. X = {a, b, c}, Y = {0, 1}, és f(a) = 1, f(b) = 00, f(c) = 01.
A kód prefix.
2. X = {a, b, c}, Y = {0, 1}, és f(a) = 1, f(b) = 10, f(c) = 100.
A kód nem prefix, de egyértelműen dekódolható.
3. X = {a, b, c, d, e, f, g}, Y = {0, 1, 2}, valamint f(a) = 0, f(b) = 10,
f(c) = 11, f(d) = 20, f(e) = 21, f(f) = 220, f(g) = 221.
A kód prefix.
Baran Sándor Matematika és információelmélet előadás 139 / 239
Kódfák
Minden prefix kód ábrázolható egy fagráffal, ahol az egyes kódszavaknak a
gyökértől az egyes levelekig tartó töröttvonalak felelnek meg.
Bináris kód esetén pl. a 0-nak a bináris fa „felfelé” tartó ágai, az 1-nek
pedig a „lefelé” mutatók felelnek meg.

Példa. Rajzoljuk fel a megfelelő fagráfokat.


1. Y = {0, 1}, K = {0, 100, 1010, 1011, 110, 111}.
2. Y = {0, 1, 2}, K = {0, 10, 11, 20, 21, 220, 221}.

Kódszóhosszak
f(x) : az x ∈ X betű f(x) kódjának a kódszóhossza. L jelöli egy f kód-
hoz tartozó kódszóhosszak halmazát.
A kódszóhosszak nem lehetnek tetszőlegesek. Pl., nem létezik olyan 4 kód-
szóból álló egyértelműen dekódolható bináris kód, melynek a kódszóhosszai
{1, 2, 2, 2}.
Baran Sándor Matematika és információelmélet előadás 140 / 239
McMillan és Kraft egyenlőtlenségek
Tétel (McMillan). Minden egyértelműen dekódolható f : X → Y ∗ kódra

n
s−|f(xi )| ≤ 1,
i=1
ahol s a kódábécé elemszáma.
Tétel (Kraft). Ha az L1 , L2 , . . . , Ln pozitív egész számokra

n
s−Li ≤ 1,
i=1
akkor létezik olyan f prefix kód, melyre
f(xi ) = Li , i = 1, 2, . . . , n.

Megjegyzés. A McMillan és Kraft egyenlőtlenségekből következik, hogy


minden egyértelműen dekódolható kódhoz létezik vele azonos kódhosszú
prefix kód. Így elég, ha egy kódtól a speciálisabb prefix tulajdonságot kö-
veteljük meg.
Baran Sándor Matematika és információelmélet előadás 141 / 239
Az információmennyiség mérőszáma I.
Hartley (1928): Az n elemű X halmaz egyes elemeinek azonosításához

I = log2 n

mennyiségű információra van szükség.


Heurisztika. Ha n = 2k , akkor az X elemeinek reprezentálásához k = log2 n hosszú bi-
náris sorozatokat érdemes használni. Ha log2 n ̸∈ Z, akkor a szükséges bináris jegyek szá-
ma a log2 n utáni első egész. Ha X elemeiből alkotható m hosszú sorozatokat kell biná-
risan reprezentálni (ezek száma nm ), akkor olyan k hosszra van szükség, melyre
2k−1 < nm ≤ 2k . Az X egy elemére eső bináris jegyek K = k/m számára teljesül, hogy
log2 n < K ≤ log2 n + 1/m. A log2 n alsó határ így tetszőlegesen megközelíthető.

A formula az információ mennyiségét a megadáshoz szükséges állandó


hosszúságu bináris sorozatok hosszának alsó határaként definiálja. Az
információmennyiség egysége: bit. Egy kételemű halmaz azonosításához 1
bit információ szükséges.
Probléma: Hartley nem veszi figyelembe, hogy az X elemei esetleg nem
egyforma valószínűek.
Baran Sándor Matematika és információelmélet előadás 142 / 239
Az információmennyiség mérőszáma II.
Shannon (1948): Egy P(A) valószínűségű A esemény bekövetkezése
1
I(A) = log2 = − log2 P(A)
P(A)
mennyiségű információt szolgáltat.
Heurisztika. Követelmények az I(A) információmennyiséggel kapcsolatban.
Ha P(A) ≤ P(B), akkor I(A) ≥ I(B).
( )
Következmény: I(A) csak a P(A) valószínűségétől függ, az- az I(A) = g P(A) .
Független események együttes bekövetkezése esetén az információ összeadódik,
azaz ha P(A · B) = P(A)P(B), akkor I(A · B) = I(A) + I(B). Ez azt jelenti, hogy
g(p · q) = g(p) + g(q), p, q ∈]0, 1].
Ha P(A) = 1/2, akkor I(A) := 1, azaz g(1/2) = 1.
Tétel. Ha g : [0, 1] → R olyan függvény, melyre
a) g(p) ≥ g(q), ha 0 < p ≤ q ≤ 1;
b) g(p · q) = g(p) + g(q), p, q ∈]0, 1];
c) g(1/2) = 1,
akkor
1
g(p) = log2 , p ∈]0, 1].
p
Baran Sándor Matematika és információelmélet előadás 143 / 239
Az információmennyiség mérőszáma III.
Kapcsolat a két definíció között:
Ha az X minden eleme azonos (1/n) valószínűségel következik be, akkor
egy elem előfordulása éppen log2 n információt szolgáltat.

Megjegyzés. A továbbiakban a ≥ 0 és b > 0 esetén


0 a b 0
0 log2 = 0 log2 = 0; b log2 = +∞; b log2 = −∞.
a 0 0 b

X: egy X elemeit értékként felvevő valószínűségi változó.


p(x): az x ∈ X forrásbetű előfordulási valószínűsége, azaz
p(x) := P(X = x), x ∈ X.

Az X egy értékéhez tartozó átlagos információmennyiség:



n ∑
n
( )
p(xi )I(X = xi ) = − p(xi ) log2 p(xi ) = E − log2 p(X) .
i=1 i=1

Baran Sándor Matematika és információelmélet előadás 144 / 239


Entrópia, átlagos kódszóhossz
Definíció. Az X = {x1 , x2 , · · · , xn } értékkészletű X valószínűségi változó
entrópiája
( ) ∑ n
H(X) := E − log2 p(X) = − p(xi ) log2 p(xi ).
i=1

Megjegyzés. Ugyanezzel a formulával definiáljuk a


{ }
P := p(x1 ), p(x2 ), . . . , p(xn )
eloszlású X forrásábécé H(X ) entrópiáját, azaz

n
H(X ) := − p(xi ) log2 p(xi ).
i=1

Definíció. Egy f : X → Y ∗ kód átlagos kódszóhossza


∑ n
E(f) := E f(X) = p(xi ) f(xi ) .
i=1
Baran Sándor Matematika és információelmélet előadás 145 / 239
Példák
1. X = {a, b, c}, Y = {0, 1}, és f(a) = 1, f(b) = 00, f(c) = 01.
Valószínűségek: p(a) = 0.6, p(b) = 0.3, p(c) = 0.1.
Rövidebb felírás: s = 2, K = {1, 00, 01}, L = {1, 2, 2}, P = {0.6, 0.3, 0.1}.
H(X) = −0.6 · log2 0.6 − 0.3 · log2 0.3 − 0.1 · log2 0.1 ≈ 1.295;
E(f) = 0.6 · 1 + 0.3 · 2 + 0.1 · 2 = 1.4
{ }
2. s = 2, L = {1, 3, 3, 3, 4, 4}, P = 12 , 18 , 18 , 81 , 16
1 1
, 16 .
1 1 1 1 1 1
H(X) = − · log2 − 3 · · log2 − 2 · · log2 = 2.125;
2 2 8 8 16 16
1 1 1
E(f) = · 1 + 3 · · 3 + 2 · · 4 = 2.125.
2 8 16
Cél: az átlagos kódszóhossz alsó határának meghatározása, mivel annál
jobb egy kód, minél kisebb az átlagos kódszóhossza.
Keressük azt az f kódot, mely minimalizálja az
∑n ∑ n
E(f) = p(xi ) f(xi ) függvényt a s−|f(xi )| ≤ 1 feltétel mellett.
i=1 i=1
Baran Sándor Matematika és információelmélet előadás 146 / 239
Az átlagos kódszóhossz határai
Tétel (Shannon). Tetszőleges egyértelműen dekódolható f : X → Y ∗ kódra


n ∑
n
H(X )
E(f) = p(xi ) f(xi ) ≥ − p(xi ) logs p(xi ) = ,
log2 s
i=1 i=1

egyenlőség pedig pontosan akkor áll fenn, ha p(xi ) = s−|f(xi )| ,


i = 1, 2, . . . , n.
Ha p(xi ) = s−Li , ahol Li ∈ N, akkor létezik olyan f prefix kód, melyre
f(xi ) = Li , i = 1, 2, . . . , n, és

H(X )
E(f) = .
log2 s

Tetszőleges eloszású X forrásábécé esetén létezik olyan f : X → Y ∗ prefix


kód, melyre
H(X )
E(f) < + 1.
log2 s
Baran Sándor Matematika és információelmélet előadás 147 / 239
Blokkonkénti kódolás
A forrásüzeneteket m hosszússágú blokkokra vágjuk és ezeket a blokkokat
kódoljuk.
Formális definíció: egy f : X m → Y ∗ leképezés.
Olyan, mintha egy új, Xb := X m forrásábécét kódolnánk.
Forrás blokk: X = (X1 , X2 , . . . , Xm ) véletlen vektor. Eloszlása:

p(x) = p(x1 , x2 , . . . , xm ) = P(X1 = x1 , X2 = x2 , . . . , Xm = xm ).

Entrópia: ∑
H(X) = − p(x) log2 p(x).
x∈X m
∑m
Ha X1 , X2 , . . . , Xm független, akkor H(X) = i=1 H(Xi ).

Ha X1 , X2 , . . . , Xm még azonos eloszlású is, akkor H(X) = mH(X1 ).

Baran Sándor Matematika és információelmélet előadás 148 / 239


Betűnkénti átlagos kódhossz

Egy m-dimenziós X forrás f : X m → Y ∗ kódjának betűnkénti átlagos kód-


hossza
1 1 ∑
E f(X) = p(x) f(x) .
m m m x∈X

Shannon tétel:
H(X)
E f(X) ≥ .
log2 s

Következmény. Ha X1 , . . . , Xm független, az X-szel azonos eloszlású va-


lószínűségi változók, akkor létezik olyan f : X m → Y ∗ prefix kód, hogy

1 H(X) 1
E f(X) < + .
m log2 s m

Baran Sándor Matematika és információelmélet előadás 149 / 239


Optimális kódok
Bináris eset: s = 2.
Tétel. Ha az f : X → {0, 1}∗ prefix kód optimális, és X elemei úgy van-
nak indexelve, hogy p(x1 ) ≥ p(x2 ) ≥ · · · ≥ p(xn ) > 0, akkor feltehető,
hogy f-re teljesül az alábbi három tulajdonság.
a) f(x1 ) ≤ f(x2 ) ≤ · · · ≤ f(xn ) , azaz nagyobb valószínűségekhez rö-
videbb kódszavak tartoznak.
b) f(xn−1 ) = f(xn ) , vagyis a két legkisebb valószínűségű forrásbetű-
höz tartozó kódszó azonos hosszúságú.
c) Az f(xn−1 ) és az f(xn ) kódszavak csak az utolsó bitjükben különböz-
nek.
Heurisztika. a) Ha p(xk ) > p(xj ) és |f(xk )| > |f(xj )|, akkor xj és xk kódszavát felcse-
rélve egy az eredetinél rövidebb átlagos kódszóhosszú kódot kapunk. Az eredeti így nem
lehet optimális.
b) Ha |f(xn−1 )| < |f(xn )|, akkor f(xn ) utolsó bitjét levágva egy az eredetinél rövidebb át-
lagos kódszóhosszú, ugyancsak prefix kódot kapunk. Az eredeti így nem lehet optimális.
c) Ha létezik olyan f(xi ) kódszó, hogy f(xi ) és f(xn ) csak az utolsó bitben különböznek,
akkor a korábbiak alapján |f(xi )| = |f(xn−1 )| = |f(xn )|. Ha i ̸= n−1, akkor cseréljük fel xi és
xn−1 kódját. 2
Baran Sándor Matematika és információelmélet előadás 150 / 239
Bináris Huffman-kód
Tétel. Tegyük fel, hogy az X = {x1 , x2 , . . . , xn } forrásábécé elemei úgy
vannak indexelve, hogy p(x1 ) ≥ p(x2 ) ≥ · · · ≥ p(xn ) > 0, és tekintsük azt
az Xe = {x1 , x2 , . . . , xn−2 , e
xn−1 } forrásábécét, ahol az e
xn−1 szimbólumot az
xn−1 és xn forrásbetűk összevonásával kapjuk és p(e xn−1 ) = p(xn−1 )+p(xn ).
{ }
Ha az új p(x1 ),p(x2 ), . . . , p(xn−2 ), p(xn−1 )+p(xn ) eloszláshoz ismerünk
egy
{ g optimális bináris prefix } kódot, akkor az eredetileg megadott
p(x1 ), p(x2 ), . . . , p(xn ) eloszlás egy optimális f prefix kódját kapjuk, ha a
g(e
xn−1 ) kódszót kiegészítjük egy nullával és egy egyessel, a többi kód- szót
pedig változatlanul hagyjuk.

Példa. Adjuk meg az alábbi valószínűségi eloszlásokhoz tartozó bináris


Huffman-kódokat. Vizsgáljuk meg az átlagos kódszóhossznak az elméleti
alsó korláttól való eltérését.
1. P1 = {0.68, 0.17, 0.04, 0.04, 0.03, 0.03, 0.01}.
2. P2 = {0.49, 0.14, 0.14, 0.07, 0.07, 0.04, 0.02, 0.02, 0.01}.
3. P3 = {0.15, 0.15, 0.14, 0.14, 0.14, 0.14, 0.14}.
Baran Sándor Matematika és információelmélet előadás 151 / 239
Bináris Shannon-Fano-kód
Tegyük fel, hogy az X = {x1 , x2 , . . . , xn } forrásábécé elemei úgy vannak
indexelve, hogy p(x1 ) ≥ p(x2 ) ≥ · · · ≥ p(xn ) > 0. Legyen
⌈ ⌉
Li := − logs p(xi ) , ahol ⌈a⌉ := min{n ∈ Z, n ≥ a},
és

i−1
w1 := 0, wi := p(xℓ ), i = 2, 3, . . . , n.
ℓ=1
⌊ ⌋
Az xi forrásbetű f(xi ) kódja legyen 2Li wi bináris alakja Li hosszon ábrá-
zolva, ahol ⌊a⌋ := max{n ∈ Z, n ≤ a}.
Tétel. A bináris Shannon-Fano-kód prefix és az átlagos kódszóhosszára
teljesül E(f) ≤ H(X ) + 1.
Példa. Adjuk meg az alábbi valószínűségi eloszlásokhoz tartozó bináris
Shannon-Fano-kódokat.
1. P1 = {0.68, 0.17, 0.04, 0.04, 0.03, 0.03, 0.01}.
2. P2 = {0.49, 0.14, 0.14, 0.07, 0.07, 0.04, 0.02, 0.02, 0.01}.
3. P3 = {0.15, 0.15, 0.14, 0.14, 0.14, 0.14, 0.14}.
Baran Sándor Matematika és információelmélet előadás 152 / 239
Az Shannon entrópia
Definíció. Az X = {x1 , x2 , · · · , xn } értékkészletű X valószínűségi változó
entrópiája
∑ n
H(X) := − p(xi ) log2 p(xi ).
i=1

Megjegyzések. Az entrópia
az X értékének meghatározásához szükséges információ mennyisége;
az X értékében rejlő bizonytalanság mértéke.

Az entrópia definíciója ugyanígy néz ki, ha X = (X1 , X2 , . . . , Xr )⊤ egy vé-


letlen vektor aminek értékkészlete X = {x1 , x2 , · · · , xn }:


n
H(X) := − p(xi ) log2 p(xi ).
i=1

Baran Sándor Matematika és információelmélet előadás 154 / 239


Az entrópia tulajdonságai
X ∈ X , Y ∈ Y: diszkrét valószínűségi változók.
Tétel.
a) Ha az X valószínűségi változó n különböző értéket vehet fel pozitív
valószínűséggel, akkor
0 ≤ H(X) ≤ log2 n.
A bal oldalon egyenlőség pontosan akkor áll fenn, ha X egy valószí-
nűséggel konstans, a jobb oldalon pedig pontosan akkor, ha X elosz-
lása egyenletes, azaz p(xi ) = n1 , i = 1, 2, . . . , n.
b) Az X és Y diszkrét valószínűségi változókra
H(X, Y) ≤ H(X) + H(Y),
az egyenlőség pedig pontosan akkor teljesül, ha X és Y független.
c) Az X tetszőleges g(X) függvényére
( )
H g(X) ≤ H(X),
az egyenlőség szükséges és elégséges feltétele pedig a g invertálható-
sága.
Baran Sándor Matematika és információelmélet előadás 155 / 239
Feltételes entrópia

p(x) := P(X = x); p(y) := P(Y = y); p(x, y) := P(X = x, Y = y);

p(x, y)
p(x|y) := P(X = x|Y = y) = ;
p(y)
p(y, x)
p(y|x) := P(Y = y|X = x) = .
p(x)

Definíció. Az X-nek az Y = y feltétellel vett feltételes entrópiája



H(X|Y = y) := − p(x|y) log2 p(x|y).
x∈X

Az X-nek az Y feltétellel vett feltételes entrópiája


∑ ∑∑
H(X|Y) := p(y)H(X|Y = y) = − p(x, y) log2 p(x|y).
y∈Y y∈Y x∈X

Baran Sándor Matematika és információelmélet előadás 156 / 239


A feltételes entrópia tulajdonságai
Tétel. Legyenek X, Y, és Z véges értékkészletű valószínűségi változók.
Ekkor
a)
H(X, Y) = H(Y) + H(X|Y) = H(X) + H(Y|X).

b)
0 ≤ H(X|Y) ≤ H(X).
A bal oldalon egyenlőség pontosan akkor áll fenn, ha X egy valószínű-
séggel az Y függvénye, a jobb oldalon pedig pontosan akkor, ha X és
Y független.
c)
H(X|Z, Y) ≤ H(X|Z),
egyenlőség pedig akkor és csak akkor áll fenn, ha
p(x|z, y) = p(x|z)
minden olyan x, y, z-re, amelyre p(x, y, z) > 0.
Baran Sándor Matematika és információelmélet előadás 157 / 239
A feltételes entrópia tulajdonságai

d) Az Y valószínűségi változó minden f függvényére


( )
H(X|Y) ≤ H X f(Y) ,

egyenlőség pedig pontosan akkor áll fenn, ha minden rögzített z-re


( )
p(x|y) = P X = x f(Y) = z

minden olyan x-re és y-ra, amelyre f(y) = z és p(y) > 0.


e) Az X1 , X2 , . . . , Xn valószínűségi változók együttes entrópiájára

H(X1 , X2 , . . . , Xn ) = H(X1 ) + H(X2 |X1 ) + H(X3 |X2 , X1 ) + · · ·

· · · + H(Xn |Xn−1 , . . . , X1 ).

Baran Sándor Matematika és információelmélet előadás 158 / 239


Kölcsönös információ
Definíció. Az X és Y diszkrét valószínűségi változók kölcsönös informá-
cióján az
I(X; Y) := H(X) + H(Y) − H(X, Y)
mennyiséget értjük.
Megjegyzés. A kölcsönös információ szimmetrikus, és

I(X; Y) = H(X) − H(X|Y) = H(Y) − H(Y|X) = I(Y; X).

Megjegyzés.
∑ p(x, y)
I(X; Y) = p(x, y) log2
x,y
p(x)p(y)
∑ p(x|y) ∑ p(y|x)
= p(x, y) log2 = p(x, y) log2 .
x,y
p(x) x,y
p(y)

Baran Sándor Matematika és információelmélet előadás 159 / 239


A kölcsönös információ tulajdonságai

Tétel. Legyenek X és Y diszkrét valószínűségi változók.


a) I(X; Y) ≥ 0 és I(X; Y) pontosan akkor 0, ha X és Y független.
b) I(X; X) = H(X).
c) I(X; Y) ≤ H(X) és I(X, Y) ≤ H(Y).
d) Az X és Y bármely g és h függvényére
( )
I(X; Y) ≥ I g(X); h(Y) .

e) A következő három állítás ekvivalens:


i) I(X; Y) = H(X);
ii) H(X|Y) = 0; ( )
iii) létezik olyan g : R → R, hogy P X = g(Y) = 1.

Baran Sándor Matematika és információelmélet előadás 160 / 239


Zajmentes távközlési csatornák
{
Adott egy távközlési csatorna, ami az Y = y1 , y2 , . . . , ys } kódábécé jeleit
tudja továbbítani.
X: a csatorna bemeneténél leadott jel.
Y: a csatorna kimeneténél vett, az X-nek megfelelő jel.

Feltesszük, hogy a csatorna emlékezet nélküli, azaz Y csak az X-től függ.

Az Y kimenő kódjel az X bemenő kódjelről I(X, Y) információt tartalmaz.

Zajmentes csatorna: X = Y, ekkor I(X, Y) = H(X).

H(X) maximális értéke log2 s, azaz egy kódjel maximálisan ennyi informá-
ciót tartalmazhat. Ez az információmennyiség maradéktalanul továbbítha-
tó a csatornán. A zajmentes csatorna maximálisan C = log2 s információt
tud továbbítani, ennyi a kapacitása.

Baran Sándor Matematika és információelmélet előadás 161 / 239


Csatornakapacitás
Zajos csatorna: X ̸= Y, ekkor I(X, Y) < H(X).
A csatorna viselkedését a
{ }
pi|j := P Y = yi X = yj , i, j = 1, 2, . . . , s,
átmenetvalószínűségek írják le.
Az X bemenő jel eloszlása: qj := P(X = yj ), j = 1, 2, . . . , s.
Egy emlékezet nélküli távközlési csatorna kapacitása
C := sup I(X, Y),
ahol az supremum az X összes lehetséges eloszlása felett értendő.
Példa. Zajmentes csatorna: {
1, i = j,
pi|j =
̸ j.
0, i =
I(X, Y) = H(X) ≤ log2 s és az egyenlőség teljesül, ha X egyenletes eloszlású, azaz
qj = 1/s, j = 1, 2, . . . , s. Kapacitás:
C = log2 s.

Baran Sándor Matematika és információelmélet előadás 162 / 239


Emlékezet nélküli szimmetrikus bináris X-csatorna
0 1−p 0 Y = {0, 1}, azaz s = 2.
1−q
p Legyenek p, q ∈ [0, 1].
X Y
1 p 1 A bemenő jel eloszlása:
q
1−p P(X = 1) = q, P(X = 0) = 1 − q.
Átmenetvalószínűségek:

p0|0 := P(Y = 0 | X = 0) = 1 − p, p1|0 := P(Y = 1 | X = 0) = p,


p1|1 := P(Y = 1 | X = 1) = 1 − p, p0|1 := P(Y = 0 | X = 1) = p.

Az emlékezet nélküli szimmetrikus bináris X-csatorna (BSCp ) kapacitása:

C = 1 − H2 (p), ahol H2 (p) := −p log2 p − (1 − p) log2 (1 − p).

Speciális esetek:
C = 1 ⇐⇒ H2 (p) = 0 ⇐⇒ p = 0 vagy p = 1.
p = 0: zajmentes csatorna; p = 1: bináris fordító csatorna.

C = 1 ⇐⇒ H2 (p) = 1 ⇐⇒ p = 1/2: véletlen csatorna.

Baran Sándor Matematika és információelmélet előadás 163 / 239


Infomációforrások
X: információforrás, az X1 , X2 , . . . valószínűségi változók végtelen soroza-
ta. A forrás az i-edik időpontban az Xi értéket veszi fel.
Mindegyik valószínűségi változó ugyanazon X = {x1 , x2 , . . . , xn } forrásábé-
céből veszi fel az értékeit.
Az X forrás emlékezetnélküli, ha az X1 , X2 , . . . változók függetlenek.
Az X forrás stacionárius, ha az X1 , X2 , . . . sorozat stacionárius, azaz min-
den pozitív n-re és k-ra az X1 , X2 . . . , Xn véletlen vektor és az eltolt
Xk+1 , Xk+2 , . . . , Xk+n vektor együttes eloszlása megegyezik.
Az X forrás ergodikus, ha tetszőleges f(x1 , . . . , xk ) függvényre
1∑
n
lim f(Xi , . . . , Xi+k−1 ) = Ef(X1 , . . . , Xk ) egy valószínűséggel,
n→∞ n
i=1
ha a határérték létezik.
Adott egy f kódoló Y = {y1 , y2 , . . . , ys } kódábécével. Egyértelműen dekó-
dolható. Blokk kódolás k ≥ 1 blokkhosszal.
Cél: az egy forrásbetűre jutó L átlagos kódszóhossz minimalizálása.
Baran Sándor Matematika és információelmélet előadás 164 / 239
Infomációforrások változó szóhosszú kódolása
X emlékezetnélküli és stacionárius, betűnkénti kódolás. Egy k hosszúságú
üzenet kódjára
1 ( )
L = E f(X1 ) + · · · + f(Xk ) = E f(X1 ) .
k
H(X1 )
Shannon tétel: E f(X1 ) ≥ .
log2 s
H(X1 )
Létezik f prefix kód: E f(X1 ) < + 1.
log2 s
Blokkonkénti kódolás f : X k → Y ∗ kódolóval.
1 ( ) 1 H(X , . . . , X )
1 k H(X1 )
L = E f(X1 , . . . , Xk ) ≥ = .
k k log2 s függetlenség log2 s

Minden k-re létezik olyan L betűnkénti átlagos kódszóhosszú f : X k → Y ∗


prefix kód, melyre
H(X1 ) 1
L< + .
log2 s k
Baran Sándor Matematika és információelmélet előadás 165 / 239
Általánosabb infomációforrások kódolása
Definíció. Az X = X1 , X2 , . . . forrás forrásentrópiája a
1
H(X) = lim H(X1 , X2 , . . . , Xn )
n→∞ n
mennyiség, amennyiben a határérték létezik.
Tétel. Ha az X = X1 , X2 , . . . forrás stacionárius, akkor létezik az entró-
piája, és
H(X) = lim H(Xn |X1 , X2 , . . . , Xn−1 ).
n→∞

Tétel. Ha az X = X1 , X2 , . . . stacionárius forrást blokkonként kódoljuk


az f : X k → Y ∗ egyértelműen dekódolható kóddal, akkor a kód L betűn-
kénti átlagos kódszóhosszára mindig teljesül az
H(X)
L≥
log2 s
egyenlőtlenség. A k blokhosszt elég nagyra választva létezik olyan f kód,
amelynek L betűnkénti átlagos kódszóhossza tetszőlegesen megközelíti a
fenti alsó korlátot.
Baran Sándor Matematika és információelmélet előadás 166 / 239
Univerzális forráskódolás
Adatátvitel költségei az eddig vizsgált (blokk)kódoknál:
Állandó költség: pl. a forrásszimbólumok gyakoriságai.
Változó költség: az üzenet kódszavai.
Elméletileg végtelen hosszú forrásokat vizsgálunk. Az állandó költség ekkor
fajlagosan nullához tart.
A gyakorlatban a források véges hosszúságuak. Az állandó költség esetleg
magasabb lehet, mint az üzenet kódszavainak összhossza.

Adaptív kód: az aktuális forrásszimbólumot az azt megelőző szimbólumok


alapján kódoljuk.
Példák:
Adaptív Huffman-kód;
Lempel-Ziv algoritmusok (LZ77, LZ78, LZW).

Baran Sándor Matematika és információelmélet előadás 168 / 239


Az LZ77 algoritmus
Abraham Lempel és Jakov Ziv (1977)
A forrászimbólumokon egy ha hosszúságú csúszóablakot mozgatunk.
A csúszóablak részei:
keresőpuffer: a legutóbb kódolt hk darab forrásszimbólumot tartal-
mazza;
előretekintő puffer: a következő he darab kódolandó szimbólumot
tartalmazza.
Példa. Forrásszöveg

. . . cabracadabrarrarrad . . .

Csúszóablak: ha := 13, hk := 7, he := 6.

cabraca dabrar rarrad

Baran Sándor Matematika és információelmélet előadás 169 / 239


Az LZ77 algoritmus
Kódolás:
1 Egy hátrafelé mutató mutatóval a kódoló megkeresi a keresőpufferben
az előretekintő puffer első szimbólumával megegyező szimbólumokat.
2 Megvizsgálja, a kapott pozíciókkal kezdődően a keresőpufferben lévő
szimbólumok milyen hosszan egyeznek meg az előretekintő puffer
szimbólumaival.
3 A talált szimbólumok közül kiválasztja azt, ahol a leghosszabb az
egyezés.
4 Átküldi a ⟨t, h, c⟩ hármast.
t: a keresőpufferben megtalált szimbólum távolsága az előretekintő
puffertől. Ha nincs találat a keresőpufferben, t = 0.
h: a kereső- és az előretekintő puffer egyező szimbólumainak legna-
gyobb hosszúsága. Ha nincs találat a keresőpufferben, h = 0.
c: az első, az előretekintő pufferben levő nem egyező karakter kód-
szava.
Baran Sándor Matematika és információelmélet előadás 170 / 239
Példa

Csúszóablak: ha := 13, hk := 7, he := 6.

cabraca dabrar rarrad

d nincs a keresőpufferben. Átküldendő: ⟨0, 0, f(d)⟩.

c abracad abrarr arrad


a a keresőpufferrben: t = 2, h = 1, t = 4, h = 1 és t = 7, h = 4.
Leghosszabb egyezés: t = 7, h = 4. Átküldendő: ⟨7, 4, f(r)⟩

cabrac adabrar rarrad


r a keresőpufferrben: t = 1, h = 1 és t = 3, h = 5.
Leghosszabb egyezés: t = 3, h = 5. Átküldendő: ⟨3, 5, f(d)⟩

Baran Sándor Matematika és információelmélet előadás 171 / 239


Jellemzők
A ⟨t, h, c⟩ kódolásához állandó kódhosszú kód esetén
⌈log2 hk ⌉ + ⌈log2 he ⌉ + ⌈log2 n⌉
bit szükséges, ahol n a forrásábécé mérete.
Az eljárás hatékonysága aszimptotikusan (hk , he → ∞) tart az optimális
algoritmuséhoz, amihez viszont kell a forrás eloszlása is.
Stacionárius és ergodikus forrás esetén az átlagos kódszóhossz hk , he → ∞
H(X)
esetén konvergál log s -hez.
2

Hatékonyságot növelő módosítások, pl.


Változó hosszúságú kódok ⟨t, h, c⟩ tömörítéséhez. Pl. adaptív Huff-
man kódolás.
Duál formátum: ⟨t, h⟩ vagy ⟨c⟩ továbbítódik. Jelzőbittel azonosítja a
formátumokat.
LZSS – Lempel-Ziv-Storer-Szymanski
Változtatható méretű pufferek.
Alkalmazások: pkzip, arj
Baran Sándor Matematika és információelmélet előadás 172 / 239
Az LZ78 algoritmus
A kódoló és a dekódoló szótárt épít az előzőleg előfordult sorozatokból.
1 A kódoló megkeresi a forrásszimbólumok aktuális pozíciójától kezdődő
leghosszabb egyezést a szótárban.
2 Átküldi az ⟨i, c⟩ párt.
i: az egyező karaktersorozat szótárbeli indexe;
c: az első nem egyező karakter kódja.
Ha nem talál egyezést a szótárban, a ⟨0, c⟩ párt küldi át.
3 A szótárba felveszi az i indexű karaktersorozat és a c konkatenációjá-
val kapott stringet. Van eof szimbólum is.

Stacionárius és ergodikus forrás esetén az egy betűre jutó átlagos kódszó-


H(X)
hossz konvergál log s -hez.
2

Probléma: a szótár folyamatosan, korlát nélkül növekszik.


Megoldás: egy idő után fix szótár használata, vagy a ritkán használt, illet-
ve felesleges bejegyzések eltávolítása.
Baran Sándor Matematika és információelmélet előadás 173 / 239
Példa
Kódolandó szöveg:

dabbacdabbacdabbacdabbacdeecdeecdee

a kódoló szótár a kódoló szótár


kimenete index bejegyzés kimenete index bejegyzés
⟨0, f(d)⟩ 1 d ⟨4, f(c)⟩ 10 bac
⟨0, f(a)⟩ 2 a ⟨9, f(b)⟩ 11 dabb
⟨0, f(b)⟩ 3 b ⟨8, f(d)⟩ 12 acd
⟨3, f(a)⟩ 4 ba ⟨0, f(e)⟩ 13 e
⟨0, f(c)⟩ 5 c ⟨13, f(c)⟩ 14 ec
⟨1, f(a)⟩ 6 da ⟨1, f(e)⟩ 15 de
⟨3, f(b)⟩ 7 bb ⟨14, f(d)⟩ 16 ecd
⟨2, f(c)⟩ 8 ac ⟨13, f(e)⟩ 17 ee
⟨6, f(b)⟩ 9 dab

Baran Sándor Matematika és információelmélet előadás 174 / 239


Az LZW algoritmus

Az LZ78 továbbfejlesztése. Terry Welch (1984)


Az LZ78 ⟨i, c⟩ párjából csak az i indexet kell átküldeni. A szótárban szere-
pelnie kell a teljes forrásábécének.
1 A kódoló az aktuális pozíciótól addig olvassa be a forrásszimbólumo-
kat egy p pufferbe, míg a beolvasott sorozat szerepel a szótárban.
Legyen c az első karakter, amelyre pc nincs a szótárban.
2 Átküldi a p sorozat indexét.
3 Felveszi a szótárba a pc sorozatot és a c karaktertől folytatja az eljá-
rást.

Alkalmazás: a Unix rendszer compress parancsa, a GIF formátum.


Adaptív szótárméret. Compress esetén 512 bejegyzés, ha megtelik 1024,
stb. A felső határ beállítható, maximum 216 bejegyzésig.

Baran Sándor Matematika és információelmélet előadás 175 / 239


Példa
Kódolandó szöveg:
dabbacdabbacdabbacdabbacdeecdeecdee

index bejegyzés output index bejegyzés output


1 a 14 acd 10
2 b 15 dabb 12
3 c 16 bac 9
4 d 17 cda 11
5 e 18 abb 7
6 da 4 19 bacd 16
7 ab 1 20 de 4
8 bb 2 21 ee 5
9 ba 2 22 ec 5
10 ac 1 23 cde 11
11 cd 3 24 eec 21
12 dab 6 25 cdee 23
13 bba 8 5
Baran Sándor Matematika és információelmélet előadás 176 / 239
Példa

Kódoljuk az alábbi szövegeket


a) abbabbabbbaababa;
b) „az ipafai papnak fapipaja van a papi fapipa”, ahol a space és az eof
külön karakter,

LZ77 algoritmussal hk = 7, he = 6 paraméterekkel;


LZ78 algoritmussal;
LZW algoritmussal.

Baran Sándor Matematika és információelmélet előadás 177 / 239


Kvantálás
X = X1 , X2 , . . . : stacionárius forrás, Xi ∈ R abszolút folytonos.
Q : R → R: véges értékkészletű függvény, kvantáló.
Q(X1 ), Q(X2 ), . . . : az X skalár kvantáltja, diszkrét valószínűségi változó
sorozat. k = 1 hosszú blokkokat kódoló forráskód.
A kvantálás hűségének mértéke egy n hosszú blokkra:
(∑ n )
1 ( )2 ( )2
D(Q) := E Xi − Q(Xi ) = E X − Q(X) .
n stacionaritás
i=1

D(Q): a Q kvantáló négyzetes torzíása.


X: az X1 , X2 , . . . közös eloszlásával megegyező eloszlású valószínűségi vál-
tozó.
{x1 , x2 , . . . , xN }: a Q kvantáló értékkészlete. Elemei a kvantálási szintek.
{ }
Kvantálási tartományok: Bi := x ∈ R : Q(x) = xi , i = 1, 2, . . . , N.
A definíciók diszkrét X forrás esetén is érvényesek.
Baran Sándor Matematika és információelmélet előadás 179 / 239
Optimális kvantáló
Adott {x1 , x2 , . . . , xN } kvantálási szintek esetén a legkisebb négyzetes tor-
zítású Q kvantáló tartományai:
{ }
Bi = x : |x − xi | ≤ |x − xj |, j = 1, 2, . . . N .
Egyenlőség esetén egy adott x-et a legkisebb indexű tartományhoz rendel-
jük. Ez a legközelebbi szomszéd feltétel. Csak ilyen tulajdonságú kvantá-
lókkal dolgozunk.
Ha x1 < x2 < · · · < xn , akkor a kvantálási tartományok határai:
xi + xi+1
yi = , i = 1, 2, . . . , N − 1, azaz
2
B1 =] − ∞, y1 ], Bi =]yi−1 , yi ], i = 1, 2, . . . , N − 1, BN =]yN−1 , ∞[.
f(x): az X stacionárius forráshoz tartozó sűrűségfüggvény.
Egy adott Bi tartományhoz tartozó optimális kvantálási szint a Bi súly-
pontja: ∫
B xf(x)dx ( )
xi = ∫ i = E X X ∈ Bi .
Bi f(x)dx
Baran Sándor Matematika és információelmélet előadás 180 / 239
Egyenletes kvantáló
A
Q(x) = xi , ha x ∈ Bi , i = 1, 2, . . . , N,
kvantáló négyzetes torzítása:
∫ ∞ N ∫

( )2
D(Q) = x − Q(x) f(x)dx = (x − xi )2 f(x)dx.
−∞ i=1 Bi

[−A, A]: az X értékkészlete, azaz f(x) = 0, ha x ̸∈ [−A, A].


Az N-szintű egyenletes kvantáló alakja:
A
QN (x) = −A + (2i − 1) , ha
N
A A
−A + 2(i − 1) < x ≤ −A + 2i , i = 1, 2, . . . , N.
N N
Magyarázat. Az QN kvantáló tartományait a [−A, A] intervallum N
egyenlő részre való osztásával kapjuk. A szintek az intervallumok felező-
pontjai.
Baran Sándor Matematika és információelmélet előadás 181 / 239
Nem egyenletes kvantálók
Alapelv: a nagy valószínűségű tartományokon rövidebb kvantálási inter-
vallumokat használunk.

Cél: adott X valószínűségű változóhoz (forráshoz) határozzuk meg úgy az


x1 < x2 < . . . < xN kvantálási szinteket és a Q függvényt, hogy a D(Q)
minimális legyen.
Az optimális kvantáló eleget tesz az alábbi két szükséges feltételnek
(együtt Lloyd-Max feltétel).
1 Legközelebbi szomszéd feltétel:

x − Q(x) = min |x − xi |, ∀x ∈ R.
1≤i≤N

2 Súlypont feltétel:
Minden xj kvantálási szint megegyezik azon Xi minták átlagával
(feltételes várható értékével), amelyeket erre a szintre kvantáltunk
(Q(Xi ) = xj ).
A fenti feltételeket kielégítő kvantálót Lloyd-Max kvantálónak nevezzük.
Baran Sándor Matematika és információelmélet előadás 182 / 239
Példa

Nem minden Lloyd-Max kvantáló optimális.

Legyen X eloszlása egyenletes az {1, 2, 3, 4} halmazon. A lehetséges


2-szintű Lloyd-Max kvantálók:

Q1 (1) = 1; Q1 (2) = Q1 (3) = Q1 (4) = 3;

Q2 (4) = 4; Q2 (1) = Q2 (2) = Q2 (3) = 2;

Q3 (1) = Q3 (2) = 1.5; Q3 (3) = Q3 (4) = 3.5.

A négyzetes torzítások:

D(Q1 ) = D(Q2 ) = 0.5, D(Q3 ) = 0.25.

Csak a Q3 kvantáló optimális.

Baran Sándor Matematika és információelmélet előadás 183 / 239


Lloyd-Max feltétel abszolút folytonos forrásokra
X: abszolút folytonos valószínűségi változó f sűrűségfüggvénnyel.
Lloyd-Max feltétel:
1 Legközelebbi szomszéd feltétel:
xi + xi+1
y0 = −∞, yi = , i = 1, 2, . . . , N − 1, yN = ∞,
2
ahol yi−1 és yi az xi -hez tartozó kvantálási intervallum határai.
2 Súlypont feltétel:
∫ yi
y xf(x)dx
xi = ∫ i−1
yi , i = 1, 2, . . . , N.
yi−1 f(x)dx

Tétel (Fleischer, 1964). Legyen az f(x) logaritmikusan konkáv, azaz


log f(x) konkáv. Ekkor f(x)-re egyetlen N-szintű Lloyd-Max kvantáló lé-
tezik, így ez egyben optimális kvantáló is f(x)-re.
Baran Sándor Matematika és információelmélet előadás 184 / 239
Lloyd-Max algoritmus
Keressük az optimális xi kvantálási szinteket és a kapcsolódó Bi =]yi−1 , yi ]
tartományokat.
Stuart P. Lloyd, Bell Laboratories, 1957 (publikálva: 1982);
Joel Max, General Telephone and Electronics Lab., Waltham, 1960.
Algoritmus
1 Válasszuk meg a kiinduló x1 < x2 < · · · < xN kvantálási szinteket.
2 Határozzuk meg az yi intervallumhatárokat a legközelebbi szomszéd
feltétel szerint, azaz yi = xi +x2 i+1 , i = 1, 2, . . . , N−1.
3 Az y0 = −∞ és yN = ∞ választás mellett optimalizáljuk a kvantálót
a súlypont feltétellel, meghatározva az új kvantálási szinteket.
4 Vizsgáljuk meg a négyzetes torzítás változását. Amennyiben egy előre
megadott küszöb alatt van, álljunk meg, egyébként pedig ismételjük
meg a 2. és 3. lépést.

Baran Sándor Matematika és információelmélet előadás 185 / 239


Kompanderes kvantáló
A gyakorlatban az eszközök általában egyenletes kvantálást valósítanak
meg. Ez pl. a széles dinamika tartományú beszéd esetén nem eredményez
hatékony kódolást.
A forrást egy szigorúan monoton növekvő kompresszorral a [−1, 1] inter-
vallumba transzformáljuk, majd egyenletesen kvantáljuk. Összességében ez
egy nem egyenletes kvantáló.
A kvantált értékeket dekódoljuk, majd az expanderrel (a kompreszszor in-
verze) visszaállítjuk az eredeti dinamika tartományt.
Kompander: a kompresszor és expander együtt.
Alkalmazások:
Digitális telefonrendszereknél az A/D konverter előtt egy kompresz-
szor, majd a D/A konverter után egy expander.
Professzionális drótnélküli mikrofonoknál, mivel a mikrofon audiojelé-
nek dinamika tartománya jóval szélesebb, mint a rádiójeleké.

Baran Sándor Matematika és információelmélet előadás 186 / 239


Kompanderek a beszédkódolásban
8-bites Pulse Code Modulation (PCM) digitális telefonrendszerek.
Észak-Amerika és Japán: µ-law (µ = 255).

log(1 + µ|x|)
Gµ (x) = sign(x) , − 1 ≤ x ≤ 1.
log(1 + µ)
1( )
G−1
µ (x) = sign(x) (1 + µ)|x| − 1 , − 1 ≤ x ≤ 1.
µ

Európa: A-law (A = 87.7 vagy A = 87.6)


{ A|x| 1
sign(x) 1+log A, 0 ≤ |x| < A;
GA (x) = |Ax|
sign(x) 1+log
1+log A ,
1
A ≤ |x| ≤ 1.
{
sign(x) |x|(1+log A)
, 0 ≤ |x| < 1
1+log A ;
G−1
A
A (x) = A)−1}
sign(x) exp{|x|(1+log
A , 1
1+log A ≤ |x| ≤ 1.

Baran Sándor Matematika és információelmélet előadás 187 / 239


µ-law és A-law
0.6
µ−law
A−law
0.4

0.2

−0.2

−0.4

−0.1 −0.05 0 0.05 0.1


x

Baran Sándor Matematika és információelmélet előadás 188 / 239


Vektorkvantálás
A forrás kimeneteit többdimenziós eloszlának tekintjük. Így ugyanakkora
torzítás mellett jobb tömörítést érhetünk el, különösen, ha az egyes dimen-
ziókhoz tartozó változók korrelálnak.
Példa. Egy színes kép RGB értékeit nem egyenként, hanem egy 3D színtér
elemeiként kvantáljuk. 3 skalár kvantálóval a kvantáló tartományok tégla-
testek, 3D kvantálóval tetszőleges térbeli idomok használhatóak.

X: d-dimenziós forrásvektor f(x) sűrűségfüggvénnyel.

Kvantáló: Q : Rd → {x1 , x2 , . . . , xN }, xi ∈ Rd , i = 1, 2, . . . , N.

tartományok: B1 , B2 , . . . , BN . Rd egy partíciója, azaz disz-


Kvantálási ∪
junktak és N d
i=1 Bi = R .

Q(x) = xi , ha x ∈ Bi , i = 1, 2, . . . , N.

Baran Sándor Matematika és információelmélet előadás 189 / 239


Lloyd-Max feltétel vektorkvantálóra
Négyzetes torzítás:

1∑
N
1 2
D(Q) = E X − Q(X) = ∥x − xi ∥2 f(x)dx.
d d
i=1

Lloyd-Max feltétel:
1 Legközelebbi szomszéd feltétel: Rd tartományai Voronoi-tartomá-

nyok, azaz { }
Bi = x : ∥x − xi ∥ ≤ ∥x − xj ∥, ∀j ̸= i .
2 Súlypont feltétel:

xi = arg min ∥x − y∥2 f(x)dx,
y Bi

azaz a kimeneti vektorok a kapcsolódó tartományok súlypontjai.


Lloyd-Max algoritmus természetes általánosítása: Linde-Buzo-Gray algo-
ritmus.
Baran Sándor Matematika és információelmélet előadás 190 / 239
Mintavételezés
X(t): négyzetesen integrálható jel.
{X(kT), k = 0, ±1, ±2, . . .}: az X(t) folyamat mintavételezése T > 0
mintavételi idővel.
X(t) reprodukciója:

∑ (t )
b :=
X(t) X(kT) sinc −k , t ∈ R,
T
k=−∞

ahol
sin(πt)
sinc(t) := , t ∈ R.
πt
Megjegyzés. sinc(0) = 1 és sinc(k) = 0, k = 0, ±1, ±2, . . . , azaz ha
b = X(t).
t = kT, akkor X(t)

Probléma: Az X(t) jel milyen feltételek mellett állítható vissza az X(kT)


b
mintavételezett jelből (X(t) = X(t), t ∈ R)?
Baran Sándor Matematika és információelmélet előadás 191 / 239
Nyquist-Shannon mintavételi tétel
Tétel. Ha az X(t) négyzetesen integrálható jel sávkorlátos W > 0 korlát-
tal, azaz az X(t) Fourier-transzformáltjára teljesül, hogy |ω| > W esetén
b
X(ω) ≡ 0, akkor
X(t) folytonos minden t ∈ R pontban,
X(t) pontosan visszaállítható a T periódusú mintavételezett jelből,
azaz minden t ∈ R esetén
∑∞ (t )
b :=
X(t) = X(t) X(kT) sinc −k ,
T
k=−∞
ha
π
T< .
W
Megjegyzés. Ha W′ = 2π W
a sáv frekvencia, akkor a mintavételi frekven-

cia legalább a W duplája (Nyquist-frekvencia) kell, hogy legyen.
Példa. A telefonvonalaknál a beszédet 3400 Hz-re sávszűrik és 8000 Hz-el
mintavételezik.
CD-minőség esetén 20 kHz-re sávszűrnek és 44100 Hz-el mintavételeznek.
Baran Sándor Matematika és információelmélet előadás 192 / 239
Transzformációs kódolás
1. A kódolandó jelsorozatot diszjunkt blokkokra bontjuk és minden blokk-
ra alkalmazunk egy invertálható transzformációt.
2. Kvantáljuk a transzformált blokkokat.
3. A kvantált értékeket kódoljuk egy bináris kóddal.
x = (x0 , x1 , . . . , xk−1 )⊤ : transzformálandó blokk.
y = (y0 , y1 , . . . , yk−1 )⊤ : transzformált blokk.
A = (ai,j ): k × k dimenziós ortonormált transzformációs mátrix.
Transzformáció és inverze:
y = Ax és x = By, ahol B = A−1 = A⊤ .

Két-dimenziós esetben (képtömörítés) a transzformálandó és transzformált


blokkok mátrixok (X és Y):
Y = AXA⊤ és X = A⊤ YA.

Példa. JPEG tömörítés esetén 8 × 8 pixeles blokkokat használnak.


Baran Sándor Matematika és információelmélet előadás 194 / 239
Speciális transzformációk
1. Diszkrét koszinusz transzformáció (DCT) Ahmet, Natarajan, Rao
(1974)
Az A mátrix elemei
√ ( )
1 2 (2j−1)(i−1)π
a1,j = √ , ai,j = cos , i, j = 1, 2, . . . , k.
k k 2k
A legkedveltebb transzformáció. Alkalmazásai: JPEG, MPEG.
2. Diszkrét Walsh-Hadamard transzformáció (DWHT, 1923) Jacques Ha-
damard, Joseph L. Walsh.
Az A mátrix elemeit rekurzióval számoljuk:
[ ]
A2k−1 A2k−1
A2k = , ahol A1 = 1.
A2k−1 −A2k−1

A2k A⊤ k
2k = 2 I2k , ezért a transzformáció mátrixa
√1 A k .
2k 2
Alkalmazásai: JPEG XR (JPEG extended range, 2009; Microsoft HD pho-
to) és MPEG-4 AVC vagy H.264 (MPEG-4 Part 10 Advanced Video Co-
ding, 2003; pl. Blue-Ray lemezek).
Baran Sándor Matematika és információelmélet előadás 195 / 239
Részsávos kódolás (SBC: subband coding)
1. A forrást egy szűrőbankon vezetjük át, ami azt frekvenciasávokra bont-
ja (analízis szűrők). Pl. M egyforma széles sávot veszünk.
2. A szűrők kimeneténél mintavételezünk és, hogy szinkronban maradjunk,
csökkentjük a minták számát a bemeneti és kimeneti sávszélesség arányá-
ban (decimálás, alulmintavételezés). Pl. minden M-edik mintát tartunk
meg.
3. Az egyes decimált jeleket külön-külön kódoljuk és továbbítjuk.
4. A dekódolás után a minták közé annyi nullát írunk, hogy visszaállítsuk
az eredeti mintaelemszámot (felülmintavételezés).
5. Az egyes mintákat egy szűrőbankon vezetjük keresztül (szintézis szű-
rők), ami előállítja a kimenő jelet.

Az emberi érzékszervek frekvenciafüggőek. A fontosabb frekvenciákat pon-


tosabban kell rekonstruálni, a kevésbé fontosakat elég nagyobb torzítással.
Példa. Az emberi hallásnál ha az egyik frekvencia elég hangos, akkor el-
nyomja (maszkolja) a mellette lévő frekvenciákat.
Baran Sándor Matematika és információelmélet előadás 196 / 239
Példa
A szűrőbank bemenete: (x1 , x2 , . . . , xn ).
Kimenetek: (y1 , y2 , . . . , yn ) és (z1 , z2 , . . . , zn ), ahol x0 = 0 jelöléssel
xi + xi−1 xi − xi−1
yi = ; zi = xi − yi = , i = 1, 2, . . . , n.
2 2

Mindkét kimenő jelsorozat simább (kisebb dinamikájú), mint az eredeti,


így kisebb torzítással tömöríthető. Megdupláztuk az outputot.
Alulmintavételezés: továbbítsuk csak a páros indexű y2i és z2i jeleket.
Szintézis:
x2i = y2i + z2i , x2i−1 = y2i − z2i .

- 2↓ y2 , y4 , . . .- y2 , 0, y4 , 0, y6 , . . -
. + - y +z , y +z , . . .
y1 , y2 , . . . 2↑ 2 2 4 4

z1 , z2 , . . . - 2↓ z2 , z4 , . .-
.
2↑ .U
z2 , 0, z4 , 0, z6 , 0, . -. − - y −z , y −z , . . .
2 2 4 4

Baran Sándor Matematika és információelmélet előadás 197 / 239


Különbségi kódolás
A prediktív kódolás egy speciális esete. Akkor előnyös, ha a szomszédos
minták közötti eltérés kicsi, pl. digitális képeken ha nem vagyunk egy él
közelében.

Példa. 8 bites intenzitású kép 8 szomszédos pixelének értéke:


147, 145, 141, 146, 149, 147, 143, 145.
Bitenkénti kódolás egyenként 8 biten: 64 bit.
Különbségek (az első kivételével):
147, −2, −4, 5, 3, −2, −4, 2.
A legnagyobb különbség abszolút értéke 5, ami 3 biten kódolható.
A különbségek kódolásához elegendő 4 bit (3 + 1 előjel).
8 biten küldjük át a különbségek ábrázolásának hosszát.
Különbségi kódolás hossza: 8 + 8 + 7 · 4 = 44 bit. 31 % nyereség.
A tömörítés veszteségmentes.
Baran Sándor Matematika és információelmélet előadás 198 / 239
Veszteséges tömörítés, példa
A forrás kimenete:
5.4, 10.1, 7.2, 4.6, 6.9, 12.5, 6.2, 5.3.
A különbségek:
5.4, 4.7, −2.9, −2.6, 2.3, 5.6, −6.3, −0.9.
7 szintű egyenletes kvantáló. A szintek: −6, −4, −2, 0, 2, 4, 6.
A kvantált értékek:
6, 4, −2, −2, 2, 6, −6, 0.
A rekonstruált értékek:
6, 10, 8, 6, 8, 14, 8, 8.
A hibák:
−0.6, 0.1, −0.8, −1.4, −1.1, −1.5, −1.8, −2.7.
Hosszabb sorozatok még nagyobb eltéréseket eredményezhetnek.
Baran Sándor Matematika és információelmélet előadás 199 / 239
Kvantálási hibák
{xn }, {b
xn }: input, illetve rekonstruált sorozat
{dn }: különbség sorozat, dn = xn − xn−1 .
Kvantált különbség sorozat tagjai: b
dn = Q(dn ) = dn + qn .
Rekonstruálás: b
x0 = x0 és b xn−1 + b
xn = b dn .

d1 = x1 − x0 ; b
d1 = Q(d1 ) = d1 + q1 ;
b x0 + b
x1 = b d1 = x0 + d1 + q1 = x1 + q1 ;

d2 = x2 − x1 ; b
d2 = Q(d2 ) = d2 + q2 ;
b x1 + b
x2 = b d2 = x1 + q1 + d2 + q2 = x2 + q1 + q2 ;

n
b
xn = xn + qk .
k=1

A kvantálási hibák kumulálódnak.


Baran Sándor Matematika és információelmélet előadás 200 / 239
Prediktív kódolás
Az n-edik lépésben a kódoló ismeri az b
xn−1 értékét.
Módosított különbségek: dn = xn − b
xn−1 .
d1 = x1 − x0 ; b
d1 = Q(d1 ) = d1 + q1 ;
b x0 + b
x1 = b d1 = x0 + d1 + q1 = x1 + q1 ;
d2 = x2 − b
x1 ; b
d2 = Q(d2 ) = d2 + q2 ;
b x1 + b
x2 = b d2 = b
x1 + d2 + q2 = x2 + q2 ;
b
xn = xn + qn .

Cél: minél kisebb dn különbségek elérése.


Az xn értékét a rekonstruált sorozat korábbi értékeinek egy függvényével, a
xn−1 , b
pn = f(b xn−2 , . . . , b
x0 ) prediktorral közelítjük.
xn−1 , b
dn = xn − pn = xn − f(b xn−2 , . . . , b
x0 ).
Ez a különbségi impulzuskód moduláció (DPCM: differential pulse code
modulation). Szabadalom: C. Chapin Cutler, Bell Laboratories, 1950.
Baran Sándor Matematika és információelmélet előadás 201 / 239
DPCM
xn + d- b
dn b +
dn - b
x-
- n
kvantáló - n

pn − +
6 pn 6
pn + ?
+ prediktor 
-
dekódoló
b
xn
prediktor 
kódoló

A bemeneti jelek idővel változhatnak: adaptív DPCM.


1. Alkalmazkodás a kódoló bemenő xn jele alapján: előre adaptív módszer.
A dekódoló nem ismeri az xn jelet, az új paramétereket át kell vinni.
2. Alkalmazkodás a kimenő bxn jel alapján: hátra adaptív módszer. Mind a
kódoló, mind a dekódoló ismeri.
A kvantáló is lehet adaptív. Előre adaptív eset: az inputot blokkokra bont-
juk és az egyes blokkokra optimális kvantáló paramétereit is továbbítjuk.
Baran Sándor Matematika és információelmélet előadás 202 / 239
Jayant-kvantáló
Hátra adaptív kvantáló. Nikil S. Jayant, Bell Laboratories, 1973.
Ha az input érték a kvantáló belső (origóhoz közeli) tartományába esik, fi-
nomítsuk a lépésközt, ellenkező esetben növeljük.
Minden kvantálási intervallumhoz tartozik egy szorzótényező, ami a belső
részen 1 alatti, azon kívül 1 feletti. A szorzók az origóra szimmetrikusak.
Mk : a k-adik szint szorzótényezője.
Külső tartomány: Mk > 1; belső tartomány: Mk < 1.
∆n : a kvantáló lépésköze az xn (n-edik) inputnál.
Ha xn−1 az ℓ(n − 1)-el jelölt intervallumba esik, akkor
∆n = Mℓ(n−1) ∆n−1 .

A véges pontosság miatt szükséges ∆min és ∆max megadása.

Példa. Egy 8 szintű (3 bites) kvantáló szorzói:


M1 = M8 = 1.2, M2 = M7 = 1, M3 = M6 = 0.9, M4 = M5 = 0.8.
Baran Sándor Matematika és információelmélet előadás 203 / 239
3 bites Jayant kvantáló szintjei
6
Output
7∆/2 8

5∆/2 7

3∆/2 6

∆/2 5
∆ 2∆ 3∆
-
−3∆ −2∆ −∆ 4 −∆/2
Input

3 −3∆/2

2 −5∆/2

1 −7∆/2

A súlyok szimmetrikusak: M1 = M8 , M2 = M7 , M3 = M6 , M4 = M5 .
Baran Sándor Matematika és információelmélet előadás 204 / 239
Példa
Belső tartomány: M4 = M5 = 0.8, M3 = M6 = 0.9.
Külső tartomány: M2 = M7 = 1, M1 = M8 = 1.2.
Kiinduló lépésköz: ∆0 = 0.5.
Input: 0.1, −0.2, 0.2, 0.1, −0.3, 0.1, 0.2, 0.5, 0.9, 1.5, 1.0, 0.9.

A kvantálás menete:
n ∆n Input Szint Output Hiba Lépésköz frissítés
0 0.5 0.1 5 0.25 0.15 ∆1 = M5 × ∆0
1 0.4 −0.2 4 −0.2 0.0 ∆2 = M4 × ∆1
2 0.32 0.2 5 0.16 0.04 ∆3 = M5 × ∆2
3 0.256 0.1 5 0.128 0.028 ∆4 = M5 × ∆3
4 0.2048 −0.3 3 −0.3072 −0.072 ∆5 = M3 × ∆4
5 0.1843 0.1 5 0.0922 −0.0078 ∆6 = M5 × ∆5
6 0.1475 0.2 6 0.2212 0.0212 ∆7 = M6 × ∆6
7 0.1328 0.5 8 0.4646 −0.0354 ∆8 = M8 × ∆7
8 0.1594 0.9 8 0.5578 −0.3422 ∆9 = M8 × ∆8
9 0.1913 1.5 8 0.6696 −0.8304 ∆10 = M8 × ∆9
10 0.2296 1.0 8 0.8036 0.1964 ∆11 = M8 × ∆10
11 0.2755 0.9 8 0.9643 0.0643 ∆12 = M8 × ∆11

Baran Sándor Matematika és információelmélet előadás 205 / 239


Delta moduláció
Egy folytonos jelből vett sűrű mintavételezés esetén a szomszédos értékek
között kicsi az eltérés.
Delta moduláció (DM): 2 szintű (1 bites) kvantálóval bíró DPCM.
A torzítás csökkentéséhez a mintavételi frekvenciát növelik, akár a sávfrek-
vencia százszorosára.
Kimeneti értékek: ±∆. Rögzített ∆: lineáris delta moduláció.
Probléma: lapos input esetén az output oszcillál, meredeken változó in-
putot nem tud követni.

Forrás: John Edward Abate: Linear and adaptive delta modulation. PhD thesis, Newark College
Baran Sándor of Engineering,
Matematika 1967.előadás
és információelmélet 206 / 239
Adaptív delta moduláció
John Edward Abate, AT&T and Bell Laboratories, 1967.
Közel konstans tartomány: kis ∆; gyors változás: nagy ∆ lépésköz.
sn : a DM „lépése” az n-edik időpillanatban, sn = ±∆n .
Egy lépést figyelő módszer:
{
M1 ∆n , ha sign sn = sign sn−1 ; 1
∆n+1 = 1 < M1 = < 2.
M2 ∆n , ha sign sn ̸= sign sn−1 ; M2

Forrás: John Edward Abate: Linear and adaptive delta modulation. PhD thesis, Newark College
Baran Sándor of Engineering,
Matematika 1967.előadás
és információelmélet 207 / 239
Változó meredekségű delta moduláció
Johannes Anton Griefkes, Karel Riemens, Philips, 1970.
Változó meredekségű delta moduláció (CVSD: continuous variable slope
delta modulation):
∆n = β∆n−1 + αn ∆0 .
β: konstans, egynél alig kisebb;
αn ∈ {0, 1}: αn = 1, ha a kvantáló legutóbbi K output értékéből J darab
azonos előjelű, egyébként αn = 0. Jellemzően: J = K = 3.
Mintánként 1 biten kódol, pl. 16 kHz-es mintavétel 16 kbit/s sebességgel
kódolódik.

Alkalmazások:
16 és 32 kbit/s CVSD: TRI-TAC katonai kommunikációs rendszer.
16 kbit/s: US Army; 32 kbit/s: US Air Force.
64 kbit/s CVSD: bluetooth (wireless headsetek, mobiltelefonok kö-
zötti kommunikáció).
Baran Sándor Matematika és információelmélet előadás 208 / 239
Prediktorok
xn−1 , b
pn = f(b xn−2 , . . . , b
x0 ): a prediktív kódoló (pl. DPCM) prediktora.
Cél: azon optimális f függvény meghatározása, mely minimalizálja a

σd2 = E(Xn − pn )2

négyzetes eltérést. Általánosan a feladat túl bonyolult.


Elég finom kvantálás esetén b
xn ≈ Xn , azaz tekinthető

pn = f(Xn−1 , Xn−2 , . . . , X0 ).

σd2 minimális, ha

f(Xn−1 , Xn−2 , . . . , X0 ) = E(Xn |Xn−1 , Xn−2 , . . . , X0 ),

de ehhez szükséges a megfelelő feltételes valószínűségek ismerete.


Általában nem ismertek. Normális eloszlású forrás esetén a feltételes vár-
ható érték az Xn−1 , Xn−2 , . . . , X0 lineáris függvénye.
Baran Sándor Matematika és információelmélet előadás 209 / 239
Lineáris becslés ∑N
N-edrendű lineáris prediktorfüggvény: pn := i=1 aib
xn−i .
Elég finom kvantálás esetén minimalizálandó
( ∑
N )2
σd2 = E Xn − ai Xn−i .
i=1

R(k) = E(Xn Xn+k ): az Xk nulla várható értékű gyengén stacionárius forr-


ás kovariancia függvénye.
∂ 2
A ∂aj σd = 0, j = 1, 2, . . . , N, egyenletekből:


N
ai R(i − j) = R(j), j = 1, 2, . . . , N.
i=1

A egyenletrendszer megoldása megadja a prediktor együtthatóit.


Probléma: a megoldandó Wiener-Hopf egyenletrendszer felírásakor felté-
tel volt a stacionaritás. Ez legfeljebb csak lokálisan teljesül.
Baran Sándor Matematika és információelmélet előadás 210 / 239
Adaptív prediktor
Előre adaptív eset: az inputot blokkokra osztjuk.
Beszédkódolás: 16 ms blokkhossz. 8000 Hz-es mintavételezésnél 128 min-
taelem.
Képtömörítés: 8 × 8 pixeles blokkok.
Az ℓ-edik M hosszú blokk kovarianciájának becslése:

1 ∑
ℓM−|k|
(ℓ)
R (k) = Xi Xi+|k| , R(ℓ) (−k) = R(ℓ) (k).
M − |k|
i=(ℓ−1)M+1

A bemenetet pufferelni kell, ami késleltetést visz a rendszerbe. A dekódo-


lónak kiegészítő információkra is szüksége van, mert nem ismeri az input
jelet.
Hátra adaptív eset: a kódoló kimeneti jelét felhasználva rekurzív formula a
( ∑ N )2
2
dn = Xn − aib
xn−i
i=1
minimumának meghatározására.
Baran Sándor Matematika és információelmélet előadás 211 / 239
Hullámformán alapuló beszédkódolás
Referencia módszer: impulzuskód moduláció (PCM: pulse code modulati-
on) codec.
Analóg 300 − 3400 Hz-es sávszélességű beszédjelből 8000 Hz-el mintavéte-
lezünk és 8 bittel kvantáljuk.
Bitsebesség: 8000 × 8 = 64 kbit/s.
ITU-T (International Telecommunication Union – Telecommunication
Standardization Sector) G.711 távközlési szabvány (1972): PCM kódolás
kompanderes kvantálóval (A-law vagy µ-law).
Adaptív DPCM: kihasználja a beszéd különböző mintái közötti korrelációt
(Jayant, Bell Laboratories, 1974)
Kvantálás: 5, 4, 3, 2 bit; bitsebesség: 40, 32, 24, 16 kbit/s.
ITU-T G.726 távközlési szabvány (1990): leváltja a korábbi G.721 (32
kbit/s, 1984) és G.723 (24 és 40 kbit/s, 1988) szabványokat.
Legelterjedtebb: 32 kbit/s, standard codec a DECT (digital enhanced
cordless telecommunications) telefonkészülékekben (pl. Panasonic
KX-TG1100).
Baran Sándor Matematika és információelmélet előadás 213 / 239
Hangképzés
A tüdőből áramló levegő megmozgatja a hangszálakat. A hang a gége, ga-
rat, száj- és orrüreg, valamint a nyelv által képzett akadályokon való átju-
tás során alakul ki (hangképző út).
A hangképző út modulálja a hangszálak által képzett zöngét. Mesterséges
hangképzésnél egy gerjesztő jelet modulálunk.

A „Decision” szó hullámformája. Forrás: Sun, L., Mkwawa, I.-H., Jammeh, E., Ifeachor, E.
Guide to Voice and Video over IP. Springer, 2013 (21. old., 2.3 ábra).
Baran Sándor Matematika és információelmélet előadás 214 / 239
Zöngés és zöngétlen hangok
Zöngés hangok: b, d, dz, dzs, g, gy, j, l, m, n, ny, r, v, z, zs. A hangszala-
gok egy megadott frekvencián rezegnek (hangmagasság). A beszédminták
álperiodikus viselkedést mutatnak.

Zöngés hangminta. Forrás: Sun et al. (2013); 22. old., 2.4 ábra.

Zöngétlen hangok: c, cs, f, h, k, p, s, sz, t, ty. A hangszalagok nem rezeg-


nek. A beszédminták zajszerű szerkezetet mutatnak.

Zöngétlen hangminta. Forrás: Sun et al. (2013); 23. old., 2.5 ábra.
Baran Sándor Matematika és információelmélet előadás 215 / 239
Paraméteres beszédkódolás
A beszéd rövid, kb 20 ms-os, szegmensekben stacionáriusnak tekinthető, a
hangképző út alakja ilyenkor konstans.
Egy-egy stacionárius szegmensben a hangképzű utat egy szűrővel modell-
ezhetjük.
A kódoló analizálja az egyes szegmenseket:
eldönti zöngés, vagy zöngétlen;
meghatározza a hangképző szűrő paramétereit;
megbecsli a gerjesztő jel energiáját, valamint zöngés esetben a hang-
magasságát (férfiak: ≈ 125 Hz; nők: ≈ 250 Hz).
A paraméterek binárisan kódolva jutnak el a dekódolónak, ami ezek alap-
ján állítja elő a saját gerjesztő jelét és állítja be a szűrő paramétereit.
A paraméteres kódolók bonyolultabbak, mint a hullámformán alapu-
lók.
A hangminőségük lényegesen rosszabb, érthető, de gépi hang jellegű
beszédet hallunk.
Nagyon alacsony bitsebességgel működnek: 1.2 − 4.8 kbit/s.
Baran Sándor Matematika és információelmélet előadás 216 / 239
Lineáris prediktív kódolás
LPC: linear predictive coding, Bishnu S. Atal, Bell Labs, 1971. p-lépéses
lineáris szűrőt alkalmaz.
εn : gerjesztő jel. Zöngés esetben adott frekvenciájú periodikus, zöngétlen
esetben fehér zaj (véletlen, független, stacionárius).
G: a szűrő energiája.
xn : kimenő beszédjel.

p
xn = ai xn−i + Gεn .
periódus, T i=1
? 6666

periodikus jel • LPC együtthatók (ai )


?
zöngés εn hangképző út xn
• - × - -
R (időben változó szűrő)
6
fehér zaj •
energia (G)
zöngétlen
Baran Sándor Matematika és információelmélet előadás 217 / 239
LPC-10 algoritmus
Department of Defense, USA. Federal Standard (FS) 1015 (1984). Főleg
titkosított kommunikációnál használatos.
Egy szegmens hossza: 22.5 ms. Továbbítandó információ: 54 bit.
Gerjesztés típusa (zöngés/zöngétlen): 1 bit.
Hangmagasság (periódus): 6 bit (logaritmikus karakterisztikájú kom-
panderes kvantáló).
Szűrőparaméterek: 41 bit. Érzékeny az 1 közeli együtthatók hibájára.
a1 és a2 helyett gi = (1 + ai )/(1 − ai ), i = 1, 2, kvantálódik.
▶ Zöngés eset: 10-edrendű prediktív szűrő. Egyenletes kvantáló,
g1 , g2 , a3 , a4 : 5 bit; a5 , . . . , a8 : 4 bit; a9 : 3 bit, a10 : 2 bit.
▶ Zöngétlen eset: 4-edrendű prediktív szűrő. Egyenletes kvantáló,
g1 , g2 , a3 , a4 : 5 bit; hibajavítás: 21 bit.
Energia: 5 bit (logaritmikus karakterisztikájú kompanderes kvantáló).
Szinkronizáció: 1 bit.
Bitsebesség: 54 bit/22 ms = 2.4 kbit/s. 26.7-szeres kompresszió a
PCM-hez képest. Továbbfejlesztett változat: akár 800 bit/s.
Baran Sándor Matematika és információelmélet előadás 218 / 239
Kóddal gerjesztett lineáris prediktív kódoló
Szintézis alapú kódoló (AbS: analysis-by-synthesis): a kódolóban van egy
dekódoló is, ami szintetizálja a bemenő beszédjelet. Egy zárt optimalizáló
hurokban meghatározza azt a gerjesztő jelet, ami minimalizálja az eredeti
és a szintetizált jel közötti hibát. Ennek a paramétereit továbbítja a dekó-
dolónak.

Kóddal gerjesztett lineáris prediktív kódoló (CELP: code excited linear pre-
diction) Manfred R. Schroeder és Bishnu S. Atal, 1985.
Az optimális gerjesztőjelet egy 256 − 1024 elemű kódkönyből választja és
annak adatait küldi át a dekódolónak.
Jó minőségű beszédátvitel már 4.8 kbit/s sebességnél.

Lassú a keresés a kódkönyvben, ezért azt részekre bontják.


Eredeti algoritmus (Schroeder és Atal, 1983) Cray-1 szuperszámítógépen
(80 MFLOPS; DE HPC: 254 TFLOPS): 1s beszéd kódolása 150s idő.
Szabványok: ITU-T G.728 (16 kbit/s), G.729 (8 kbit/s)
Alkalmazás: része a RealAudio és az MPEG-4 Audio formátumnak.
Baran Sándor Matematika és információelmélet előadás 219 / 239
Hangtömörítés
CD minőség: 20 kHz-es sáv, 44100 Hz-es mintavétel, 16 bites egyenletes
kvantáló (pl. WAV: waveform audio file format, 1991).
Bitsebesség: 44100 × 16 × 2 ≈ 1400 kbit/s (×2: sztereó).

Hangtömörítésnél figyelembe vett tényezők.


A hallás legnagyobb érzékenysége 2 − 4 kHz között van. Kevésbé ér-
zékeny részen ugyanolyan intenzitásu hang halkabbnak tűnik, itt jobb-
an elviseljük a torzítást.
Adott frekvenciájú nagy intenzitású hang elfedi a vele egyszerre szóló
közeli frekvenciákon lévő kisebb intenzitásuakat.
Adott frekvenciájú nagy intenzitású hang már a bekapcsolása előtt
(kb. 2 ms-ig) és kikapcsolása után (kb. 15 ms-ig) is maszkolja a kö-
zeli frekvenciákon lévő alacsonyabb intenzitásuakat.
A tömörítendő hangot a frekvenciatartományban analizálják.
Nem minden frekvenciaösszetevőt kell átvinni, és a kódolandókat sem kell
azonos pontossággal kvantálni.
Baran Sándor Matematika és információelmélet előadás 220 / 239
MPEG-2 Audio Layer III (MP3) tömörítés, I
Input jel: tömörítetlen PCM audio (pl. WAV file), amit 1152 hosszú blokk-
okra osztanak (frame).
Két folyamat indul párhuzamosan.
1a. A bemenő minták egy szűrőbankon átvezetve azt 32 egyforma frek-
venciasávra bomlanak. 44.1 kHz-es mintavételnél mindegyik sáv
22050/32 = 689 Hz széles.
1b. Gyors Fourier transzformáció (FFT): a bemenő mintákat az időtarto-
mányból átviszi a frekvenciatartományba.
2a. A minták időkorlátos volta miatt a részsávokat ablakolni kell, az
MPEG formátum 4 ablakfüggvény típust használ. Ablakolás után az
egyes részsávok módosított diszkrét koszinusz transzformáció
(MDCT) segítségével 18 további sávra bomlanak. A végeredmény 576
frekvenciaösszetevő.
2b. Pszichoakusztikus modell: az emberi hallást szimulálja. Megadja mi-
lyen információk hagyhatóak ki a maszkolás miatt, milyen típusú abla-
kot használjon az MDCT és hogyan kvantálódjanak az egyes frekven-
ciasávok.
Baran Sándor Matematika és információelmélet előadás 221 / 239
MPEG-2 Audio Layer III (MP3) tömörítés, II
A már a frekvenciatartományban lévő két párhuzamosan futó folyamat
összekapcsolódik.
3. A pszichoakusztikus modell információi alapján az 576 frekvencia-
összetevő 22 sávra bomlik és sávonként más-más faktorral skálázva
kvantálódik. Itt zajlik a maszkolás.
4. Huffman-kódoló: kódolja a kvantált jeleket. Fix bitsebességnél min-
den egyes blokkot ugyanannyi bájton kódol. Változó bitsebességnél
(VBR) egyes blokkokat rövidebben kódol, a fennmaradó biteket pe-
dig átadja a következő blokknak.
5. Kiegészítő információk kódolása: a tömörítés során kapott és a dekó-
dolónak átadandó információkat kódolja.
6. Multiplexer: a frame fejlécét, CRC (cyclic redundancy code) szavát
(hibajavítás), a kiegészítő információkat és a frekvenciaösszetevők
kódjait egy továbbítható bitfolyammá rakja össze.

Baran Sándor Matematika és információelmélet előadás 222 / 239


Az MP3 tömörítés vázlata

Forrás: Rassol Raissi, The theory behind mp3. www.mp3-tech.org


Baran Sándor Matematika és információelmélet előadás 223 / 239
Az emberi látás
Szín és fényesség érzékelés: pálcikák és csapok.
Pálcikák: perifériás látásnál és kis fényességnél játszanak szerepet.
Csapok: háromféle különböző spektrális érzékenység a látható színtarto-
mányban (s(λ): short; m(λ): medium; ℓ(λ): long).
Egy L(λ) energiasűrűségű fénysugár által kiváltott inger:


( )⊤
(S, M, L) = s(λ), m(λ), ℓ(λ) L(λ)dλ.

Ebből alakul ki a fényesség- és


színérzet.
Metamer színek: azonos S, M
és L ingert kiváltó spektrumok.
Ezeket nem tudjuk megkülön-
böztetni.
Baran Sándor Matematika és információelmélet előadás 225 / 239
Színkoordináta-rendszer
Fényesség és színérzet elkülönítése:
(X, Y, Z)⊤ = M(S, M, L)⊤ .
Y: fényesség; X és Z: színérzet.
M: olyan lineáris transzformáció, ami mindig nemnegatív elemű vektort
eredményez.
Gyakorlatban (X, Y, Z)⊤ helyett
X Y
(Y, x, y)⊤ , ahol x = , y= .
X+Y+Z X+Y+Z
Színérzet ábrázolása: (x, y) színkoordináta rendszer.
Ha a Li (λ) spektrumhoz az (xi , yi ), i = 1, 2, pont tartozik, akkor a
µ1 L1 (λ) + µ2 L2 (λ), µ1 , µ2 > 0, képe az (x1 , y1 ) és (x2 , y2 ) közötti sza-
kaszon van.
Monokromatikus spektrum: egyetlen λ0 összetevőből áll. A monokroma-
tikus spektrumok egy görbét alkotnak. Ez határolja a lehetséges (x, y) ér-
tékek halmazát (színpatkó).
Baran Sándor Matematika és információelmélet előadás 226 / 239
Színpatkó

International Commission on Illumination (CIE: Commission internationale de l’éclaira-


ge), 1931.
Baran Sándor Matematika és információelmélet előadás 227 / 239
Az RGB színtér
Három szín (R: piros; G: zöld; B: kék) additív keverésével dolgozik.
Az alapszínek által meghatározott háromszög színei ábrázolhatóak.
(R′ , G′ , B′ ): az alapszínek aránya 0 − 255 egész skálán. 224 szín.
Az (R′ , G′ , B′ ) értékek a gamma korrekció után kapott arányok.

Különböző RGB színterek (bal) és az LG 42LB731V TV színkalibrációja (jobb).


Baran Sándor Matematika és információelmélet előadás 228 / 239
Az YCbCr színtér
(Y, x, y): különválasztja a fényességet és a színinformációt.
Probléma: a szem nem egyenletesen érzékel az Y koordinátában.
 ′      ′
Y 16 65.728 129.057 25.064 R
Cb  = 128 + 1 −37.945 −74.494 112.439  G′  .
256
Cr 128 112.439 −94.154 −18.285 B′
Y′ : luminancia. Egyenletesen érzékeli a szem.
Cb , Cr : krominancia. A kéktől és a pirostól való eltérést adja meg.
Mindhárom koordináta 0 − 255 egész skálán.
ITU-R BT.601 SDTV szabvány (korábban CCIR 601, 1982).

Baran Sándor Matematika és információelmélet előadás 229 / 239


Graphics Interchange Format (GIF)
Indexelt tárolás: a kép színeit egy palettával írják le. Az egyes képpontok
színeinél a palettabeli indexet adják meg.
GIF: maximum 8 bites paletta (256 szín) a 24 bites RGB színtérből (3 × 8
bit). CompuServe, 1987.
Sorfolytonos letapogatás, LZW tömörítés. Veszteségmentes.
Fő alkalmazási terület: kis ikonok, ábrák tömörítése. Jellemzőik:
Kevés szín.
Sok a nagy, egyszínű terület és az ismétlődő részlet. Jól tömöríthető
az LZW algoritmussal.
Probléma: nem alkalmas pl. fényképek tömörítésére.

Baran Sándor Matematika és információelmélet előadás 230 / 239


Joint Photographic Experts Group (JPEG), I
Veszteséges kódolás (1993). Input kép: YCbCr színtér 8 − 8 biten.
A kép a koordináták szerint 3 képsíkra bomlik. Mindegyik sík külön kódo-
lódik. A síkok eltérő felbontása, ha az arány racionális, megengedett. A
felbontások legkisebb közös többszörösének megfelelő felbontású kép állí-
tódik vissza. Cb és Cr vízszintes és függőleges felbontása vagy az Y′ meg-
felelő felbontása, vagy annak fele (4 : 4 : 4: egyforma; 4 : 2 : 2: H felező-
dik; 4 : 2 : 0: HV feleződik).
1. A képsíkokat 8 × 8-as négyzetekre bontjuk. Ha a képméret nem oszt-
ható 8-cal, a legalsó oszlop/legszélső sor ismétlésével kiegészítjük.
2. A 8 × 8-as négyzeteket kétdimenziós DCT transzformációval transz-
formáljuk. A transzformált négyzet elemei: a különböző frekvenciák-
hoz tartozó felharmonikusok. Bal felső sarok: alacsony frekvenciák,
amikre a szem érzékenyebb. (0, 0) elem: a 0 frekvencia együtthatója
(DC komponens). Négyzetenként gyakran hasonló.
3. A DC komponens különbségi kódolással tömörítődik. Meghatározzuk
az előző négyzet DC komponensétől való eltérést.
Baran Sándor Matematika és információelmélet előadás 231 / 239
Joint Photographic Experts Group (JPEG), II

4. A különböző felharmonikusok egyenletesen, de más-más lépésközzel


kvantálódnak. Amikre érzékenyebb a szem, azok finomabban.
Kvantálási tábla: egy az egyes kvantálási lépésközöket megadó mát-
rix. Függ a tömörítés mértékétől. Nagyobb tömörítési ráta – nagyobb
értékek. Pl. 50 %-os tömörítésnél az ajánlott
 
16 11 10 16 24 40 51 61
12 12 14 19 26 58 60 55 
 
14 13 16 24 40 57 69 56 
 
14 17 22 29 51 87 80 62 
Q=
18

 22 37 56 68 109 103 77 

24 35 55 64 81 104 113 92 
 
49 64 78 87 103 121 120 101
72 92 95 98 102 100 103 99

Baran Sándor Matematika és információelmélet előadás 232 / 239


Példa
 
187 130 113 31 19 125 69 112
170 52 52 162 207 206 149 51 
 
188 129 48 160 228 15 185 92 
 
 36 25 26 210 166 217 105 246
Input mátrix :  
 38 149 210 189 198 200 45 30 
 
114 237 37 222 49 193 168 236
186 115 251 183 197 22 43 87 
63 112 216 135 47 139 130 22
 
1021.7 16.6 −104.4 24.3 43.5 21.8 0.2 −57.2
 −40.4 −61.6 74.2 149.4 73.5 −4.0 −18.8 13.9 
 
 −83.2 137.5 94.3 6.4 −85.3 67.3 56.8 82.1 
 
 29.1 47.7 74.0 −32.9 −56.8 −61.2 52.7 −100.2
DCT mátrix :  
 −86.7 −40.2 −46.0 −40.5 −114.0 −30.3 121.6 −42.8 
 
 −13.0 −1.0 96.6 −76.6 113.9 −20.8 17.1 33.1 
 −2.3 −20.4 157.5 −26.4 −49.9 7.5 −102.6 −72.7 
−25.4 198.6 −71.4 −27.9 −13.1 −16.5 −14.5 168.8
 
1024 22 −100 32 48 40 0 −61
 −36 −60 70 152 78 0 0 0 
 
 −84 143 96 0 −80 57 69 56 
 
 28 51 66 −29 −51 −87 80 −124
Kvantált DCT :  
 −90 −44 −37 −56 −136 0 103 −77 
 
 −24 0 110 −64 81 0 0 0 
 0 0 156 0 0 0 −120 −101
0 184 −95 0 0 0 0 198
Baran Sándor Matematika és információelmélet előadás 233 / 239
Joint Photographic Experts Group (JPEG), III
5. A különbségi DC együtthatót és a kvantált DCT értékeket cikk-cakk
elrendezés szerint sorbarendezzük.
6. A kapott sorozatot részsorozatokra bontjuk. Minden részsorozat eleje
0-kból
( áll)és egy nem 0 elem zárja. Egy részsorozat futamhossz kódja
{n, s}, ν .
n: a részsorozat elején lévő 0-futam hossza;
s: a sorozat végi nem 0 elem kódolásának bithossza;
ν: a sorozat végi nem 0 elem előjeles bináris alakja.
7. Az {n, s} párokat statikus Huffman kóddal, vagy aritmetikai kódoló-
val kódoljuk és a kódjaik után felsoroljuk a ν értékek bináris kódjait.
Példa.
81, 0, 0, 0, 0, 0, −6, 0, 0, 0, −12, 0, 0, . . .
( ) ( )
A kód: {0, 8}, 01010001 ; {5, 4}, 1001 ;
( )
{3, 5}, 10011 .
A Huffman-kód után: 01010001100110011.
Baran Sándor Matematika és információelmélet előadás 234 / 239
Tulajdonságok
Szabványok: ISO/IEC 10918, ITU-T T.81, T.83, T.84, T.86
Hatékony, ha nincsenek éles határok. Túl nagy tömörítésnél a kvantálás
miatt erős képzaj az éleknél.

Forrás: http://www.gimp.org/tutorials/GIMP_Quickies/
Baran Sándor Matematika és információelmélet előadás 235 / 239
Veszteségmentes JPEG
Kiegészítés a JPEG formátumhoz. Joint Photographic Experts Group,
1993.
Kétdimenziós prediktív kódolás (DPCM).
b i,j predikciója
Sorfolytonos letapogatás. Az (i, j) képpont Xi,j értékének X
Xi−1,j , Xi,j−1 és Xi−1,j−1 alapján.
Nyolcféle predikciós séma.
0: X b i,j = 0; b i,j = Xi−1,j + Xi,j−1 − Xi−1,j−1 ;
4:
X

1: X b i,j = Xi−1,j ; 5: X b i,j = Xi,j−1 + Xi−1,j − Xi−1,j−1 ;


2
b i,j = Xi,j−1 ; b i,j = Xi−1,j + X i,j−1 − Xi−1,j−1
2: X 6: X ;
2
3: X b i,j = Xi−1,j−1 ; 7: X b i,j = Xi−1,j + Xi,j−1 .
2
Bármelyik séma használható, de egy adott képhez csak egyféle.
Adaptív aritmetikai, vagy Huffman kódolás.
Kompressziós arány prediktív esetben (nem 0 séma): kb. 2 : 1.
Baran Sándor Matematika és információelmélet előadás 236 / 239
Moving Picture Experts Group (MPEG)
International Organization for Standardization (ISO) és International
Electrotechnical Commission (IEC) munkacsoport. Szabványok: MPEG-1,
MPEG-2, MPEG-4, MPEG-7, MPEG-21.
Veszteséges videotömörítés (1993). MPEG-1 részei:
videoszekvencia −→ képcsoportok −→ képek (frame) −→
makroblokkok −→ blokkok
Képcsoport (GOP: group of pictures): függetlenül kódolt egység.
Háromféle képtípus:
I-típus (intra frame): önálló kép, JPEG tömörítés;
P-típus (predictive coded frame): az előző I- vagy P-típusú kép segít-
ségével tömörítődik;
B-típus (bidirectionally predictive coded frame): az előző és/vagy kö-
vetkező I- vagy P-típusú kép segítségével tömörítődik.
Makroblokk: egy kép 16 × 16 képpont méretű része. 6 darab 8 × 8 elemű
blokkból áll: 4 luminancia (Y′ ) és 1−1 krominancia (Cr , Cb ). P- és B-tí-
pusú képeket makroblokkonként tömörítünk.
Baran Sándor Matematika és információelmélet előadás 237 / 239
Sorrendek
A B-típusú képek kódolásnál előre
mozognak, hogy a szomszédos I-
és P-típusok után legyenek.
Egyszerűsíti a pufferelést.

Lejátszási sorrend: 0 1 2 3 4 5 6 7 8 9
Képtípus: I B B P B B P B B I
Sorrend az adatfolyamban: 0 2 3 1 5 6 4 8 9 7

Szokásos sorrend: egy I-típusú képre két P-típusú épül, köztük két B-típu-
sú.
I-típusú képek: önmagukban kódolódnak. Referenciaként szolgálnak a ke-
reséshez.
A P- és B-típusú képek tömörítése a makroblokkonkénti mozgásbecslésen
alapszik.
Baran Sándor Matematika és információelmélet előadás 238 / 239
Predikciók
P-típusú képek: minden makroblokkhoz kikeressük az előző I- vagy P-típu-
sú kép leginkább hasonlító makroblokkját (referencia blokk). Csak a távol-
ságot és az irányt (mozgásvektor), valamint a referencia blokktól való elté-
rést kódoljuk.
Mozgásvektor: Huffman; eltérés: JPEG-hez hasonló kódolás. Nincs refe-
rencia: makroblokk sima JPEG kódolása.
B-típusú képek: az előző és a rákövetkező I- vagy P-típusú képben kere-
sünk egyezést. Ha mindkét oldalon van egyezés, az átlaguktól való eltérést
és a két mozgásvektort kódoljuk. Egyoldali egyezésnél a P-típushoz hason-
lóan kódolunk.
MPEG-1 tömörítés pl. 356 × 260 képpont és 24 bites szín esetén.
Típus Méret Arány
I 18 Kb 7:1
P 6 Kb 20 : 1
B 2.5 Kb 50 : 1
Átlag 4.6 Kb 27 : 1

Video bitsebessség, 30 kép/s: 1.2 Mbit/s; audioval: 1.45 Mbit/s.


Baran Sándor Matematika és információelmélet előadás 239 / 239

You might also like