Professional Documents
Culture Documents
Non Lienar Algebra For Data Scientists
Non Lienar Algebra For Data Scientists
xT = [x1 , x2 , ..., xn ].
1
Denicja 1.2. Mówimy, »e wektory u1 , ..., uk ∈ Rn s¡ liniowo niezale»ne, je±li
równo±¢
α1 u1 + ... + αk uk = 0
jest speªniona wyª¡cznie wtedy, gdy
α1 = α2 = ... = αk = 0
2
||x||∞ := max{|x1 |, |x2 |, ..., |xn |}, (3)
gdzie x = (x1 , x2 , ..., xn )T ∈ Rn
Warto±¢ xT y zwiemy iloczyn skalarny wektorów x i y , czyli
y1
n
y2 X
T
x y = [x1 , x2 , ..., xn ] . = xi y i .
.. i=1
yn
xT y = y T x (αx)T y = αxT y
(x + y)T z = xT z + y T z
3
Przyjmyjmy teraz, »e mamy ju» okre±lone wektory ortonormalne y1 , y2 , ..., yk .
Wektor yk+1 okre±lamy tak
k
1 X
yk+1 = zk+1 , gdzie zk+1 = xk+1 − (xTk+1 yi )yi
||zk+1 ||2 i=1
Zachodz¡ równo±ci
(A + B)T = AT + B T (AB)T = B T AT
4
oznaczana przez diag(di ) lub D(di ) a zatem
d1 0 ... 0
0 d2 ... 0
diag(di ) = D(di ) = .
... ... ... ...
0 0 ... dn
n
det(A) = ai1 Ai1 + ai2 Ai2 + ... + ain Ain =
P
aij Aij dla i = 1, 2, ..., n,
j=1
gdzieAij to tzw. dopeªnienie algebraiczne lub inaczej kofaktor elementu aij , dany
wzorem Aij = (−1)i+j ·det(Mij ), za± Mij jest macierz¡ wymiaru (n−1)×(n−1)
powstaª¡ z macierzy A w wyniku skre±lenia i-tego wiersza oraz j -tej kolumny.
5
Je»eli zamienimy miejscami dowolne dwa wiersze (kolumny), to wyznacznik
zmieni znak.
Mówimy, »e macierz kwadratowa jest nieosobliwa, je±li jej wyznacznik jest ró»ny
od 0.
Podstawowe wªasno±ci macierzy odwrotnej opisuje
(AB)−1 = (B −1 )(A−1 )
(cA)−1 = 1c A−1 , c ∈ R,
6
Denicja 1.12. Rz¡d macierzy A = [aij ]p×q oznaczamy przez r(A) i deniujemy
jako maksymaln¡ ilo±¢ liniowo niezale»nych wierszy macierzy A lub równowa»nie,
jako maksymaln¡ ilo±¢ liniowo niezale»nych kolumn macierzy A.
Fakt 1.13. Wªasno±ci rz¦du macierzy
r(AT ) = r(A)
Oznaczenia:
R(A) := {Ax : x ∈ Rn }
R(A) zwiemy zbiorem warto±ci przeksztaªcenia (macierzy) A.
N (A) := {x ∈ Rn : Ax = 0}
T
AT12 AT22 ... ATm2
A = .
... ... ... ...
AT1n AT2n ... ATmn
7
Je±li przyjmiemy, »e macierz B ma podobn¡ struktur¦ jak i A, to wtedy ich suma
to
A11 + B11 A12 + B12 ... A1n + B1n
A +B A22 + B22 ... A2n + B2n
21 21
A+B = .
... ... ... ...
Am1 + Bm1 Am2 + Bm2 ... Amn + Bmn
Niech teraz macierz B ma posta¢
B11 B12 ... B1k
B21 B22 ... B2k
B= .
... ... ... ...
Bn1 Bn2 ... Bnk
n
(5)
X
||A||∞ = max |aij |
i=1,...,m
j=1
(6)
p
||A||2 = λmax (AT A)
gdzie λmax (AT A) to najwi¦ksza warto±¢ wªasna macierzy AT A. Norma ||A||2
bywa zwana norm¡ spektraln¡ macierzy A.
8
W u»yciu bywa te» tzw.norma Frobeniusa
v
u m X
n
uX
||A||F := t |aij |2 (7)
i=1 j=1
9
Mamy wi¦c
y1
a11 a12 ... a1n
y2
a21 a22 ... a2n
xT Ay = [x1 , x2 , ..., xn ] .. .
... ... ... ...
.
an1 an2 ... ann yn
Mamy wi¦c
x1
a11 a12 ... a1n
x2
a21 a22 ... a2n
xT Ax = [x1 , x2 , ..., xn ] ..
... ... ... ... .
an1 an2 ... ann xn
= a11 x21 + a22 x22 + ... + ann x2n + 2a12 x1 x2 + ... + 2a1n x1 xn + ... + 2an−1,n xn−1 xn .
znaku).
a11 a12 ... a1k
a21 a22 ... a2k
Mk := dla k = 1, 2, ..., n.
... ... ... ...
ak1 ak2 ... akk
Wówczas
10
macierz kwadratowa A jest dodatnio okre±lona wtedy i tylko wtedy, gdy
detMk > 0 dla k = 1, 2, ..., n.
a dla macierzy A
a11 a21 ... am1
H
T a12 a22 ... am2
A := (A) =
... ... ... ...
a1n a2n ... amn
Zbiór wszystkich macierzy wymiaru m × n o wyrazach zespolonych b¦dziemy
oznacza¢ przez Cm,n .
W przestrzeni Cn wygodnie jest zdeniowa¢ iloczyn skalarny nast¦puj¡co
y1
n
y2 X
H
..
x y = [x1 , x2 , ..., xn ] = xi y i .
. i=1
yn
W analogiczny sposób jak wcze±niej, deniuje si¦ norm¦ dla wektorów i macierzy
zespolonych.
11
Denicja 1.23. Niech A = [aij ] b¦dzie rzeczywist¡ macierz¡ kwadratow¡. Je±li
λ ∈ C jest takie, »e istnieje niezerowy wektor x ∈ Cn speªniaj¡cy równo±¢
Ax = λx
Fakt 1.24. Liczba λ jest warto±ci¡ wªasn¡ macierzy A (tzn. λ ∈ Sp(A)) wtedy
i tylko wtedy, gdy
det(A − λI) = 0
Wielomian pA (λ) = det(A − λI) zwany bywa wielomianem charakterystycznym
macierzy A. Mamy wi¦c
a11 − λ a12 ... a1n
a21 a22−λ ... a2n
pA (λ) = det
... ... ... ...
an1 an2 ... ann − λ
Denicja 1.25. wartosci wªasnej λ zwiemy krotno±¢
Krotno±ci¡ algebraiczn¡
λ jako pierwiastka wielomianu charakterystycznego pA (λ) i oznaczamy j¡ przez
α(λ) lub α.
Podprzestrzeni¡ wªasn¡ warto±ci wªasnej λ macierzy A nazywamy podrze-
strze« zªo»on¡ ze wszystkich wektorów x ∈ Cn (tak»e zerowy) speªniaj¡cych
równo±c Ax = λx. Tak wi¦c podprzstrze« wªasna to N (A − λI).
Denicja 1.26. Krotno±ci¡ geometryczn¡ wartosci wªasnej λ macierzy A zwiemy
wymiar podprzestzreni wªasnej dla λ (czyli maksymaln¡ ilo±¢ liniowo niezale»nych
wektorów wªasnych dla λ) i oznaczay j¡ przez γ(λ) lub γ .
Wiadomo, »e γ ≤ λ. Szczegówlnie w¡»ny jest przypadek, gdy dla kazdej
wartosci wª¡snej γ = α.
Denicja 1.27. Je±li krotno±ci algebraiczne s¡ równe krotno±ciom geometrycz-
nym dla wszystkich warto±ci wªasnych macierzy kwadratowej A (tzn. α(λ) =
γ(λ) dla λ ∈ Sp(A)), to mówimy, »e macierz ta ma prost¡ struktur¦. W prze-
ciwnym razie, gdy dla pewnej warto±ci wªasnej γ(λ) < α(λ), to o macierzy A
mówimy, »e ma zªo»on¡ struktur¦.
12
Jak to si¦ pó¹niej oka»e, tylko macierze o prostej strukturze, maj¡ wa»n¡
cech¦ - s¡ diagonalizowalne.
Fakt 1.28.
Niech Sp(A) = {λ1 , λ2 , ..., λk } b¦dzie zbiorem warto±ci wªasnych macierzy
A wymiaru n × n. Wtedy
Sp(A) = Sp(AT )
Fakt 1.30. Ka»de dwie podobne macierze A i B maj¡ te same warto±ci wª¡sne
o tych samych krotno±ciach algebraicznych i geometrycznych.
13