Cu 1:

Ti n x l d li u l m t k thu t khai thc d li u c lin quan n chuy n i d li u th thnh m t nh

d ng d hi u. D li u th c t th ng l khng y , khng ph h p, v / ho c thi u trong hnh vi ho c xu
h ng nh t nh, v c kh n ng ch a nhi u l i. Ti n x l d li u l m t ph ng php c ch ng minh
trong gi i quy t cc v n nh v y. Ti n x l d li u chu n b d li u th ch bi n ti p.
Ti n x l d li u c s d ng cc ng d ng c s d li u theo nh h ng nh qu n l quan h khch hng
v d a trn nguyn t c cc ng d ng (nh m ng th n kinh).
D li u i qua m t lo t cc b c trong qu trnh ti n x l:
Lm s ch d li u: d li u c l c thng qua qu trnh nh i n vo cc gi tr thi u, lm m n cc d li u
n o, ho c gi i quy t nh ng mu thu n trong cc d li u. !
Tch h p d li u: d li u v i c quan i di n khc nhau c t l i v i nhau v xung t trong cc d li u
c gi i quy t.
Chuy n i d li u: d li u l bnh th ng, t ng h p v khi qut.
Gi m d li u: B c ny nh m m c ch trnh by m t i di n gi m c a d li u trong m t kho d li u. "
D li u r i r c: Lin quan n vi c gi m m t s gi tr c a m t thu c tnh lin t c b ng cch chia nhi u # "
kho ng th i gian thu c tnh.
///
Tin x l d liu
Ti sao tin x l?
1. D liu th gii thc thng
o Khng y : thiu gi tr thuc tnh thiu cc thuc tnh nh!t nh "u#n t$% h&'c
ch( ch)# * liu t+ng h,-
o ./i c0 ch)# h&'c ng&1i l: 2n 3&
o 4 5hc 6it c0 ch)# tr&ng %7 89 h&'c t:n: 5hng -h; h,-
<. =hi% >? tr&ng ti@n AB lC * liu
o .3% 81ch * liu: i@n >3& cc gi tr 6 %!t tch * liu 2n 3& %n Ac nh h&'c l&1i
6D cc gi tr ng&1i l#i >3 giEi "uyt %$u thuFn.
o Gch h,- * liu: 8B *?ng nhi@u cH 8I * liu hJnh 5h9i * liu h&'c cc tK- tin.
o LhuyMn +i * liu: 6Jnh thng >3 tK- h,-.
o NiE% * liu: giE% 5h9i l,ng 8En Au!t nhng 5t "uE -h$n tch tHng t h&'c tHng
t.
o Oi r1c h0# * liu: %t -hn c# nPn * liu th#y th cc thuc tnh 89 >i nhng
ngi *#nh nghQ#.
Lm sch d liu
1. Ri@n >3& thiu gi tr Sthuc tnh h&'c gi tr l-T:
o UD "u# cc tu-lV: thng ,c thc hin 5hi nh7n l- l3 %!t tch.
o 4B *?ng thuc tnh c0 nghQ# l3 Sh&'c gi tr *#nh nghQ# lnT M i@n >3& cc gi tr 6
%!t tch.
o 4B *?ng thuc tnh c0 nghQ# l3 Sh&'c gi tr *#nh nghQ# -hn lnT ch& t!t cE cc %Fu
thuc c;ng %t l-.
o D &n gi tr 6 %!t tch 6Wng cch 8B *?ng %t thuKt t&n hXc: AV% APt cc thuc
tnh >i gi tr 6 %!t tch nh %t 6in -h? thuc Scl#88T >3 ch1y %t thuKt t&n hXc
Sthng l3 U#yV8 h&'c c$y "uyt nhT M * &n gi tr 6 %!t tch.
<. Yc nh gi tr ng&1i l#i >3 %n r# * liu 2n 3&:
o Uinning
4Z- A- cc gi tr thuc tnh >3 -h$n chi# ch[ng >3& th;ng rc SAV% \ri r1c c0
gi% 8t\ *i $yT]
4#u 0 %n 6Wng -hHng tin 6in 6in trung 6Jnh h&'c r#nh gii 6in.
o ^h$n nh0%: nh0% cc gi tr tr&ng cc c?% >3 8#u 0 -ht hin >3 l&1i 6D cc gi tr
ng&1i l#i St ng h&'c 6Wng t#yT
o _2i "uy: %,t %3 6Wng cch lZ- cc * liu >3& h3% h2i "uy.
`. D liu 5hng -h; h,- chnh Ac: 8B *?ng 5in th)c %i@n h&'c "uyt nh chuy:n gi#.
Chuyn i d liu
1. UJnh thng:
o Ni tr thuc tnh %I rng "uy % rHi >3& tr&ng %t -h1% >i "uy nh.
a *?: chuyMn +i V trong [min, max] >i V 'trong [0,1], - *?ng V' = (V-
Min) / (max-min)
o bI rng "uy % 6Wng cch 8B *?ng 6Jnh >3 lch chucn Shu ch 5hi %in >3 %#A l3
5hng rd h&'c 5hi c0 nhng gi tr ng&1i l#iT: V '= (V-trung bnh) / STDEV
<. G+ng h,-: *i chuyMn tr&ng h th9ng -h$n c!- 5hi ni% >@ thuc tnh 89.
`. G+ng "ut: *i chuyMn tr&ng h th9ng -h$n c!- 5hi ni% >@ thuc tnh *#nh nghQ#.
e. Y$y *ng thuc tnh: th#y th h&'c 6+ 8ung th:% cc thuc tnh %i 8uy r# 6Ii thuc tnh
hin c0.
Gim d liu
1. NiE% 89 l,ng cc thuc tnh
o Kh9i * liu t+ng h,-: - *?ng r&llfu- cZt nhD h&'c cc h&1t ng A[c AZc.
o .&1i 6D cc thuc tnh 5hng li:n "u#n: l# chXn thuc tnh SlXc >3 6#& 6Xc cc
-hHng -h-T tJ% 5i% 5hng gi#n thuc tnh SAV% U3i giEng g: -h$n tch thuc tnh
nh hngT.
o ^h$n tch th3nh -hn nguy:n tZc Sthuc tnh ch( 89T: tJ% 5i% %t 5hng gi#n chi@u
th!- t9t nh!t c0 thM 1i *in ch& * liu ..
<. NiE% 89 l,ng cc gi tr thuc tnh
o Uinning S6iMu 2T: giE% 89 l,ng cc thuc tnh 6Wng cch nh0% ch[ng >3& 5h&Eng
thi gi#n Sth;ngT.
o ^h$n nh0%: nh0% cc gi tr tr&ng c?%.
o G+ng h,- h&'c t+ng "ut
`. NiE% 89 l,ng cc 6 * liu
o .!y %Fu
!i "c # to "a h th$n% &h'n c(& )h*i nim
1. Oi r1c 5hng c0 gi% 8t f 6in l- hXc 5hng ,c 8B *?ng.
o UWngf5h&Eng SV"uihi*thT 6inning: chi# t&3n 6 -h1% >i c# cc 89 tr&ng 5h&Eng thi
gi#n c0 5ch thc 6Wng nh#u.
o UWng tn 89 SV"ui*V-thT 6inning: 5h&Eng thi gi#n 8B *?ng c0 ch)# 89 l,ng tHng
Hng gi tr.
<. Ni% 8t ri r1c f 8B *?ng cc gi tr c# cc 6in l- hXc.
o 4B *?ng r#nh gii l-. U# 6c 8#u:
4Z- A- cc gi tr.
R't cc iM% ngZt gi# cc gi tr thuc cc l- 5hc nh#u.
=u c0 "u nhi@u 5h&Eng thi gi#n 5t h,- >i 5h&Eng thi gi#n -h$n -h9i c!-
6Wng h&'c tHng t.
o intr&-y Sthng tinT *# tr:n ri r1c. a *?:
Ghng tin tr&ng %t l- -h$n:
UiMu th %t tK- h,- cc nj% gi tr Au!t hin tr&ng 6 * liu thuc h#i
l- Sk >3 fT nh [, , , -, -]
R0 l3 ln u ti:n ` thuc >@ \k\ 6 * liu >3 cu9i c;ng < f ch& \f\
tu-lV8
4#u 0 Th!ng tin ([, , , -, -]) = - ("/#) $ %og ("/#) - (&/#) $
%og (&/#) S6En ghi cH 8I <T
`lg >3 <lg l3 tn 89 tHng 9i SAc 8u!tT
UD "u# th) t c# cc gi tr ch[ng t# c0 thM 8B *?ng cc 5C hiu 8#u
$y: [",&] C nghQ# ` gi tr tm %t l- >3 < f tm 5hc.
Sau '(, Th!ng tin ([",&]) = - ("/#) $ %og ("/#) - (&/#) $ %og
(&/#)
Ghng tin tr&ng %t 8 chi# rn (&/# )* "/# %* +,+ h- ./ tr0ng %12ng)3
Th!ng tin ([ ], [, -, -]) = (&/#) $ Th!ng tin ([ ]) ("/#) $
Th!ng tin ([, -, -])
4o5+, Th!ng tin ([&,0], [1,&]) = (&/#) $ Th!ng tin ([&,0]) ("/#)
$ Th!ng tin ([1,&])
^hHng -h-:
4Z- A- cc gi tr]
Gnh t&n thng tin tr&ng t!t cE c0 thM chi# tch]
LhXn -h$n chi# giE% thiMu thng tin]
Khng 6#& g2% cc iM% ngZt gi# cc gi tr thuc c;ng l- Si@u n3y 8n
tjng cng thng tinT]
o- *?ng c;ng >i 5h&Eng thi gi#n ch& n 5hi 5t "uE l3 %t 89 ti:u ch
*mng l1i ,c h3i lpng.
`. G1& r# h th9ng -h$n c!- 5hi ni%: "uy - *?ng -hHng -h- -h$n >;ng h&'c ri r1c.
Cu 2:
Tm l c n i dung:
N i dung chnh c a bi ny l trnh by t ng quan v DATA WAREHOUSE (DWH) g m nh ngh a, c tnh, l i ch, $
xu h ng t ng lai, ki n trc, t ch c l gc, t ch c v t l c a DWH.
1. nh ngh a kho d li u % $
nh % ngh a $ do W.H. Inman x ng: DATA WAREHOUSE (DWH) c hi u l m t t p h p cc d li u t ng i #
n nh (khng hay thay i), c p nh t theo th i gian, c tch h p theo h ng ch nh m h tr qu trnh t o "
quy t nh v m t qu n l.

OLTP so vi OLAP
Chng ta c th phn chia h thng CNTT vo giao !"ch #OLTP$ v phn t%ch #OLAP$& Ni
chung chng ta c th gi' ("nh )*ng c+c h thng OLTP cung c,p ngu-n !. /iu v0 1ho !.
/iu2 t)ong 1hi h thng OLAP gip ( phn t%ch n&
3 OLTP (trc tuyn x l giao dch) (45c (6c t)4ng 78i 9:t s /45ng /n c+c giao !"ch t);c
tu<=n ng>n #?N@ABT2 CPDATA2 DALATA$& @; nh,n 9Enh ch%nh cho c+c h thng OLTP (45c
(4a vo FG /H t)u< v,n ),t nhanh2 !u< t)I t%nh ton vJn !. /iu t)ong c+c 9Ki t)4Lng (a t)u<
cMp v hiu Nu' (45c (o 7*ng s /45ng giao !"ch 9Oi gi<& T)ong cP s8 !. /iu OLTP c !.
/iu chi ti=t v hin tEi2 v sP (- (45c sG !Qng ( /4u t). cP s8 !. /iu giao !"ch / 9K hInh
th;c th #th4Lng / RNS$&
3 OLAP (trc tuyn x l phn tch) (45c (6c t)4ng 78i 1hi /45ng giao !"ch t4Png (i
th,p& T)u< v,n th4Lng ),t phTc tEp v /iUn Nuan (=n c+c 1=t h5p& Vi vi h thng OLAP thLi
gian (+p Tng / 9:t 7in ph+p hiu Nu'& Wng !Qng OLAP (45c sG !Qng ):ng )Xi 78i c+c 1Y
thuMt 1hai th+c !. /iu& T)ong cP s8 !. /iu OLAP c tZng h5p2 !. /iu /"ch sG2 (45c /4u t).
t)ong /45c (- (a chi0u #th4Lng / gi'n (- sao$&
['ng sau (< t9 t>t s; 1h+c 7it /n gi.a OLTP v thi=t 1= h thng OLAP&
H thng OLTP
X l giao dch trc tuyn
(H thng hot ng
H thng OL!P
X l "h#n t$ch trc tuyn
(%ho d& liu
Ngu-n !.
/iu
D. /iu hoEt (:ng\ OLTPs / ngu-n gc c]a !.
/iu&
D. /iu h5p nh,t\ OLAP !. /iu (=n t^ c+c cP s8 !.
/iu OLTP 1h+c nhau
_Qc (%ch
c]a !. /iu
V 1i9 so+t v chE< c+c nhi9 vQ 1inh !oanh
cP 7'n
V gip /Mp 1= hoEch2 gi'i Nu<=t v,n (02 v hO t)5
Nu<=t ("nh
Nh.ng !.
/iu
Cho th,< 9:t 7'n chQp c]a c+c Nu+ t)Inh 1inh
!oanh /iUn tQc
NhIn (a chi0u c]a c+c /oEi 1h+c nhau c]a hoEt (:ng
1inh !oanh
Ch`n v
cMp nhMt
Ch`n ng>n v nhanh chng cMp nhMt v 1h8i
F4ng 78i ng4Li !ang cui
CKng vic hng /oEt !i chE< ("nh 1b /9 9i !. /iu
T)u< v,n
T)u< v,n t4Png (i chucn ha v (Pn gi'n dua<
t)8 /Ei t4Png (i %t h- sP
C+c t)u< v,n th4Lng phTc tEp /iUn Nuan (=n c+c 1=t
h5p
Tc (: FG
/H
Th4Lng ),t nhanh
PhQ thu:c vo s /45ng !. /iu c /iUn Nuan2 /9 9i
!. /iu hng /oEt v t)u< v,n phTc tEp c th 9,t nhi0u
giL2 tc (: t)u< v,n c th (45c c'i thin 7*ng c+ch
tEo )a c+c che s
fUu cgu
1hKng gian
C th t4Png (i nhh n=u !. /iu /"ch sG (45c
/4u t).
Ln hPn !o s; t-n tEi c]a c+c c,u t)c tMp h5p v !.
/iu /"ch sG2 (ii hhi che s hPn OLTP
Thi=t 1=
cP s8 !.
/iu
B,t 7Inh th4Lng vi nhi0u 7'ng
Th4Lng !j37Inh th4Lng ha vi c+c 7'ng %t hPn2 sG
!Qng c+c ngKi sao v / ho6c 7Kng tu<=t /45c (-
@ao /4u v
phQc h-i
@ao /4u tKn gi+o\ !. /iu hoEt (:ng / ),t Nuan
t)kng ( (i0u hnh 1inh !oanh2 9,t !. /iu c
1h' nlng g< thit hEi ti0n t Nuan t)kng v t)+ch
nhi9 ph+p /H
Tha< vI sao /4u th4Lng Fu<Un2 9:t s 9Ki t)4Lng c
th Fj9 Fmt che (Pn gi'n / t'i /Ei !. /iu OLTP nh4
9:t ph4Png ph+p phQc h-i