-1B GIO DC V O TO

I HC NNG

T TH I NHI

PHT HIN V THEO VT NGI

T D LIU VIDEO

Chuyn ngnh : KHOA HC MY TNH

M s

: 60.48.01

TM TT LUN VN THC S K THUT

Nng - Nm 2012

-2Cng trnh c hon thnh ti

I HC NNG

Ngi hng dn khoa hc: TS. Hunh Hu Hng

Phn bin 1 : TS. Hunh Cng Php

Phn bin 2 : PGS.TS. on Vn Ban

Lun vn c bo v ti Hi ng chm Lun vn

tt nghip thc s k thut hp ti i hc Nng vo ngy 04
thng 03 nm 2012

C th tm hiu lun vn ti:

Trung tm Thng tin - Hc liu, i hc Nng

Trung tm Hc liu, i hc Nng

-3-

M U
1. L do chn ti
Vi s pht trin nhanh chng ca cc loi my mc hin i
nh my nh s, my quay phim k thut s, my vi tnh, in thoi
i ng,v.v th lng thng tin con ngi thu c di dng
hnh nh l kh ln. lng thng tin ny tr nn c ch hn con
ngi cn phi tin hnh x l n v t to iu kin cho s pht
trin khng ngng ca cc k thut x l hnh nh. X l nh l mt
trong nhng cng ngh c ng dng rng ri hin nay trong nhiu
lnh vc ca i sng x hi. Khng ch dng li vic x l nhng
vt nho, ti ch v phc hi cc nh c, ngy nay cng ngh x l
nh mang li nhng tin b vt bc nh nhn dng vn tay,
nhn dng khun mt, nhn dng i tng khi n kt hp vi lnh
vc tr tu nhn to.
Bn cnh , h thng camera quan st ngy cng c s
dng mt cch rng ri vi mc ch h tr an ninh cho cc ca
hng, cng ty, ngn hng,..v.v. Nhng cc camera ny ch c kh
nng lu gi cc d liu video v chng ta cn tn thm chi ph
thu cc nhn vin bo v quan st v pht hin khi c ngi
no xm nhp.
Hin nay trn th gii cng c mt s ng dng cng nh
nghin cu v vic gim st h tr an ninh. Tuy nhin nhng nghin
cu ny pht trin ring l, cha tnh hp c vi nhau to
thnh mt h thng gim st hon chnh v gi thnh cho cc ng
dng th cn kh cao.

-4T yu cu thc t c t ra, vic xy dng mt h thng

pht hin v theo vt (tracking) ngi t d liu video thu c
thng qua h thng camera quan st vi s h tr ca k thut theo
vt trong lnh vc th gic my tnh (computer vision) l mt iu
cn thit.
2. Mc tiu v nhim v nghin cu
Mc ch ca ti nhm nghin cu cc thut ton pht hin
v theo vt mt khun mt ngi ang chuyn ng t d liu
video, t xy dng chng trnh h tr vi cc chc nng sau:
-

Pht hin khun mt ngi v thc hin cnh bo bng m

thanh thng bo khi c mt hoc nhiu ngi i vo v tr
quan st ca camera c bit ti nhng ni bo mt gii hn
ngi ra vo trong vn phng cng ty, ngn hng,...v.v

Theo vt khun mt mt ngi ngi t d liu video hoc

truyn t camera thng qua thut ton theo vt Meanshift.

Thng k s lng ngi i vo vn phng, ca hng, ngn

hng,v.v thng qua d liu video hoc t camera quan
st.
Bn cnh ti cn mong mun gip cho mi ngi c

mt ci nhn ton din hn v vai tr v kh nng ng dng ca

cng ngh x l nh vo trong thc t ca i sng x hi.
3. i tng v phm vi nghin cu

i tng nghin cu
Trong bi ton ny, d liu c x l l on video c
quay t mt camera tnh v ghi li vi chun AVI (Audio Video
Interleave).

Phm vi nghin cu

-5Phm vi nghin cu ca ti lin quan n lnh vc x l

nh s thng qua vic s dng b th vin m OpenCV (Open
Computer Vision).
4. Phng php nghin cu

Phng php nghin cu l thuyt
-

Tm hiu cch lp trnh vi th vin OpenCV.

Tm hiu phng php AdaBoost kt hp vi cc c trng

Haar-like pht hin khun mt.

Tm hiu phng php tr nn (background subtraction)

pht hin chuyn ng,

Tm hiu thut ton theo vt Meanshift v Camshift.

Phng php nghin cu thc nghim

-

Tin hnh phn tch v ci t: thut ton tr nn pht

hin chuyn ng, thut ton pht hin v theo vt khun
mt ngi t d liu video.

So snh v nh gi kt qu t c.

5. Kt qu d kin
-

Nm vng v ci t thnh cng cc thut ton: pht hin

chuyn ng bng phng php tr nn, pht hin khun
mt, theo di khun mt trong video

Xy dng c chng trnh h tr 3 chc nng: cnh

bo ngi bng m thanh, theo vt khun mt bng thut
ton Meanshift v m s ngi ra vo ta nh t d liu
video.

To c bng so snh kt qu, chnh xc ca cc

phng php pht hin v theo vt i tng chuyn ng
da trn tp cc video c sn.

-66. ngha khoa hc v thc tin ca lun vn

V mt l thuyt
-

ng dng thnh cng cng ngh x l nh vo trong thc

t.

To tin cho nhng nghin cu tip theo trong tng lai.

V mt thc tin
-

Cung cp cc thut ton h tr cho iu khin rbt, cc

thit b pht hin v nhn dng khun mt ngi.

Gip gim gi thnh cho cng tc bo v v bo mt.

Thng k c s lng khch hng mi ngy t c

nhng chin lc thch hp trong vic pht trin cc chin
lc kinh doanh trong tng lai.

To tin cho vic xy dng c s d liu nhn dng

khch hng mt cch t ng thng qua khun mt.

7. B cc lun vn
Ni dung ca lun vn c chia thnh cc phn nh sau:

M u

Chng 1: Nghin cu tng quan

Chng 2: nh gi cc thut ton v xy dng cc chc
nng chnh

Chng 3: Ci t v kt qu

Kt lun v hng pht trin

Ph lc

-7-

CHNG 1: NGHIN CU TNG QUAN

1.1. TNG QUAN V CAMERA S
1.1.1.

Khi nim v camera s

Camera l mt thit b ghi hnh c th ghi li c nhng

hnh nh trong mt khong thi gian no v lu tr cc d liu

hnh nh .
1.1.2.

Phn loi camera s

1.1.2.1. Phn loi theo k thut hnh nh

1.1.2.2. Phn loi theo ng truyn
1.1.2.3. Phn loi theo tnh nng s dng
1.1.3.

H thng camera quan st

1.2. TNG QUAN V VIDEO

1.2.1.

Khi nim v video

Thut ng video dng ch ngun thng tin hnh nh trc

quan (pictorial visual information), bao gm mt chui cc nh tnh

(still image) lin tip nhau, c sp xp theo chiu thi gian
1.2.2.

Video s

1.2.2.1. Tn hiu video s

1.2.2.2. u v nhc im ca video s
1.2.2.3. Chun video s AVI
Theo wikipedia, Audio Video Interleave (AVI) l mt a
phng tin nh dng container ca Microsoft c gii thiu vo
thng 11 nm 1992. AVI l tp tin c th cha c m thanh v video
d liu trong mt container cho php ng b tp tin m thanh vi
video.

-81.3. CC PHNG PHP TR NN PHT HIN I

TNG
1.3.1.

Tng quan v pht hin i tng

1.3.2.

Gii thiu v phng php tr nn

tng chung ca cc phng php tr nn l: pht hin

ra c cc i tng chuyn ng trong video chng ta phi c

c m hnh nn (background). M hnh nn ny c th c hc
qua nhiu frame nh nu nn b thay i, ngc li ta c th chn
mt nn c sn nu nn khng b thay i. Sau , ta s dng m
hnh nn ny so snh vi frame nh hin ti v kt qu l ta s
nhn bit c u l vng phn nn, u l cc phn chuyn ng.
1.3.3.

Frame Difference

1.3.3.1. Thut ton ci t

1.3.3.2. u im
1.3.3.3. Nhc im
1.3.4.

Running Gaussian Average

1.3.4.1. Thut ton ci t

1.3.4.2. u im
1.3.4.3. Nhc im
1.3.5.

Codebook

1.3.5.1. Thut ton ci t

1.3.5.2. u im
1.3.5.3. Nhc im
1.4. PHNG PHP PHT HIN KHUN MT NGI
1.4.1.

Tng quan v pht hin ngi

-91.4.2.

Pht hin khun mt ngi

1.4.2.1. Gii thiu

1.4.2.2. Cc phng php pht hin khun mt ngi
1.4.2.3. c trng Haar-like
1.4.2.4. AdaBoost
1.4.2.5. H thng xc nh v tr khun mt ngi
1.4.2.6. Thut ton xc nh khun mt ngi

- 10 -

Load image
Chuyn image thnh grey image

Load file d liu haarcascade

Ngc li
Load thnh cng
Gi hm cvHaarDetectObjects()
ly n s khun mt c trong image
Ngc li
n>0
i=0
Ngc li
i<n
V hnh ch nht c vin mu
cho tng khun mt

i = i +1
Xa tt c i tng to ra

Hnh 1.14 S thut ton xc nh khun mt ngi

- 11 1.5. CC PHNG PHP THEO VT I TNG

1.5.1.

Gii thiu
Theo vt i tng l gim st cc thay i theo khng gian

v thi gian ca i tng trong sut chui video nh v tr, kch

thc hoc hnh dng ca i tng.
1.5.2.

Phng php Meanshift

1.5.2.1. M t
Meanshift l mt thut ton dch chuyn quy mt im d
liu n trung bnh ca cc im d liu ti vng ln cn ca n,
tng t nh vic gom cc im d liu li to thnh mt nhm.
1.5.2.2. Hm cvMeanshift trong OpenCV
1.5.3.

Phng php Camshift

1.5.3.1. M t
Mt thut ton theo vt khc c pht trin t Meanshift l
Camshift (Continue Adaptive Mean-shift). V c bn, thut ton ny
ging vi Meanshift tuy nhin vi Camshift, window tm kim c
th t iu chnh kch thc.
1.5.3.2. Hm cvCamshift trong OpenCV

- 12 -

CHNG 2: NH GI CC THUT TON

V XY DNG CC CHC NNG CHNH
2.1. NH GI CC THUT TON
2.1.1.

Cc thut ton tr nn pht hin i tng

Hnh 2.1 Kt qu vi Frame Difference trn Video1

Hnh 2.2 Kt qu vi Running Gaussian Average trn Video1

- 13 -

Hnh 2.3 Kt qu vi Codebook trn Video1

2.1.2.

Thut ton pht hin khun mt ngi

Bng 2.2 Kt qu chy thut ton xc nh khun mt

Tn nh

Kch
thc nh

S ngi
dectect

S ngi
thc

chnh
xc

Image 1.jpg

768x510

14

13

93%

Image 2.jpg

810 x 538

11

11

100%

Image 3.jpg

640x480

100%

Image 4.jpg

525x410

10

90%

Image 5.jpg

768x511

21

17

80%

- 14 -

Hnh 2.14 Kt qu xc nh khun mt vi Image2

2.1.3. Cc phng php theo vt i tng
on Video1.avi c 1220 frame kch thc 320x240, c 2
ngi ang i qua li trong phng v c khun mt hng v pha
camera vi nh sng va phi ca n in. Kt qu ca theo vt
c th hin nh Hnh 2.18 v Hnh 2.19. V video ny c quay
ng vi iu kin t ra ca bi ton (camera cch i tng di
chuyn mt khong cch c nh, nh sng trong phng va ) nn
chnh xc ca vic theo vt ca 2 phng php hon ton ging
nhau.

Hnh 2.18 Kt qu theo vt vi Meanshift trn Video1

- 15 -

Hnh 2.19 Kt qu theo vt vi Camshift trn Video1

2.2. XY DNG CC CHC NNG CHNH
Trong chng trnh m ta thit k, d liu c x l s l
on video c quay t mt camera tnh, ghi li vi chun AVI vi
iu kin nh sng tt v nn khng thay i. Nu d liu c
dng cho vic cnh bo ngi hoc theo vt khun mt th camera
s c t trc ca ra vo sao cho c th thu c cc khun mt
t pha trc (khong cch t camera n khun mt khong 2-5m).
Nu d liu c dng cho vic m s ngi th camera c t
vi mt khong cch c nh (khong 2m) so vi nn nh ti ca ra
vo ca mt ta nh. T d liu video, chng trnh cung cp mt
cc chc nng sau:
-

Thc hin cnh bo bng m thanh thng bo cho ngi

dng khi pht hin khun mt ngi trong video.

Pht hin v theo vt mt khun mt ngi trong video.

Thng k s lng ngi i vo v ra khi to nh trong

video.

2.2.1.

Chc nng cnh bo bng m thanh

2.2.1.1. M t chc nng

H thng cung cp chc nng pht hin khun mt ngi v
cnh bo bng m thanh gip cho ngi dng c th pht hin c
c k l t nhp vo ta nh.

- 16 2.2.1.2. Thut ton x l

c gi tr tng frame
t video file hoc camera
Ngc li
frame != NULL
c gi tr ca frame v
lu vo trong bin image

Gi hm detectface() pht hin v nh du

khun mt ngi
Ngc li
C ngi xut hin
Play tp tin alarm.wav cnh bo
Hy cc i tng to

Hnh 2.25 Thut ton x l cho chc nng cnh bo

- 17 2.2.1.3. Kt qu
on video Video1.avi c 200 frame kch thc 320x240 v
c 2 ngi ang ni chuyn, 1 ngi c khun mt hng v pha
camera vi nh sng trong phng ca n in. Chng trnh c th
pht hin ra khun mt ca c gi ang hng v pha camera nh
Hnh 2.26.

Hnh 2.26 Kt qu cnh bo vi Video1

2.2.2.

Chc nng theo vt khun mt ngi

2.2.2.1. M t chc nng

Mt trong cc chc nng tip theo ca chng trnh l chc
nng theo vt khun mt ngi trong video. Chc nng ny gip
cho ngi s dng c th theo di s xut hin ca khun mt mt
ngi no trong ton b on video c quay li hoc theo di
trc tip thng qua camera.
2.2.2.2. Thut ton x l

- 18 -

c d liu t video/camera

frame = 0
Ngc li
frame < tng s frame
trong video
Pht hin khun mt trong frame
Ngc li
S khun mt > 0
Ly khun mt uNgc
tin cli
c

Theo vt khun mt vi Meanshift

Hnh 2.30. Thut ton theo vt mt khun mt

2.2.2.3. Kt qu
on video Video1.avi c 1083 frame kch thc 640x360 v
c 1 ngi ang ni khun mt hng v pha camera vi nh sng
ca n in. Chng trnh c th pht hin ra khun mt ca ngi
v thc hin vic theo di khun mt trong ton b video nh
Hnh 2.31.

- 19 -

Hnh 2.31 Kt qu theo vt 1 khun mt vi Video1

2.2.3.

Chc nng m s ngi vo ta nh

2.2.3.1. M t chc nng

Vic thng k c s lng khch hng t d liu video l
mt iu cn thit cho chin lc kinh doanh ca mi cng ty. V
th, chng trnh cung cp thm chc nng ny gip cho ngi
dng c th thng k gn ng s lng khch ti vn phng
giao dch mi ngy. iu ny s lm c s cng ty c th ra
nhng chin lc thch hp trong vic pht trin cho tng lai.
2.2.3.2. Thut ton x l
Thut ton x l bao gm vic lp li 3 bc sau vi mi
frame trong video.
Bc 1:
-

Dng phng php tr nn ly nhng phn chuyn ng

bng cch so snh frame hin ti vi frame u tin

Chuyn nh thnh nh xm v thc hin kh nhiu bng

cch loi b bng.

Bc 2:
-

Tnh ton cc thnh phn ca nh xc nh hng di

chuyn ca i tng l vo hay ra bng vic s dng hm
cvCalcGlobalOrientation(). Nu gi tr ca gc dch chuyn
0

t 0-180 th xc nh i tng ang i vo, ngc li th

i tng ang i ra.

- 20 -

Vi mi i tng di chuyn (connected component) s

c nh du bi mt hnh ch nht mu vng v mt
dng mu xc nh hng di chuyn ca i tng

Bc 3: Da vo kt qu hng di chuyn ca i tng trong

Bc 2, ta c th tnh tng c s lng i vo v ra khi ta
nh.
2.2.3.3. Kt qu
on video Video1.avi c 2946 frame vi kch thc
384x288 v c 34 ngi ln lt i qua ca ra vo vi nh sng bnh
thng. Kt qu ca vic m s ngi c th hin nh Hnh
2.36.

Hnh 2.36 Kt qu m ngi vi Video1

- 21 -

CHNG 3: CI T V KT QU
3.1. CI T CHNG TRNH
3.1.1.

Yu cu h thng

3.1.2.

Ci t

3.2. KT QU MINH HA
Sau khi chng trnh khi ng, mn hnh chnh ca chng
trnh hin ra nh Hnh 3.1.

Hnh 3.1. Giao din chnh

Hnh 3.2. Chc nng cnh bo bng m thanh

- 22 -

Hnh 3.3. Chc nng theo vt khun mt ngi

Hnh 3.4. Chc nng m s ngi i vo ta nh

3.3. IU KIN RNG BUC CA CHNG TRNH
chng trnh c th hot ng v cho kt qu chnh xc th
cn phi tha mn mt s iu kin sau:
-

Nn ca video khng c thay i

- 23 -

Camera c dng quay video phi t v tr c nh,

pha trn ca ra vo v khong cch vi ngi duy chuyn
khong 1.5m n 2m i vi chc nng m ngi ra vo
ta nh

Camera c dng quay video phi t v tr c nh v

pha trc khun mt ca ngi ra vo vi khong cch
khong 0.5m n 1m i vi chc nng cnh bo ngi
bng m thanh

nh sng trong video phi n nh, khng qu ti hoc qu

sng th cc chc nng s lm vic chnh xc hn.

Chng trnh s lm vic chnh xc hn vi cc video mu.

3.4. NH GI KT QU CHNG TRNH

Sau khi thc nghim trn khong 40 video mu, nu chng
trnh hot ng nh cc iu kin rng buc chng 3.3 th n s
mang li chnh xc kh cao.
-

chnh xc ca chc nng cnh bo bng m thanh

khong 90%

chnh xc ca chc nng theo vt khun mt khong

80%

chnh xc ca chc nng m s ngi ra vo ta nh

khong 88%
T kt qu ny, ta c th thy rng chng trnh c kh nng

trin khai trong thc t. Tuy nhin, trong tng lai chng trnh
cn c mt s ci tin thm tng chnh xc ca cc chc nng
hn na.

- 24 -

KT LUN V HNG PHT TRIN

1. Kt lun

V mt l thuyt
-

Tm hiu v s dng thnh tho th vin OpenCV trn nn

Microsoft Visual Studio 2008.

Tm hiu c cc khi nim c bn v video v camera s.

Tm hiu c cc thut ton v pht hin chuyn ng

bng phng php tr nn: Frame Differrence, Running
Gausian Average v Codebook.

Tm hiu c phng php pht hin khun mt ngi

bng k thut Haar kt hp AdaBoost.

Tm hiu c cc phng php theo vt: Meanshift,

Camshift.

Tm hiu c cch thc m c s lng ngi ra vo

trong mt ta nh.

V mt thc tin
V c bn, ti hon thnh c cc chc nng c t
ra nh yu cu ban u nh:
-

Pht hin c phn chuyn ng qua tng frame ca video.

Pht hin v nh du thnh cng tt c cc khun mt

ngi trong nh tnh bng vic kt hp gia cc c trng
Haar-like vi b phn loi mnh AdaBoost.

Hon thnh chc nng cnh bo ngi bng cch s dng

m thanh.

Hon thnh c chc nng theo vt khun mt ca mt

ngi trong trong video gip ch cho vic theo di cng nh

- 25 lu d liu khun mt nhm to c s d liu phc v cho

vic nhn dng ngi t ng sau ny.
-

Hon thnh c chc nng m s ngi ra vo ta nh t

d liu video thu c thng qua camera, gip ch cho vic
thng k s khch hng vo giao dch ti ca hng.

S dng thnh cng cc cng c phc v cho vic x l

video nh Motion Video, FLV Converter chuyn i cc
nh dng video khc nhau v nh dng AVI d dng
cho vic thao tc bng th vin OpenCV.

2. Phm vi ng dng
ti c th c ng dng trong cng tc bo mt ti cc
ca hng cng ty, gip tit kim c chi ph thu bo v v hiu
qu kh co trong vic pht hin chuyn ng, theo di v nhn
dng ngi chuyn ng t d liu video.
Bn cnh ti cn to nn tng cho nhng nghin cu v
cm quan my tnh ni ring v x l nh ni chung trong tng lai.
3. Hn ch
Bn cnh nhng kt qu t c, ti vn cn c mt s
hn ch cn phi c khc phc nh:
-

Tc x l ca chng trnh cn chm khi x l nhng

video c phn gii cao v kch thc ln.

Vic pht hin khun mt ngi c th b sai trong trng

hp mt s i tng trong video c hnh dng gn ging
vi khun mt ngi.

- 26 -

Chc nng m s ngi ra vo ch m da trn chiu di

chuyn ca cc i tng chuyn ng ra vo, khng phn
bit l ngi hay l vt.

4. Hng pht trin

Trong qu trnh thc hin ti, do nhng hn ch v trnh
v thi gian thc hin ti c hn, chng trnh c xy dng ch
l phn demo cc thut ton pht hin chuyn ng, pht hin khun
mt v theo vt i tng da vo video. trin khai trong thc t
n i hi cn phi ci tin hn na. Hy vng trong tng lai, nhng
pht trin di y s gip ti hon thin hn.
-

Kt hp vic pht hin khun mt vi vic pht hin mt,

pht hin hnh dng ca con ngi.

Xy dng c thut ton ci thin cht lng ca video

nh loi tr nhiu, loi tr bong v ti u ha cc thut ton
tng tc ca chng trnh.

H tr cc ty chn gip ngi dng c th iu chnh

khong cch gia camera v i tng ty thuc vo cu
trc ca ta nh m h s dng t camera quan st.

X l c vic che lp i tng nhm to kt qu chnh

xc cao hn cho cho chc nng theo di khun mt ngi.

M rng thm thut ton Camshift c th theo di c

nhiu i tng trong video cng lc v thc hin m c
tng s ngi xut hin trong video thng qua chc nng
ny.

Xy dng c s d liu gip nhn dng khch hng mt

cch t ng thng qua khun mt.