-1B GIO DC V O TO I HC NNG

T TH I NHI

PHT HIN V THEO VT NGI T D LIU VIDEO

Chuyn ngnh : KHOA HC MY TNH M s : 60.48.01

TM TT LUN VN THC S K THUT

Nng - Nm 2012

-2Cng trnh c hon thnh ti I HC NNG

Ngi hng dn khoa hc: TS. Hunh Hu Hng

Phn bin 1 : TS. Hunh Cng Php

Phn bin 2 : PGS.TS. on Vn Ban

Lun vn c bo v ti Hi ng chm Lun vn tt nghip thc s k thut hp ti i hc Nng vo ngy 04 thng 03 nm 2012

C th tm hiu lun vn ti: Trung tm Thng tin - Hc liu, i hc Nng Trung tm Hc liu, i hc Nng

-3-

M U
1. L do chn ti Vi s pht trin nhanh chng ca cc loi my mc hin i nh my nh s, my quay phim k thut s, my vi tnh, in thoi i ng,v.v th lng thng tin con ngi thu c di dng hnh nh l kh ln. lng thng tin ny tr nn c ch hn con ngi cn phi tin hnh x l n v t to iu kin cho s pht trin khng ngng ca cc k thut x l hnh nh. X l nh l mt trong nhng cng ngh c ng dng rng ri hin nay trong nhiu lnh vc ca i sng x hi. Khng ch dng li vic x l nhng vt nho, ti ch v phc hi cc nh c, ngy nay cng ngh x l nh mang li nhng tin b vt bc nh nhn dng vn tay, nhn dng khun mt, nhn dng i tng khi n kt hp vi lnh vc tr tu nhn to. Bn cnh , h thng camera quan st ngy cng c s dng mt cch rng ri vi mc ch h tr an ninh cho cc ca hng, cng ty, ngn hng,..v.v. Nhng cc camera ny ch c kh nng lu gi cc d liu video v chng ta cn tn thm chi ph thu cc nhn vin bo v quan st v pht hin khi c ngi no xm nhp. Hin nay trn th gii cng c mt s ng dng cng nh nghin cu v vic gim st h tr an ninh. Tuy nhin nhng nghin cu ny pht trin ring l, cha tnh hp c vi nhau to thnh mt h thng gim st hon chnh v gi thnh cho cc ng dng th cn kh cao.

-4T yu cu thc t c t ra, vic xy dng mt h thng pht hin v theo vt (tracking) ngi t d liu video thu c thng qua h thng camera quan st vi s h tr ca k thut theo vt trong lnh vc th gic my tnh (computer vision) l mt iu cn thit. 2. Mc tiu v nhim v nghin cu Mc ch ca ti nhm nghin cu cc thut ton pht hin v theo vt mt khun mt ngi ang chuyn ng t d liu video, t xy dng chng trnh h tr vi cc chc nng sau: Pht hin khun mt ngi v thc hin cnh bo bng m thanh thng bo khi c mt hoc nhiu ngi i vo v tr quan st ca camera c bit ti nhng ni bo mt gii hn ngi ra vo trong vn phng cng ty, ngn hng,...v.v Theo vt khun mt mt ngi ngi t d liu video hoc truyn t camera thng qua thut ton theo vt Meanshift. Thng k s lng ngi i vo vn phng, ca hng, ngn hng,v.v thng qua d liu video hoc t camera quan st. Bn cnh ti cn mong mun gip cho mi ngi c mt ci nhn ton din hn v vai tr v kh nng ng dng ca cng ngh x l nh vo trong thc t ca i sng x hi. 3. i tng v phm vi nghin cu i tng nghin cu Trong bi ton ny, d liu c x l l on video c quay t mt camera tnh v ghi li vi chun AVI (Audio Video Interleave). Phm vi nghin cu

-5Phm vi nghin cu ca ti lin quan n lnh vc x l nh s thng qua vic s dng b th vin m OpenCV (Open Computer Vision). 4. Phng php nghin cu Phng php nghin cu l thuyt Tm hiu cch lp trnh vi th vin OpenCV. Tm hiu phng php AdaBoost kt hp vi cc c trng Haar-like pht hin khun mt. Tm hiu phng php tr nn (background subtraction) pht hin chuyn ng, Tm hiu thut ton theo vt Meanshift v Camshift. Phng php nghin cu thc nghim Tin hnh phn tch v ci t: thut ton tr nn pht hin chuyn ng, thut ton pht hin v theo vt khun mt ngi t d liu video. So snh v nh gi kt qu t c. Nm vng v ci t thnh cng cc thut ton: pht hin chuyn ng bng phng php tr nn, pht hin khun mt, theo di khun mt trong video Xy dng c chng trnh h tr 3 chc nng: cnh bo ngi bng m thanh, theo vt khun mt bng thut ton Meanshift v m s ngi ra vo ta nh t d liu video. To c bng so snh kt qu, chnh xc ca cc phng php pht hin v theo vt i tng chuyn ng da trn tp cc video c sn. 5. Kt qu d kin

-66. ngha khoa hc v thc tin ca lun vn V mt l thuyt ng dng thnh cng cng ngh x l nh vo trong thc t. To tin cho nhng nghin cu tip theo trong tng lai. V mt thc tin Cung cp cc thut ton h tr cho iu khin rbt, cc thit b pht hin v nhn dng khun mt ngi. Gip gim gi thnh cho cng tc bo v v bo mt. Thng k c s lng khch hng mi ngy t c nhng chin lc thch hp trong vic pht trin cc chin lc kinh doanh trong tng lai. To tin cho vic xy dng c s d liu nhn dng khch hng mt cch t ng thng qua khun mt. 7. B cc lun vn Ni dung ca lun vn c chia thnh cc phn nh sau: M u Chng 1: Nghin cu tng quan Chng 2: nh gi cc thut ton v xy dng cc chc nng chnh Chng 3: Ci t v kt qu Kt lun v hng pht trin Ph lc

-7-

CHNG 1: NGHIN CU TNG QUAN

1.1. TNG QUAN V CAMERA S 1.1.1. Khi nim v camera s Camera l mt thit b ghi hnh c th ghi li c nhng hnh nh trong mt khong thi gian no v lu tr cc d liu hnh nh . 1.1.2. Phn loi camera s

1.1.2.1. Phn loi theo k thut hnh nh 1.1.2.2. Phn loi theo ng truyn 1.1.2.3. Phn loi theo tnh nng s dng 1.1.3. H thng camera quan st

1.2. TNG QUAN V VIDEO 1.2.1. Khi nim v video Thut ng video dng ch ngun thng tin hnh nh trc quan (pictorial visual information), bao gm mt chui cc nh tnh (still image) lin tip nhau, c sp xp theo chiu thi gian 1.2.2. Video s

1.2.2.1. Tn hiu video s 1.2.2.2. u v nhc im ca video s 1.2.2.3. Chun video s AVI Theo wikipedia, Audio Video Interleave (AVI) l mt a phng tin nh dng container ca Microsoft c gii thiu vo thng 11 nm 1992. AVI l tp tin c th cha c m thanh v video d liu trong mt container cho php ng b tp tin m thanh vi video.

-81.3. CC PHNG PHP TR NN PHT HIN I TNG 1.3.1. 1.3.2. Tng quan v pht hin i tng Gii thiu v phng php tr nn tng chung ca cc phng php tr nn l: pht hin ra c cc i tng chuyn ng trong video chng ta phi c c m hnh nn (background). M hnh nn ny c th c hc qua nhiu frame nh nu nn b thay i, ngc li ta c th chn mt nn c sn nu nn khng b thay i. Sau , ta s dng m hnh nn ny so snh vi frame nh hin ti v kt qu l ta s nhn bit c u l vng phn nn, u l cc phn chuyn ng. 1.3.3. Frame Difference

1.3.3.1. Thut ton ci t 1.3.3.2. u im 1.3.3.3. Nhc im 1.3.4. Running Gaussian Average

1.3.4.1. Thut ton ci t 1.3.4.2. u im 1.3.4.3. Nhc im 1.3.5. Codebook

1.3.5.1. Thut ton ci t 1.3.5.2. u im 1.3.5.3. Nhc im 1.4. PHNG PHP PHT HIN KHUN MT NGI 1.4.1. Tng quan v pht hin ngi

-91.4.2. Pht hin khun mt ngi

1.4.2.1. Gii thiu 1.4.2.2. Cc phng php pht hin khun mt ngi 1.4.2.3. c trng Haar-like 1.4.2.4. AdaBoost 1.4.2.5. H thng xc nh v tr khun mt ngi 1.4.2.6. Thut ton xc nh khun mt ngi

- 10 -

Load image Chuyn image thnh grey image

Load file d liu haarcascade Ngc li Load thnh cng Gi hm cvHaarDetectObjects() ly n s khun mt c trong image Ngc li n>0 i=0 Ngc li i<n V hnh ch nht c vin mu cho tng khun mt

i = i +1 Xa tt c i tng to ra

Hnh 1.14 S thut ton xc nh khun mt ngi

- 11 1.5. CC PHNG PHP THEO VT I TNG 1.5.1. Gii thiu Theo vt i tng l gim st cc thay i theo khng gian v thi gian ca i tng trong sut chui video nh v tr, kch thc hoc hnh dng ca i tng. 1.5.2. Phng php Meanshift

1.5.2.1. M t Meanshift l mt thut ton dch chuyn quy mt im d liu n trung bnh ca cc im d liu ti vng ln cn ca n, tng t nh vic gom cc im d liu li to thnh mt nhm. 1.5.2.2. Hm cvMeanshift trong OpenCV 1.5.3. Phng php Camshift

1.5.3.1. M t Mt thut ton theo vt khc c pht trin t Meanshift l Camshift (Continue Adaptive Mean-shift). V c bn, thut ton ny ging vi Meanshift tuy nhin vi Camshift, window tm kim c th t iu chnh kch thc. 1.5.3.2. Hm cvCamshift trong OpenCV

- 12 -

CHNG 2: NH GI CC THUT TON V XY DNG CC CHC NNG CHNH

2.1. NH GI CC THUT TON 2.1.1. Cc thut ton tr nn pht hin i tng

Hnh 2.1 Kt qu vi Frame Difference trn Video1

Hnh 2.2 Kt qu vi Running Gaussian Average trn Video1

- 13 -

Hnh 2.3 Kt qu vi Codebook trn Video1 2.1.2. Thut ton pht hin khun mt ngi Bng 2.2 Kt qu chy thut ton xc nh khun mt Tn nh Image 1.jpg Image 2.jpg Image 3.jpg Image 4.jpg Image 5.jpg Kch thc nh 768x510 810 x 538 640x480 525x410 768x511 S ngi dectect 14 11 0 10 21 S ngi thc 13 11 0 9 17 chnh xc 93% 100% 100% 90% 80%

- 14 -

Hnh 2.14 Kt qu xc nh khun mt vi Image2 2.1.3. Cc phng php theo vt i tng on Video1.avi c 1220 frame kch thc 320x240, c 2 ngi ang i qua li trong phng v c khun mt hng v pha camera vi nh sng va phi ca n in. Kt qu ca theo vt c th hin nh Hnh 2.18 v Hnh 2.19. V video ny c quay ng vi iu kin t ra ca bi ton (camera cch i tng di chuyn mt khong cch c nh, nh sng trong phng va ) nn chnh xc ca vic theo vt ca 2 phng php hon ton ging nhau.

Hnh 2.18 Kt qu theo vt vi Meanshift trn Video1

- 15 -

Hnh 2.19 Kt qu theo vt vi Camshift trn Video1 2.2. XY DNG CC CHC NNG CHNH Trong chng trnh m ta thit k, d liu c x l s l on video c quay t mt camera tnh, ghi li vi chun AVI vi iu kin nh sng tt v nn khng thay i. Nu d liu c dng cho vic cnh bo ngi hoc theo vt khun mt th camera s c t trc ca ra vo sao cho c th thu c cc khun mt t pha trc (khong cch t camera n khun mt khong 2-5m). Nu d liu c dng cho vic m s ngi th camera c t vi mt khong cch c nh (khong 2m) so vi nn nh ti ca ra vo ca mt ta nh. T d liu video, chng trnh cung cp mt cc chc nng sau: 2.2.1. Thc hin cnh bo bng m thanh thng bo cho ngi dng khi pht hin khun mt ngi trong video. Pht hin v theo vt mt khun mt ngi trong video. Thng k s lng ngi i vo v ra khi to nh trong video. Chc nng cnh bo bng m thanh

2.2.1.1. M t chc nng H thng cung cp chc nng pht hin khun mt ngi v cnh bo bng m thanh gip cho ngi dng c th pht hin c c k l t nhp vo ta nh.

- 16 2.2.1.2. Thut ton x l

c gi tr tng frame t video file hoc camera Ngc li frame != NULL c gi tr ca frame v lu vo trong bin image

Gi hm detectface() pht hin v nh du khun mt ngi Ngc li C ngi xut hin Play tp tin alarm.wav cnh bo Hy cc i tng to

Hnh 2.25 Thut ton x l cho chc nng cnh bo

- 17 2.2.1.3. Kt qu on video Video1.avi c 200 frame kch thc 320x240 v c 2 ngi ang ni chuyn, 1 ngi c khun mt hng v pha camera vi nh sng trong phng ca n in. Chng trnh c th pht hin ra khun mt ca c gi ang hng v pha camera nh Hnh 2.26.

Hnh 2.26 Kt qu cnh bo vi Video1 2.2.2. Chc nng theo vt khun mt ngi

2.2.2.1. M t chc nng Mt trong cc chc nng tip theo ca chng trnh l chc nng theo vt khun mt ngi trong video. Chc nng ny gip cho ngi s dng c th theo di s xut hin ca khun mt mt ngi no trong ton b on video c quay li hoc theo di trc tip thng qua camera. 2.2.2.2. Thut ton x l

- 18 -

c d liu t video/camera

frame = 0 Ngc li frame < tng s frame trong video Pht hin khun mt trong frame Ngc li S khun mt > 0 Ly khun mt uNgc li tin c c

Theo vt khun mt vi Meanshift

Hnh 2.30. Thut ton theo vt mt khun mt 2.2.2.3. Kt qu on video Video1.avi c 1083 frame kch thc 640x360 v c 1 ngi ang ni khun mt hng v pha camera vi nh sng ca n in. Chng trnh c th pht hin ra khun mt ca ngi v thc hin vic theo di khun mt trong ton b video nh Hnh 2.31.

- 19 -

Hnh 2.31 Kt qu theo vt 1 khun mt vi Video1 2.2.3. Chc nng m s ngi vo ta nh

2.2.3.1. M t chc nng Vic thng k c s lng khch hng t d liu video l mt iu cn thit cho chin lc kinh doanh ca mi cng ty. V th, chng trnh cung cp thm chc nng ny gip cho ngi dng c th thng k gn ng s lng khch ti vn phng giao dch mi ngy. iu ny s lm c s cng ty c th ra nhng chin lc thch hp trong vic pht trin cho tng lai. 2.2.3.2. Thut ton x l Thut ton x l bao gm vic lp li 3 bc sau vi mi frame trong video. Bc 1: Dng phng php tr nn ly nhng phn chuyn ng bng cch so snh frame hin ti vi frame u tin Chuyn nh thnh nh xm v thc hin kh nhiu bng cch loi b bng. Bc 2: Tnh ton cc thnh phn ca nh xc nh hng di chuyn ca i tng l vo hay ra bng vic s dng hm cvCalcGlobalOrientation(). Nu gi tr ca gc dch chuyn t 0-180 th xc nh i tng ang i vo, ngc li th i tng ang i ra.
0

- 20 Vi mi i tng di chuyn (connected component) s c nh du bi mt hnh ch nht mu vng v mt dng mu xc nh hng di chuyn ca i tng Bc 3: Da vo kt qu hng di chuyn ca i tng trong Bc 2, ta c th tnh tng c s lng i vo v ra khi ta nh. 2.2.3.3. Kt qu on video Video1.avi c 2946 frame vi kch thc 384x288 v c 34 ngi ln lt i qua ca ra vo vi nh sng bnh thng. Kt qu ca vic m s ngi c th hin nh Hnh 2.36.

Hnh 2.36 Kt qu m ngi vi Video1

- 21 -

CHNG 3: CI T V KT QU
3.1. CI T CHNG TRNH 3.1.1. 3.1.2. Yu cu h thng Ci t

3.2. KT QU MINH HA Sau khi chng trnh khi ng, mn hnh chnh ca chng trnh hin ra nh Hnh 3.1.

Hnh 3.1. Giao din chnh

Hnh 3.2. Chc nng cnh bo bng m thanh

- 22 -

Hnh 3.3. Chc nng theo vt khun mt ngi

Hnh 3.4. Chc nng m s ngi i vo ta nh 3.3. IU KIN RNG BUC CA CHNG TRNH chng trnh c th hot ng v cho kt qu chnh xc th cn phi tha mn mt s iu kin sau: Nn ca video khng c thay i

- 23 Camera c dng quay video phi t v tr c nh, pha trn ca ra vo v khong cch vi ngi duy chuyn khong 1.5m n 2m i vi chc nng m ngi ra vo ta nh Camera c dng quay video phi t v tr c nh v pha trc khun mt ca ngi ra vo vi khong cch khong 0.5m n 1m i vi chc nng cnh bo ngi bng m thanh nh sng trong video phi n nh, khng qu ti hoc qu sng th cc chc nng s lm vic chnh xc hn. Chng trnh s lm vic chnh xc hn vi cc video mu.

3.4. NH GI KT QU CHNG TRNH Sau khi thc nghim trn khong 40 video mu, nu chng trnh hot ng nh cc iu kin rng buc chng 3.3 th n s mang li chnh xc kh cao. chnh xc ca chc nng cnh bo bng m thanh khong 90% chnh xc ca chc nng theo vt khun mt khong 80% chnh xc ca chc nng m s ngi ra vo ta nh khong 88% T kt qu ny, ta c th thy rng chng trnh c kh nng trin khai trong thc t. Tuy nhin, trong tng lai chng trnh cn c mt s ci tin thm tng chnh xc ca cc chc nng hn na.

- 24 -

KT LUN V HNG PHT TRIN

1. Kt lun V mt l thuyt Tm hiu v s dng thnh tho th vin OpenCV trn nn Microsoft Visual Studio 2008. Tm hiu c cc khi nim c bn v video v camera s. Tm hiu c cc thut ton v pht hin chuyn ng bng phng php tr nn: Frame Differrence, Running Gausian Average v Codebook. Tm hiu c phng php pht hin khun mt ngi bng k thut Haar kt hp AdaBoost. Tm hiu c cc phng php theo vt: Meanshift, Camshift. Tm hiu c cch thc m c s lng ngi ra vo trong mt ta nh. V mt thc tin V c bn, ti hon thnh c cc chc nng c t ra nh yu cu ban u nh: Pht hin c phn chuyn ng qua tng frame ca video. Pht hin v nh du thnh cng tt c cc khun mt ngi trong nh tnh bng vic kt hp gia cc c trng Haar-like vi b phn loi mnh AdaBoost. Hon thnh chc nng cnh bo ngi bng cch s dng m thanh. Hon thnh c chc nng theo vt khun mt ca mt ngi trong trong video gip ch cho vic theo di cng nh

- 25 lu d liu khun mt nhm to c s d liu phc v cho vic nhn dng ngi t ng sau ny. Hon thnh c chc nng m s ngi ra vo ta nh t d liu video thu c thng qua camera, gip ch cho vic thng k s khch hng vo giao dch ti ca hng. S dng thnh cng cc cng c phc v cho vic x l video nh Motion Video, FLV Converter chuyn i cc nh dng video khc nhau v nh dng AVI d dng cho vic thao tc bng th vin OpenCV. 2. Phm vi ng dng ti c th c ng dng trong cng tc bo mt ti cc ca hng cng ty, gip tit kim c chi ph thu bo v v hiu qu kh co trong vic pht hin chuyn ng, theo di v nhn dng ngi chuyn ng t d liu video. Bn cnh ti cn to nn tng cho nhng nghin cu v cm quan my tnh ni ring v x l nh ni chung trong tng lai. 3. Hn ch Bn cnh nhng kt qu t c, ti vn cn c mt s hn ch cn phi c khc phc nh: Tc x l ca chng trnh cn chm khi x l nhng video c phn gii cao v kch thc ln. Vic pht hin khun mt ngi c th b sai trong trng hp mt s i tng trong video c hnh dng gn ging vi khun mt ngi.

- 26 Chc nng m s ngi ra vo ch m da trn chiu di chuyn ca cc i tng chuyn ng ra vo, khng phn bit l ngi hay l vt. 4. Hng pht trin Trong qu trnh thc hin ti, do nhng hn ch v trnh v thi gian thc hin ti c hn, chng trnh c xy dng ch l phn demo cc thut ton pht hin chuyn ng, pht hin khun mt v theo vt i tng da vo video. trin khai trong thc t n i hi cn phi ci tin hn na. Hy vng trong tng lai, nhng pht trin di y s gip ti hon thin hn. Kt hp vic pht hin khun mt vi vic pht hin mt, pht hin hnh dng ca con ngi. Xy dng c thut ton ci thin cht lng ca video nh loi tr nhiu, loi tr bong v ti u ha cc thut ton tng tc ca chng trnh. H tr cc ty chn gip ngi dng c th iu chnh khong cch gia camera v i tng ty thuc vo cu trc ca ta nh m h s dng t camera quan st. X l c vic che lp i tng nhm to kt qu chnh xc cao hn cho cho chc nng theo di khun mt ngi. M rng thm thut ton Camshift c th theo di c nhiu i tng trong video cng lc v thc hin m c tng s ngi xut hin trong video thng qua chc nng ny. Xy dng c s d liu gip nhn dng khch hng mt cch t ng thng qua khun mt.