Час 1

Пепознавање на облици

Предметен наставник:

Проф. д-р Маја Саревска

sarevska74@gmail.com
 Цел на курсот

Цел на курсот е студентите да се

запознаат со основите на препознавање
на облици и на неговота примена во
секојдневниот живот.
Предметна програма
Предметна програма
Предметна програма
Предметна програма
Предметна програма
Предметна програма
 Партиципација во наставата:

Активниот однос на студентите во наставата е многу важна од

аспект на природата на материјалот и интерктивниот принцип
на неговото совладувањe.

Од активноста на студентите се добиваат:

 Од 0 до 10 поени на предавањата што ги доделува

наставникот
 Секој студент изработува семинарска работа што во
текот на наставата ја презентира пред колегите и за тоа
добива максимално 20 поени.
 Секој студент изработува домашни работи и за тоа
добива максимално 10 поени.
Успехот на студентите се оценува со освоен број
поени.

Максималниот број поени е 100. Поените се

освојуваат на следниот начин:

 1. колоквиум 30
 2. колоквиум 30
 Или испит 60
 Активност на предавања/вежби 10
 Домашни работи 10
 Семинарска работа 20
Трансформација на поените во оценка се одвива
според следната табела:
Освоен број на поени оценка
91-100 10
81-90 9
71-80 8
61-70 7
51-60 6
0-50 5

Студентот го положил испитот ако освоил

најмалку 51 поен, со забелешка дека мора да
има освоено најмалку 2*18 = 36 од
предвидените поени од секој колоквиум.
 Препознавање на облици

1. Препознавање на примероци/облици
1.1 Основни поими, дефиниции и принципи

Препознавање на облици е едно од основните својства на

човекот.

Препознавањето е својство и на компјутерот.

Човекот сосема лесно ги препознава и интерпретира

облиците како што се буквите, линии, 2Д и 3Д форми итн.

За компјутерот тоа е потешко бидејќи тие за него

преставуваат само низи од единици и нули во неговата
меморија.
 Препознавање на облици
Основниот проблем на процесот препознавање облици е
екстрахирање на основните информации од низата на
единици и нули сместена во компјутерската меморија,
нивното претставување и интерпретација во форма
соодветна за понатамошна обработка со компјутер.

Со други зборови:

1. Компјутерот потребно е да ја анализира низата од 0 и1.

2. Врз основа на анализата и знаењата кои ги поседува,
одредува која форма е преставена со оваа комбинација
(буква, бројка, специјален знак, графичка форма,
фотографија и сл.).
3. Процесот на дешифрирање на формата преставува
процес на препознавање облици.
 Препознавање на облици

Облиците кои треба да се препознаат можат да бидат:

 Печатени букви;
 Ракопис;
 Графика;
 Технички цртежи;
 Мапи;
 Фотографии;
 Аудиосеквенци;
 ...
 Препознавање на облици

Зборот pattern (примерок, модел, шаблон, калап),

потекнува од зборот патрон и во оригиналната употреба
означува нешто што претставува совршен пример за
имитирање.

Во психологијата препознавањето примероци е се

дефинира како:

Процес во кој „надворешните“ сигнали, кои доаѓаат во

сетилата, се претвораат во препознатливи перцептуални
искуства.
 Препознавање на облици

Препознавањето примероци (pattern recognition)

претставува идентификација на идеалот според кој даден
објект е направен, односно идентификација на
карактеристиките на класата на која припаѓа дадениот
објект.

Во процесот на препознавање:

 Се одредуваат карактеристиките на непознатиот објект.

 Карактеристиките на непознатиот објект се
споредуваат со карактеристиките на идеалниот објект.
 Ако меѓу нив има минимален дозволен процент на
поклопување, се дефинира непознатиот објект на која
класа припаѓа.
 Препознавање на облици

Пример: Препознавање на геометриската слика триаголник

Карактеристики на идеален примерок на триаголник:

 Геометриска слика;
 Има дводимензионален облик;
 Има три страни;
 Има три темиња;
 Има три агли меѓу страните.

Ги идентифицираме основните карактеристики на непознатиот

објект.

Ако неговите карактеристики се совпаѓаат со наведените на

идеалниот примерок на триаголник, тогаш непознатиот облик го
препознаваме дека е триаголник
Непознат примерок:
Геометриска слика;
Има дводимензионален облик;
Има три страни;
Има три темиња;
Има три агли меѓу страните.
Исти примероци
Познат примерок:
Познат примерок:
Геометриска слика;
Има дводимензионален облик;
Има четири страни;
Има четири темиња;
Има четири агли меѓу страните.
Геометриска слика;
Има дводимензионален облик;
Има три страни;
Има три темиња;
Има три агли меѓу страните.
 Препознавање на облици
Едно од клучните прашања кое се наметнува е како се
создава концептот за идеалното (примерок кој ги има
сите карактеристики на класата на примероци за
споредба).

Тој може да се формира преку дедуктивен или

индуктивен процес.

Во првиот случај (дедуктивното создавање) се смета

дека концептот за идеалното е вроден кај набљудувачот.

Кај индуктивното создавање на концептот,

набљудувачот го создава концептот за идеалното преку
набљудување на многу неидеални примероци.
 Препознавање на облици

Создавање на концепт за идеалното може да се нарече

и учење.

Постојат два вида на учење:

 Учење со учител, се користи ако располагаме со

примероците кои се означени како претставници на
еден или повеќе идеали, односно располагаме со
множество на примероци за учење каде за секој
примерок знаеме на која класа припаѓа.
 Учење без учител, доколку примероците не се
означени, односно не постои множество на
примероци за учење каде за секој примерок не
знаеме на која класа припаѓа.
 Препознавање на облици

Учењето како да се препознае објект, односно како да се

одреди на која класа од претходно специфицирано
множество на класи и припаѓа, е една од клучните
особини на интелигенцијата која е опсежно истражувана и
кај човекот (природна интелигенција) и кај компјутерите
(вештачка интелигенција).

Учење на описите на класите и класификацијата

овозможуваат да се издвои што е суштинско обележје за
да се биде припадник на одредена класа.

Издвојувањето на суштинските обележја е од огромно

значење бидејќи овозможува да се насочи вниманието на
интелигентниот агент (било тоа да се човек или машина).
 Препознавање на облици

Издвојувањето на суштинските карактеристики кои

означуваат дека одреден објект е припадник на одредена
класа, што овозможува да се класификуваат нови (дотогаш
невидени) објекти во некоја од познатите класи се
нарекува генерализацијата.

Со други зборови генерализација значи дефинирање на

суштинските карактеристики на припадниците на
одредената класа, кои понатаму се користат за одредување
дали непознатиот објект припаѓа на таа класа или не.
 Препознавање на облици
Пример: Луѓето генерално знаат дека доколку сакаат да дознаат
дали животното зад дрвото е леопард, треба да се фокусираат да
гледаат дали има дамки на крзното а не која му е бојата на очите.

Способноста да се разликуваат леопардите од не леопардите и

способноста да се научи дека ваквото диференцирање е од
егзистенционално значење особено во временски критични
ситуации.

Затоа и не е за чудење што човекот релативно лесно успева да

изведе препознавање на комплексни примероци, но, има тешкотии
со брзото множење на повеќецифрени броеви.

Фактот што човековиот нервен систем не е прилагоден за брзо

изведување на нумерички операции нè изненадува, имајќи го
предвид фактот што способноста да се изведуваат вакви операции и
немало некое особено значење за опстанокот на единката (во
биолошка смисла на зборот).
 Препознавање на облици

Препознавањето примероци не му е својствено само на

човекот, тоа е присутно и кај животните и имало значајна
улога во еволуциска смисла.

Генерализацијата овозможила организмот успешно да се

снајде во нови ситуации, преземајќи слични акции или
однесување како некои кои се покажале успешни во
претходното искуство во ситуации од ист или сличен тип,
успешно да излезе од нив.

Природно, нервниот систем на човекот е многу

поефикасен во справувањето со проблемите кои се од
животно значење за човекот (препознавање на опасни
ситуации) отколку со оние кои не се.
 Препознавање на облици
Појавата на дигиталните компјутери стави на располагање машини
кои далеку ги надминуваат човековите способности за комплексни
нумерички операции.

Се постави и прашањето дали овие машини ќе се покажат

подеднакво успешни и во ненумеричките операции, особено во
менталните функции како препознавањето примероци.

Проблемите од оваа категорија генерално ги решава вештачката

интелигенција или машинската интелигенција.

Се покажа дека раниот оптимизам во поглед на способноста на

компјутерите да решаваат проблеми од класата на машинската
интелигенција не беше оправдан.

Човековиот мозок има многу повисок степен на комплексна

организација и од најнапредните компјутери.
 Препознавање на облици

Сепак, со развојот на науката, границите на она што компјутерот не

може да го направи полека но сигурно се поместуваат.
Постојат многу работи во чија автоматизација е потребно
препознавање примероци.
Пример:

 Сортирањето на поштата и внесување на податоци во

компјутер бараат препознавање на печатени или ракописни
букви.
 Броењето на крвните зрнца, проверката на исправност и
контролата на квалитетот, како и автоматизираното
составување на механички делови генерално бараат
препознавање облици.
 Слични барања има и во автоматската анализа на сателитски
слики, радарски сигнали, подводни сонарни снимања и др.
 Препознавање на облици
Според повеќето енциклопедии препознавањето примероци се
дефинира како дисциплина која ја изучува теоријата и
методологијата на дизајнирање на машини, кои се во состојба да
препознаваат примероци од податоци загадени со шум.

Иако ова е само една од можните дефиниции за препознавањето

примероци, во неа јасно се истакнува „инженерската“ природа на
оваа научна дисциплина, во која се вели дека крајната цел на оваа
дисциплина е дизајнирањето на „машини“.

Од оваа инженерска перспектива јасно е дека теоријата на

препознавањето примероци има мултидисциплинарни корени, како
што впрочем и повеќето инженерски дисциплини настојуваат да го
пребродат јазот помеѓу реалните технички апликации на теоријата и
т.н. чисти теориски дисциплини како математиката, статистиката,
физиката и др.
2. Mетоди за препознавање на непознатите примероци

Под поимот препознавање примероци се подразбира

автоматска детекција и класификација на објекти или
настани.

Постојат две методи за препознавање на непознатите

примероци:

 Метода на класификација;
 Метода на групирање.
 2.1 Mетода на класификација
Алгоритмот за класификација, врши распределба на
примероците во соодветни класи на примероци спрема
класификациона шема.

Мерките и податоците кои се користат за класифицирање на

објектите се нарекуваат особини или обележја (features), а
прототиповите или категориите во кои се распоредуваат се
нарекуваат класи.

Во суштина се ствара една база во која се складираат податоци

за објектите и настаните кои преставуваат познати примерoци,
кои се класифицираат во класи.

Класа на примероци претставува множество (фамилија) на

примероци кои делат некои заеднички особини.
 2.2 Класификатори
Примероци или мостри се индивидуалните единици,
објекти или настани, кои треба да се класираат во во
соодветната класа.

Множеството класирани примероци, кое се употребува

во дизајнот на системот, се нарекува множество за
обука (training set). Со нив системот за препознавање
добива инструкции во која класа припаѓа непознатиот
примерок.

Множеството исто така класирани примероци, кое се

употребува за тестирање, евалуација и нагодување на
некои дополнителни параметри на системот се вика
множество за тестирање (test set).
2.2.1 Конструирање (обучување) на класификатори

Eдна од задачите на машинското учење е да генерира

(произведе) модел од зададено множество на
обележани примероци.

Ваквиот модел потоа може да се употреби за

класификација на необележани, претходно невидени
примероци.

Ваквото својство на обучениот модел правилно да

препознава и нови примероци што не биле
презентирани за време на обуката, е познат како
способност за генерализација.
Процесот на машинско учење се состои од два сегмента:
надгледувано учење и ненадгледуваното учење

Задачата на конструирање на класификатор за

препознавање примероци позната како надгледувано
учење или учење со учител (supervised learning),
претставува конструирање на класификатор за
препознавање примероци под контрола на учител.

Задачата на ненадгледуваното учење (unsupervised

learning) е дедуктивно изведување на ознаките (класите)
од самите неозначени примероци во процесот на учење.
Генерираниот модел мора да ги има следните
карактеристики:

 Точност;
 Разбирливост;
 Компактнoст;
 Брзина на обучување и
 Друго.
За да се реализира успешно процесот на препознавање,
најважна улога игра множеството на познати примероци и
нивната расподелба по класи.

Успешно класифицирање, значи и успешно препознавање

на непознатите примероци.

Класификацијата на познатите примероци ја реализираат

таканаречени класификатори.

Пред почетокот на употребата на класификаторите во

процесот на препознавање, тие мораат да се обучат,
односно да се запознаат со карактеристиките на секоја
класа.
Концептот за учење на сликата претставува
конструкција на модел за даден број на опсервации.

Концептот за учење
Во процесот на обука се акумулира знаење за
карактеристики на повеќе индивидуални примероци
наречени примероци за обука.
За да се конструира моделот мора да се примени
индукција, односно да се генерализираат (oвоопштат)
тие знаења во едно знаење кое ги зема во предвид
карактеристиките кои се исти за индивидуалните
примероци.
Врз основа на оваа општо знаење се гради модел кој ќе
се користи во процесот на препознавање на непознати
примероци.
Откако моделот е конструиран, со истиот може по пат
на дедукција, да се изведат нови примероци, кои не
мора да бидат меѓу примероците за обука.
Примерок или мостра претставува подредено
множество од променливи.

Секоја променлива (атрибут, особина или обележје)

прима вредности од некое преддефинирано множество
на можни вредности што се зависни од проблемот.

Ова преддефинирано множество на вредности се

нарекува домен на обележјето.

Во основа, обележјата по својот вид од аспект на

доменот може да се поделат во три основни групи:

 Бинарни обележја;
 Номинални обележја;
 Континуални обележја.
Бинарни обележја, како што зборува и самото име,
можат да примат една од само две можни вредности (на
пример: има/нема, да/не,1/0).

Номинални обележја можат да примат вредност од

множество кое има одреден број на познати вредности
(на пример обележја на боја: црвена, жолта, зелена, или
високо, средно, ниско).

Континуални обележја, примаат произволна вредност,

најчесто репрезентирана како реален број евентуално
ограничена во даден опсег, но со непреброиво многу
можни вредности.
Една од променливите придружена на примерокот е
специјален атрибут означен како целно обележје.

Ова обележје го опишува феноменот кој е од интерес,

односно феноменот во однос на кој би сакале да
предвидиме одредено однесување.

Примерокот за кој целното обележје е познато се

нарекува означен примерок (labelled example).

Примерокот за кој целното обележје не е познато се

нарекува неозначен примерок или примерок за
препознавање (query example).
Кога целното обележје е континуална променлива, проблемот на
надгледувано учење е познат како регресија.

Регресијата претставува математички метод со помош на кој се

изведува емпириска функционална зависност на независните
променливи со зависната променлива (целното обележје) на
основа на множество од експериментални податоци.

Кога пак целното обележје е номинална или бинарна променлива,

проблемот на надгледувано учење е познат како класификација.

Целното обележје со номинална вредност се нарекува уште и

класа, асоцирајќи на ознаката на класата од преброивото
множество на класа на која припаѓа примерокот.
Во процесот на машинското учење се употребуваат
множества на примероци (datasets).

Множествата на примероци во основа се делат на:

 Множество за обука;
 Множество за тестирање, односно проценка на
перформансите на моделот.

Множеството за обука претставува множество на

означени примероци на основа на кое се гради моделот.

Множеството за тестирање претставува множество

на неозначени примероци со кои се тестира моделот.
Кај некои видови на алгоритми за градење на модели
или оптимизирање на некои од параметрите на моделот
се употребува и таканаречено множество за
валидација (validation set).

Во текот на изградбата на моделот, со примероците од

множеството за валидација се проценуваат
перформансите на моделот користејќи примероци што
не ги видел (неучествуваат во обучувањето) и на основа
на добиените резултати се нагодуваат некои од
параметрите на моделот, со цел да се подобрат
перформансите на моделот.
Регресивен модел (во случај на регресивен проблем или
класификатор во случај на класификациски проблем)
претставува пресликување од множеството на
неозначени примероци во множеството од доменот на
целното обележје.

Моделот се користи за предвидување на вредноста на

целното обележје.
Вообичаено целното обележје се нарекува и зависна
променлива, а останатите обележја независни
променливи.

Целта на моделот, во рамките на класификацијата, е

непознатиот примерок да го распореди точно во една од
конечниот број класи.
Формално кажано, задачата на обучувањето е да
конструира „обучен“ систем x (модел), користејќи го
множеството за обука D со цел да го класификува (или
предвиди) како излез од вака обучениот систем g(x), за
непознат влез во системот x.

Објектни
обележја
Множество за Множество за
обука D обука D

Обележја на
G(x)
непознати
примероци

Множество Препознавање
непознати непознат
примероци примерок
Множеството за обука D содржи обележја
{(xi, yi), i = 1,…,N}, додека множеството за проверка V
содржи обележја{(xi, yi), i = 1,…,M}. xi претставуваm
дводимензионален вектор кој е влез за системот, додека
yi е посакуваниот излез од системот.

По конструирањето на моделот неговите перформанси се

проценуваат со множеството V.
Задачата на обучениот систем е да го класифицира или
да го предвиди посакуваниот излез што е можно
поточно.

Кога посакуваниот излез е од континуирана природа

(yi ⊆ R) се работи за регресија.

Ако пак излезот од системот е со дискретна вредност

yi∈ C = {c1, c2, …, ck} каде C е множество на класи, а ci е
ознака на класата, станува збор за класификација.

Класификатор всушност претставува функција g(x) која

врши пресликување од просторот на обележја во
просторот на класи, g(x) : F → {c1, …, ck}.
Нека веројатноста за појава на класата ci ја означиме
како P(C = ci).

Оваа веројатност, која може да се изрази како односот

на бројот на примероци кои се припадници на класата ci
и вкупниот број на примероци во дадената популација,
се нарекува априорна веројатност и се означува како
P(ci).

Веројатноста дека се појавила класата ci под услов да се

појавил примерокот X = x се нарекува постериорна
веројатност и се означува како P(C = ci | X = x) или
само P(ci | x).

Таа е многу важна за класификацијата.

Користејќи го баесовото правило можеме да ја изразиме
постериорната веројатност преку функцијата на
распределба на условната веројатност p(ci|x):

каде p(x) ја означува функцијата на распределба на

веројатност на случајната променлива X (примероците)
и е дадена со:
Тренер или обучувач е процедура која се користи за да
се изгради моделот.

Под поимот тренер се подразбира компјутерска

програма, која го гради моделот на основа на
примероците од множеството за обука, без интеракција
со корисникот или какви било други предзнаења за
природата на проблемот.

Во поширока смисла, секој метод кој ги користи

информациите од означени примероци за обука при
конструкцијата на класификатор, вклучува учење.
Кај надгледуваното учење (или учење со учител),
„учителот“ ја дава ознаката на класата или
посакуваниот излез од системот и се обидува во
процесот на учење да ги нагоди параметрите на
системот така да грешката во класификувањето или
отстапувањето помеѓу предвидената и посакуваната
вредност биде што помало.
Кај ненадгледуваното учење (или самоучење), не
постои експлицитен учител и системот настојува самиот
да ги открие „природните“ групи на влезните податоци
и истите да ги групира во овие групи. Овој проблем е
познат и како проблем на кластеризација. „Природното“
групирање е секогаш експлицитно или имплицитно
дефинирано на некој начин во системот за
кластеризација.
Прекомплексен систем може да биде обучен совршено
да ги препознава примероците од множеството за обука,
но истиот може да покаже значително послаби
перформанси на множеството за тестирање, односно на
примероци кои не ги видел за време на обуката.
Ваквата ситуација е позната како „преобучување“
(overfitting).
Еден од проблемите при конструкцијата на моделот
претставува и одредувањето на неговиот капацитет.
Капацитетот треба да биде избран соодветно – да не
биде преедноставен, за да не може да ги разграничи
класите, но не и прекомплексен, со што би давал слаби
резултати во препознавањето на нови примероци.
Карактеристиките според кои може да се споредуваат и
евалуираат класификациските и регресионите методи за
предвидување се:
 Точност која ја изразува способноста на моделот правилно да
го класификува новиот, претходно не виден примерок.
 Брзина се однесува на комплексноста на пресметките (или
бројот на чекорите) кои треба да бидат изведени при
генерирањето или експлоатацијата на моделот.
 Робусност ја изразува способноста на моделот правилно да ги
класификува изобличените примероци и примероците
загадени со шум.
 Скалабилност ја претставува способноста ефикасно да се
конструира модел за голем број на податоци (типично голем
број на примероци во множеството за обука и/или голем број
на обележја).
 Интерпретабилност се однесува на можноста за
интерпретација на моделот, и обично значи репрезентација на
знаењето и правилата за одлучување содржани во моделот во
форма разбирлива за човекот.
 Прашања за домашна работа

1. Како се запишани основните информации во компјутерската

меморија и како тој ги препознава?
2. Објасни ги поимите податок, информација и нивниоот приказ
во компјутерската меморија.
3. Објасни го поимот Препознавањето примероци (pattern
recognition) и основните чекори во процесот на препознавање.
4. Опиши некој пример на препознавање на 3Д облик.
5. Што е тоа идеален примерок и како се создава концептот за
идеалното?
6. Опиши го процесот на создавање на концепт за идеално.
7. Опиши го поимот „Учење без учител“.
8. Опиши го поимот „Учење со учител“.
9. Што е тоа процес на генерализација?
ДАЛИ ИМА ПРАШАЊА?

!!!?