DM Chap4 Classification - III

Veri Madenciliği
Bu hafta
Sınıflandırma (Classification)
Karar Ağacı (Decision Trees)
Naive Bayes
Karar Ağaçları (Decision Trees)
 Karar ağaçları kolay ve etkin olması sebebiyle yaygın bir şekilde kullanılır.
 Karar ağaçlarında öğrenme fonksiyonu, bir ağaç şeklinde ifade edilir.
 Öğrenmiş bir karar ağacı modeli daha sonra IF - ELSE kuralları şeklinde
gösterilebilir.
 Ayrık ifadeler ve gürültülü veri üzerinde etkin bir şekilde kullanılabilir.
 ID3, C4.5 gibi popüler olmuş pek çok karar ağacı vardır.
• Tipik bir karar ağacı
(hava = güneşli  nem = normal) V
(hava = bulutlu) V
(hava = yağmurlu  rüzgar = zayıf)
hava
güneşli bulutlu yağmur
nem evet rüzgar

yüksek normal kuvvetli zayıf
hayır evet hayır evet

• Karar ağaçları genel olarak iki aşamadan meydana gelir:
• İlk aşama ağaç oluşturma
• Verilen öğrenme veri kümesinden kök nitelik belirlenir, seçilen niteliklere bağlı olarak
örnek küme yinelenerek (recursive) bölünür.
• Ağaç budama
• Gürültü ya da hataya neden olan dalların silinmesi işlemidir.
• Böylece sınıflandırma başarısı arttırılabilir.

• Karar ağaçlarında dallanma kriterleri
• Karar ağaçlarında dallanmanın hangi kritere göre yapılacağı önemlidir.
• Her kriter, farklı bir karar ağacına karşılık gelmektedir.
• Sıklıkla kullanılan karar ağacı algoritmaları
• ID3,
• C4.5,
• C5.0,
• CART (Regression Trees)
• Bilgi Kazancı (Information gain)
• Karar ağacında hangi niteliğe göre dallanma yapılacağı Bilgi Kazancı kavramına göre
yapılabilir.
• Bunun için entropi (toplam belirsizlik) hesaplanmalıdır.
! Entropi:
• Sepetteki toplar farklı renklerde ise belirsizlik fazladır.
• Eğer topların hepsi aynı renkte ise belirsizlik yoktur.
• Entropi (Entropy) belirsizliğin veya beklenmeyen durumun ortaya çıkma
olasılığını gösterir.
• Shannon’a göre bir sistemdeki durum değişikliği entropiyi ve bilgiyi tanımlar.
• Buna göre;
• Sınıflandırmada örneklerin tümü aynı sınıfa ait ise entropi=0
• Örnekler sınıflar arasında eşit dağılmış ise entropi=1
• Örnekler sınıflar arasında rastgele dağılmış ise 0<entropi<1
olacaktır.
• Shannon Bilgi (information) şöyle ifade edilir.
• Shannon Entropisi (H), tüm x durumlarına ait P olasılıklarına bağlı bir değerdir.
! Shannon bilgiyi bitlerle temsil ettiği için logaritma iki tabanındadır.

• Bilgi kazancı ile en az karşılaştırmayla sınıflandırma yapılabilir.
o Ağaç bir niteliğe göre dallandığında entropi ne kadar düşer?
• A niteliğinin S veri kümesindeki bilgi kazancı:
• Burada Sv: A’nın v değeri olması durumundaki S’nin bir altkümesidir.

• Örnek: Golf oyunu.
örnek hava ısı nem rüzgar oyun
1 güneşli sıcak yüksek hafif hayır
2 güneşli sıcak yüksek kuvvetli hayır
3 bulutlu sıcak yüksek hafif evet
4 yağmurlu ılık yüksek hafif evet
5 yağmurlu soğuk normal hafif evet
6 yağmurlu soğuk normal kuvvetli hayır
7 bulutlu soğuk normal kuvvetli evet
8 güneşli ılık yüksek hafif hayır
9 güneşli soğuk normal hafif evet
10 yağmurlu ılık normal hafif evet
11 güneşli ılık normal kuvvetli evet
12 bulutlu ılık yüksek kuvvetli evet
13 bulutlu sıcak normal hafif evet
14 yağmurlu ılık yüksek kuvvetli hayır
• S olay kümesinde toplam 14 örnek, iki sınıf vardır {evet,hayır}.
• C1=hayır. Toplam 5
• P1 = 5 / 14
• C2=evet. Toplam 9
• P2 = 9 / 14
• Entropi şöyle hesaplanır:
Adım 1: Her niteliğin bilgi kazancı hesaplanır. hava oyun
 hava bilgi kazancı
bulutlu evet
• |havabulutlu| = 4 0 hayır, 4 evet
• |havagüneşli | = 5 3 hayır, 2 evet bulutlu evet
• |havayağmurlu| = 5 2 hayır, 3 evet bulutlu evet

bulutlu evet
• E(hava, oyun) = 4/14*E(havabulutlu) + 5/14*E(havagüneşli) + 5/14*E(havayağmurlu) güneşli hayır
güneşli hayır
o E(havabulutlu) = - (4/4log24/4) = 0
güneşli hayır
o E(havagüneşli ) = - (3/5log23/5 + 2/5log22/5) = 0,971
o E(havayağmurlu) = - (2/5log22/5 + 3/5log23/5) = 0,971 güneşli evet
güneşli evet
• E(hava, oyun) = 4/14*0 + 5/14*0,971 + 5/14*0,971 yağmurlu evet
• E(hava, oyun) = 0,693 yağmurlu evet
yağmurlu hayır
• G(hava, oyun) = E(oyun) – E(hava, oyun)
• G(hava, oyun) = 0,940 - 0,693 = 0,247 yağmurlu evet
yağmurlu hayır
Adım 1: Her niteliğin bilgi kazancı hesaplanır. ısı oyun
 ısı bilgi kazancı
• |ısıılık| = 6 2 hayır, 4 evet ılık evet
• |ısısıcak| = 4 2 hayır, 2 evet ılık hayır
• |ısısoğuk| = 4 1 hayır, 3 evet ılık evet
ılık evet
• E(ısı, oyun) = 6/14*E(ısıılık) + 4/14*E(ısısıcak) + 4/14*E(ısısoğuk)
ılık evet
o E(ısıılık) = - (2/6log22/6 + 4/6log24/6) = 0,918 ılık hayır
o E(ısısıcak) = - (2/4log22/4 + 2/4log22/4) = 1,00 sıcak hayır
o E(ısısoğuk) = - (1/4log21/4 + 3/4log23/4) = 0,811
sıcak hayır
• E(ısı, oyun) = 6/14*0,918 + 4/14*1 + 4/14*0,811 sıcak evet
• E(ısı, oyun) = 0,911 sıcak evet
soğuk hayır
• G(ısı, oyun) = E(oyun) – E(ısı, oyun)
• G(ısı, oyun) = 0,940 – 0,911 = 0,029 soğuk evet
soğuk evet
soğuk evet
Adım 1: Her niteliğin bilgi kazancı hesaplanır. nem oyun
 nem bilgi kazancı
• |nemnormal| = 7 1 hayır, 6 evet normal evet
• |nemyüksek| = 7 4 hayır, 3 evet normal hayır
normal evet
• E(nem, oyun) = 7/14*E(nemnormal) + 7/14*E(nemyüksek)
normal evet
o E(nemnormal) = - (1/7log21/7 + 6/7log26/7) = 0,592 normal evet

o E(nemyüksek) = - (4/7log24/7 + 3/7log23/7) = 0,985 normal evet
normal evet
• E(nem, oyun) = 7/14*0,592 + 7/14*0,985
• E(nem, oyun) = 0,789 yüksek hayır
yüksek hayır
• G(nem, oyun) = E(oyun) – E(nem, oyun) yüksek evet
• G(nem, oyun) = 0,940 – 0,789 = 0,151
yüksek evet
yüksek hayır
yüksek evet
yüksek hayır
Adım 1: Her niteliğin bilgi kazancı hesaplanır. rüzgar oyun
 rüzgar bilgi kazancı
• |rüzgarhafif| = 8 2 hayır, 6 evet hafif hayır
• |rüzgarkuvvetli| = 6 3 hayır, 3 evet hafif evet
hafif evet
• E(rüzgar, oyun) = 8/14*E(rüzgarhafif) + 6/14*E(rüzgarkuvvetli)
hafif evet
 E(rüzgarhafif) = - (2/8log22/8 + 6/8log26/8) = 0,811 hafif hayır
 E(rüzgarkuvvetli) = - (3/6log23/6 + 3/6log23/6) = 1 hafif evet
• E(nem, oyun) = 8/14*0,811 + 6/14*1 hafif evet

• E(nem, oyun) = 0,892 hafif evet
kuvvetli hayır
• G(rüzgar, oyun) = E(oyun) – E(rüzgar, oyun)
kuvvetli hayır
• G(rüzgar, oyun) = 0,940 – 0,892 = 0,048
kuvvetli evet
kuvvetli evet
kuvvetli evet
kuvvetli hayır
Adım 1: Her niteliğin bilgi kazancı hesaplanır.
• Bilgi kazancı
nitelik kazanç
hava 0,246
ısı 0,029
nem 0,151
rüzgar 0,048
• En büyük kazanç 0,246 ile hava niteliğidir.

• Kök hava niteliği olmalı
Adım 1: hava niteliği kök.
hava

Adım 2.1: Hava niteliği güneşli durumu için.
hava ısı nem rüzgar oyun
güneşli sıcak yüksek hafif hayır
güneşli sıcak yüksek kuvvetli hayır
güneşli ılık yüksek hafif hayır
güneşli soğuk normal hafif evet
güneşli ılık normal kuvvetli evet

• Adım 2.1: Hava niteliği güneşli durumu için
• S olay kümesinde toplam 5 örnek var.
• P1 = 3 / 5
• P2 = 2/ 5
Adım 2.1: Hava niteliği güneşli durumu için. ısı oyun
• ısı bilgi kazancı ılık hayır
• |ısısıcak| = 2 2 hayır, 0 evet
sıcak hayır
• |ısısoğuk| = 1 0 hayır, 1 evet
sıcak hayır
• E(ısı, oyun) = 2/5*E(ısıılık) + 2/5*E(ısısıcak) + 1/5*E(ısısoğuk) soğuk evet
• E(ısıılık) = - (1/2log21/2 + 1/2log21/2) = 1

• E(ısısıcak) = - (2/2log22/2 ) = 0
• E(ısısoğuk) = - (1/1log21/1 ) = 0
• E(ısı, oyun) = 2/5*1 + 2/5*0 + 1/5*0

• E(ısı, oyun) = 0,4

• G(ısı, oyun) = 0,970 – 0,4 = 0,570
nem oyun
• nem bilgi kazancı yüksek hayır
• |nemnormal| = 2 0 hayır, 2 evet yüksek hayır
• |nemyüksek| = 3 3 hayır, 0 evet
yüksek hayır
• E(nem, oyun) = 2/5*E(nemnormal) + 3/5*E(nemyüksek) normal evet
• E(nemnormal) = - (2/2log22/2 ) = 0 normal evet

• E(nemyüksek) = - (3/3log23/3 ) = 0
• E(nem, oyun) = 2/5*0 + 3/5*0

• E(nem, oyun) = 0,0
• G(nem, oyun) = E(oyun) – E(nem, oyun)

• G(nem, oyun) = 0,970 – 0 = 0,970
Adım 2.1: Hava niteliği güneşli durumu için. rüzgar oyun
• rüzgar bilgi kazancı hafif hayır
• |rüzgarhafif| = 3 2 hayır, 1 evet
hafif hayır
• |rüzgarkuvvetli| = 2 1 hayır, 1 evet
hafif evet
• E(rüzgar, oyun) = 3/5*E(rüzgarhafif) + 2/5*E(rüzgarkuvvetli) kuvvetli hayır
kuvvetli evet
• E(rüzgarhafif) = - (2/3log22/3 + 1/3log21/3) = 0,918
• E(rüzgarkuvvetli) = - (1/2log21/2 + 1/2log21/2) = 1
• E(nem, oyun) = 3/5*0,918 + 2/5*1

• E(nem, oyun) = 0,951
• G(rüzgar, oyun) = E(oyun) – E(rüzgar, oyun)

• G(rüzgar, oyun) = 0,970 – 0,951 = 0,019
• Bilgi kazancı
nitelik kazanç
ısı 0,570
nem 0,970
rüzgar 0,019
• En büyük kazanç 0,970 ile nem niteliğidir.

Adım 2.1: Karar nem niteliği düğüm
hava
nem
yüksek normal
hayır evet
! nem niteliği yüksek ise “hayır”, normal ise “evet” olduğu görüldüğünden ağacın ilerlemesi
durdurulur.
! yüksek olması durumunda hayır ve normal olması durumunda evet artık yaprak değerdir.
Adım 2.2: Hava niteliği bulutlu durumu için
bulutlu sıcak yüksek hafif evet
bulutlu soğuk normal kuvvetli evet
bulutlu ılık yüksek kuvvetli evet
bulutlu soğuk normal hafif evet

• Adım 2.2: Hava niteliği bulutlu durumu için.
• P1 = 0 / 5
• P2 = 5/ 5
• Diğer bir ifade ile hava niteliği için bulutlu durumu her zaman evet olduğu için evet artık
yapraktır.
Adım 2.2: Karar hava niteliği bulutlu evet yaprak
hava
nem evet
yüksek normal
hayır evet
! nem niteliği yüksek ise “hayır”, normal ise “evet” olduğu görüldüğünden ağacın ilerlemesi durdurulur.
! yüksek olması durumunda hayır ve normal olması durumunda evet artık yaprak değerdir.
Adım 2.3: Hava niteliği yağmurlu durumu için

yağmurlu ılık yüksek hafif evet
yağmurlu soğuk normal hafif evet
yağmurlu soğuk normal kuvvetli hayır
yağmurlu ılık normal hafif evet
yağmurlu ılık yüksek kuvvetli hayır
• Adım 2.3: Hava niteliği yağmurlu durumu için.
• P1 = 2 / 5
• P2 = 3/ 5
ısı oyun
Adım 2.3: Hava niteliği yağmurlu durumu için.
• ısı bilgi kazancı ılık evet
• |ısısıcak| = 0
ılık hayır
• |ısısoğuk| = 2 1 hayır, 1 evet
soğuk evet
• E(ısı, oyun) = 3/5*E(ısıılık) + 2/5*E(ısısoğuk) soğuk hayır
• E(ısıılık) = - (1/3log21/3 + 2/3log22/3) = 0,918

• E(ısısoğuk) = - (1/2log21/2 + 1/2log21/2) = 0,918 ) = 1
• E(ısı, oyun) = 3/5*0,918 + 2/5*1

• E(ısı, oyun) = 0,951

• G(ısı, oyun) = 0,970 – 0,951 = 0,019
rüzgar oyun
Adım 2.3: Hava niteliği yağmurlu durumu için.
• rüzgar bilgi kazancı hafif evet
• |rüzgarhafif| = 3 0 hayır, 3 evet hafif evet
• |rüzgarkuvvetli| = 2 2 hayır, 0 evet hafif evet
kuvvetli hayır
• E(rüzgar, oyun) = 3/5*E(rüzgarhafif) + 2/5*E(rüzgarkuvvetli)
kuvvetli hayır
• E(rüzgarhafif) = - (3/3log23/3) = 0
• E(rüzgarkuvvetli) = - (2/2log22/2) = 0
• E(nem, oyun) = 3/5*0 + 2/5*0

• E(nem, oyun) = 0
• Değerlerden de görüldüğü gibi rüzgar hafif iken sonuç evet, kuvvetli iken hayır elde edilmektedir.
• Adım 2.3: Hava niteliği yağmurlu durumu için.
hava
nem evet rüzgar

yüksek normal kuvvetli zayıf
hayır evet hayır evet

Naive Bayes
• Sınıfı (etiket değeri) bilinmeyen örneği tahmin etmek için Bayes

sınıflandırıcılar kullanılabilir.
• 1812 yılında Thomas Bayes tarafından, koşullu olasılığı belirlemek için

tanımlanmıştır.
o Koşullu olasılık
 Bir olayın gerçekleşmesi bazı koşulların var olmasına bağlı ise koşullu olasılıktan söz edilir.
 A ve B gibi iki bağdaşan olayı varsayarsak, bu iki olay için ortak bir noktadan söz edilebilir.
Olasılık
 Olasılık, bir olayın gerçekleşme olasılığının ölçülmesi.
 P (Probability) ile gösterilir.
 Bir A olayının olasılığı ise P(A) şeklinde gösterilir ve 0 ile 1 arasında bir
değer alır.
o Deney: Belirli koşullar altında farklı sonuçlar elde edilebilen ve olası sonuçların çok iyi
tanımlandığı bir süreçtir.
o Sonuç: Deney sonucunda elde edilen veriye sonuç denir.
o Örnek Uzay: herhangi bir deney sonucunda elde edilebilecek mümkün (olası) sonuçlar
örnek uzay olarak tanımlanır ve S ile gösterilir.
o Olay: Örnek uzayın belirli bir koşulu sağlayan herhangi bir alt kümesine “Olay” denir.
Olasılık
 Olasılığın Klasik Tanımı: S, olası sonuçlardan her birinin gerçekleşme şanslarının
eşit olduğu bir örnek uzayı ve A ise bu uzayda tanımlı bir olayı göstersin.
 A olayının gerçekleşme olasılığı P(A)

Olasılık
 Olasılığın Frekans tanımı: Bir deney N defa tekrarlandığında ilgilenilen A
olayının toplam gözlenme sıklığı (frekansı) fA şeklinde saptansın. Bu durumda
A olayının olasılığı;
Olasılık
 Birleşim (Toplama Kuralı)
o S örnek uzayında A ve B gibi iki olayın birleşimi, A ve B olaylarının ya da her iki olayın da
birlikte sağlandığı olayların oluşturduğu kümedir.
o AUB olayı, bu iki olaydan en az biri gerçekleştiğinde gerçekleşir.

o Olayların birleşimine ilişkin olasılık, söz konusu iki olayın gerçekleşme olasılıklarının
toplamından olayların birlikte görülmesi olasılığının çıkarılmasıyla elde edilmektedir.
P(A veya B) = P(A) + P(B) - P(A ve B)

ya da
Olasılık
 Kesişim (Çarpma Kuralı)
 Bağımsız Çarpma Kuralı
o Bağımsız olayların (olayın gerçekleşmesi diğerinin gerçekleşmesini etkilemiyorsa)
gerçekleşme olasılığı, bu olasılıkların çarpımına eşittir.
P(A ve B) = P(A) * P(B)

ya da
Olasılık
 Kesişim (Çarpma Kuralı)
 Bağımlı Çarpma Kuralı
o Gerçekleşmesi beklenen olaylar bağımlı ise bu olayların ortak olasılığını hesaplamakta
kullanılır.
P(A ve B) = P(A) * P(B|A)
ya da
! Koşullu Olasılık
o Bir olayın gerçekleştiği bilindiğinde diğerinin gerçekleşme olasılığına koşullu olasılık
denir. Örneğin A bilindiğinde B olayının koşullu olasılığı P(B|A) olarak ifade edilir.
Bayes sınıflandırıcı (Naive Bayes)
• Bayes teoremi
• P(B): B için marjinal (önsel) olasılık.

• P(B|A): A için B’nin koşullu olasılığı.
• P(A|B): B için A’nın koşullu olasılığı.
• P(A): A olayı için marjinal (önsel) olasılık.
• Böylece Bayes teoremi, A gözlemlenmiş ise, B’nin olasılığını tanımlar.

Verilen bir örnek veri kümesinde.

o X nitelikleri {x1,x2,…xn}
o C sınıf: {C1, C2, … Cm}
o Sınıfı bilinmeyen bir örneğin C sınıfına ait olma olasılığı Bayes Teoremine
göre aşağıdaki eşitlik ile hesaplanabilir.
• Örnek 1: Golf oyunu.
?
Örnek: Golf oyunu.
Örnek: Golf oyunu.
Örnek: Golf oyunu.
Pr[ E|yes ] x Pr[ yes ] = 2/9 x 3/9 x 3/9 x 3/9 x 9/14 = 0,0053
Örnek: Golf oyunu.
Pr[ E|no ] x Pr [ no ] = 3/5 x 1/5 x 4/5 x 3/5 x 5/14 = 0,0206

Örnek: Golf oyunu.
Pr[ E ] = (Outlook=sunny, Temperature=cool, Humidity=high, Windy=true)

Pr[ E ] = 5/14 x 4/14 x 7/14 x 6/14 = 0,02186
Örnek: Golf oyunu.
0,9421 > 0,2424 için karar hayır

Örnek: Golf oyunu.
• Sürekli değerler
• Nitelik değerleri Sürekli olması durumunda yukarıdaki işlemler geçerli
değildir.
• Sürekli değerler için standart olasılık yoğunluk fonksiyonu kullanılır.
• x : nitelik değeri
• µ : ortalama
• σ : standart sapma
• e = 2,71
Örnek
Örnek eğitim Yaş cinsiyet kabul
1 orta 60 erkek evet
2 ilk 22 erkek hayır
3 yüksek 38 kadın hayır
5 ilk 40 erkek evet
6 yüksek 60 kadın evet
7 ilk 20 kadın hayır
8 orta 42 kadın evet
• Aşağıdaki örneklem için kabul nedir?

• eğitim : yüksek
• yaş : 44
• cinsiyet : kadın
Örnek
5 ilk 40 erkek evet
1. P(örnek|c1) = P(örnek|kabul=evet)
• P(örnek|c1) = P(eğitim=yüksek|kabul=evet) * P(yaş=44|kabul=evet) *
P(cinsiyet=kadın|kabul=evet)
• P(örnek|c1) = 1/5 * P(yaş=44|kabul=evet) * 2/5
Örnek
5 ilk 40 erkek evet
• P(yaş=44|kabul=evet)
• µc1 = 48,4
• σc1 = 10,62
Örnek
5 ilk 40 erkek evet
• P(örnek|c1) = P(örnek|kabul=evet)
• P(X|C1) = P(X|kabul=evet)
• P(X|C1) = 1/5 * (0,0344) * 2/5 = 0,0027
Örnek
5 ilk 40 erkek evet
1. P(örnek|C2) = P(örnek|kabul=hayır)
• P(örnek|C2) = P(eğitim=yüksek|kabul=hayır) * P(yaş=44|kabul=hayır) *
P(cinsiyet=kadın|kabul=hayır)
• P(örnek|C2) = 1/3 * P(yaş=44|kabul=hayır) * 2/3
örnek
5 ilk 40 erkek evet
• P(yaş=44|kabul=hayır)
• µc2 = 26,66
• σc2 = 9,86
örnek
5 ilk 40 erkek evet
• P(örnek|c2) = P(örnek|kabul=hayır)
• P(X|c2) = P(X|kabul=hayır)
• P(X|c2) = 1/3 x (0,0086) x 2/3 = 0,0011

örnek
5 ilk 40 erkek evet
• Bu durumda
• P(X|C1)=P(X|kabul=evet)=1/5 x (0,0344) x (2/5) = 0,0027
• P(X|C2)=P(X|kabul=hayır)=1/3 x (0,0086) x (2/5) = 0,0011

Örnek
5 ilk 40 erkek evet
• sonuç
• 0.0027 > 0.0011 EVET olacaktır.

DM Chap4 Classification - III

Uploaded by

Document Information

Original Description:

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

DM Chap4 Classification - III

Uploaded by

Copyright:

Available Formats

Veri Madenciliği

güneşli bulutlu yağmur

nem evet rüzgar

hayır evet hayır evet

• Gürültü ya da hataya neden olan dalların silinmesi işlemidir.

• Böylece sınıflandırma başarısı arttırılabilir.

! Shannon bilgiyi bitlerle temsil ettiği için logaritma iki tabanındadır.

• A niteliğinin S veri kümesindeki bilgi kazancı:

• Burada Sv: A’nın v değeri olması durumundaki S’nin bir altkümesidir.

• |havayağmurlu| = 5 2 hayır, 3 evet bulutlu evet

o E(nemnormal) = - (1/7log21/7 + 6/7log26/7) = 0,592 normal evet

• E(nem, oyun) = 8/14*0,811 + 6/14*1 hafif evet

• En büyük kazanç 0,246 ile hava niteliğidir.

güneşli bulutlu yağmur

hava ısı nem rüzgar oyun

güneşli sıcak yüksek hafif hayır

güneşli sıcak yüksek kuvvetli hayır

güneşli ılık yüksek hafif hayır

güneşli soğuk normal hafif evet

güneşli ılık normal kuvvetli evet

• E(ısıılık) = - (1/2log21/2 + 1/2log21/2) = 1

• E(ısı, oyun) = 2/5*1 + 2/5*0 + 1/5*0

• G(ısı, oyun) = E(oyun) – E(ısı, oyun)

• E(nemnormal) = - (2/2log22/2 ) = 0 normal evet

• E(nem, oyun) = 2/5*0 + 3/5*0

• G(nem, oyun) = E(oyun) – E(nem, oyun)

• E(nem, oyun) = 3/5*0,918 + 2/5*1

• G(rüzgar, oyun) = E(oyun) – E(rüzgar, oyun)

• En büyük kazanç 0,970 ile nem niteliğidir.

güneşli bulutlu yağmur

hava ısı nem rüzgar oyun

bulutlu sıcak yüksek hafif evet

bulutlu soğuk normal kuvvetli evet

bulutlu ılık yüksek kuvvetli evet

bulutlu soğuk normal hafif evet

güneşli bulutlu yağmur

hava ısı nem rüzgar oyun

• E(ısıılık) = - (1/3log21/3 + 2/3log22/3) = 0,918

• E(ısı, oyun) = 3/5*0,918 + 2/5*1

• G(ısı, oyun) = E(oyun) – E(ısı, oyun)

• E(nem, oyun) = 3/5*0 + 2/5*0

güneşli bulutlu yağmur

nem evet rüzgar

hayır evet hayır evet

• Sınıfı (etiket değeri) bilinmeyen örneği tahmin etmek için Bayes

• 1812 yılında Thomas Bayes tarafından, koşullu olasılığı belirlemek için

 A olayının gerçekleşme olasılığı P(A)

o AUB olayı, bu iki olaydan en az biri gerçekleştiğinde gerçekleşir.

P(A veya B) = P(A) + P(B) - P(A ve B)

P(A ve B) = P(A) * P(B)

• P(B): B için marjinal (önsel) olasılık.

• Böylece Bayes teoremi, A gözlemlenmiş ise, B’nin olasılığını tanımlar.

Verilen bir örnek veri kümesinde.

Pr[ E|no ] x Pr [ no ] = 3/5 x 1/5 x 4/5 x 3/5 x 5/14 = 0,0206

Pr[ E ] = (Outlook=sunny, Temperature=cool, Humidity=high, Windy=true)

0,9421 > 0,2424 için karar hayır

1 orta 60 erkek evet

2 ilk 22 erkek hayır

3 yüksek 38 kadın hayır

4 orta 40 erkek evet

5 ilk 40 erkek evet

6 yüksek 60 kadın evet

• E(nem, oyun) = 8/140,811 + 6/141 hafif evet

• E(ısı, oyun) = 2/51 + 2/50 + 1/5*0

• E(nem, oyun) = 2/50 + 3/50

• E(nem, oyun) = 3/50,918 + 2/51

• E(ısı, oyun) = 3/50,918 + 2/51

• E(nem, oyun) = 3/50 + 2/50