Giải

E(S) có 5 No và 9 Yes.

E(S) = -(5/14)log2(5/14) – (9/14)log2(9/14) = 0.940

G(S, Humidity) = High có 3 Yes và 4 No

Normal có 6 Yes và 1 No

= E(S) –(7/14)* ( -(3/7)log2(3/7)- (4/7)log2(4/7)) – (7/14)*(-(6/7)log2(6/7)-(1/7)log2(1/7)) = 0.1518

G(S, Outlook) = Sunny có 2 Yes và 3 No

Overcast có 4 Yes và 0 No

Rainy có 3 Yes và 2 No

= E(S) –(5/14)*(-(2/5)log2(2/5)-(3/5)log2(3/5)) – (4/14)*(-(4/4)log2(4/4) – (0/4)log2(0/4)) – (5/14)*(-

(3/5)log2(3/5) – (2/5)log2(2/5)) = 0.247

G(S, Temperature) = Hot có 2 Yes và 2 No

Cool có 3 Yes và 1 No

Mild có 4 Yes và 2 No

= E(S) – (4/14)(-(2/4)log2(2/4) – (2/4)log2(2/4)) – (4/14)*(-(3/4)*log2(3/4) – (1/4)*log2(1/4)) – (6/14)*(-

(4/6)log2(4/6) – (2/6)log2(2/6)) = 0.0293
Ta thấy G(S, Outlook) lớn nhất nên Outlook sẽ là nút gốc

Bài 2:

Gini(Temperature)(D) = (4/14)*Gini(S-hot) + (4/14)*Gini(S-Cool) + (6/14)*Gini(S-Mild) =

(4/14) *(1-(2/4)^2 – (2/4)^2) + (4/14)*(1- (3/5)^2 – (2/5)^2) + (6/14)*(1-(4/6)^2

–(2/6)^2) = 0.4704

Gini (Outlook)(D) = (5/14)*Gini(S-sunny) + (4/14)*Gini(s-Overcast) + (5/14) *Gini(S-Rainy) =

= (5/14)*(1-(2/5)^2-(3/5)^2) + (4/14)*(1-(4/4)^2 – (0/4)^2) + (5/14)*(1- (3/5)^2 -

(2/5)^2) = 0.343