2/11/2016

ANOVA & Kruskal-Wallis

Kuliah Minggu 8
3 November 2016

ANOVA (Analysis of Variance)

Analisis varians terhadap hasil sesuatu
kajian; khususnya ke atas suatu varians
statistik bagi tujuan menentukan
pengaruh pembolehubahpembolehubah kajian ke atas varians
yang dimaksudkan.

2/11/2016

LATAR BELAKANG DATA & ANOVA

Semua set data akan mempamer serakan

(variability)

Serakan boleh wujud secara :

dalam
Antara

kumpulan (within group)

kumpulan (between group)

Kaedah ANOVA boleh menentukan sama ada tahap

perbezaan pada serakan tersebut signifikan atau
sebaliknya.

Perbezaan

di antara serakan dalam kumpulan

dengan serakan di antara kumpulan boleh
memberi ketentuan mengenai :

H0 : Serakan dalam kumpulan = serakan antara

kumpulan
Ha : Serakan dalam kumpulan
kumpulan

serakan antara

2/11/2016

ANOVA Sehala

ANOVA Sehala
(one-way ANOVA)

Satu

faktor (pembolehubah yang

dimanipulasi)
Satu pembolehubah bersandar
Tiga atau lebih kumpulan
perbandingan

2/11/2016

One-way ANOVA ASSUMPTIONS

Assumption

of Normality
Like the t-test you can place fast and loose with this
one, especially with large enough sample size see:
the Central Limit Theorem

Assumption

of Homogeneity of Variance
(Homoscedasticity)
Like the t-test, this isnt problematic unless one
levels variance is much larger than one the others
(~4 times as large) the one-way ANOVA is robust to
small violations of this assumption, so long as group
size is roughly equal

Independence

of Observations

Like

the t-test, the ANOVA is very sensitive to

violations of this assumption if violated it is more
appropriate to use a Repeated-Measures ANOVA

2/11/2016

One-Way ANOVA

Assumptions of ANOVA:
Independence

of Observations

Homoscedasticity
Normality
Equal

sample sizes not technically an assumption, but effects

the other 3

How do we know if we violate one (or more) of

these? What do we do?

One-Way ANOVA
Independence
Identified

of Observations

methodologically

Other

than using repeated-measures tests

(covered later), nothing you can do

Equal
Add

Sample Sizes
more Ss to the smaller group

DONT

delete Ss from the larger one

2/11/2016

One-Way ANOVA
Homoscedasticity
Identified

using Levenes Test or the Welch

Procedure
Again,

dont sweat the book, SPSS will do it for

you
If

detected (and group sizes very unequal), use

appropriate transformation

One-Way ANOVA

Homoscedasticity
Test of Homogeneity of Variances

Descriptives

N
Trial 1

Trial 2

Trial 3

Trial 4

1
2
Total
1
2
Total
1
2
Total
1
2
Total

6
6
12
6
6
12
6
6
12
6
6
12

Std. Deviation
2.714
1.329
2.067
2.098
2.828
2.431
2.714
2.338
2.417
1.835
3.445
2.864

Trial 1
Trial 2
Trial 3
Trial 4

Levene
Statistic
3.312
.156
.266
7.788

df1

df2
1
1
1
1

10
10
10
10

Sig.
.099
.701
.617
.019

Robust Tests of Equality of Means

a

Trial 1
Trial 2
Trial 3
Trial 4

Welch
Welch
Welch
Welch

Statistic
.292
.484
.013
1.849

df1
1
1
1
1

df2
7.268
9.223
9.786
7.626

Sig.
.605
.504
.912
.213

a. Asymptotically F distributed.

2/11/2016

One-Way ANOVA
Normality
Can

identify with histograms of DVs (IVs are supposed

to be non-normal)
Use Kolmogorov Smirnov or Shapiro Wilk (depending on
the number of samples)
More appropriate to use skewness and kurtosis
statistics
If detected (and sample size very small), use
appropriate transformation

One-Way ANOVA

Normality
1.

Divide statistic by its standard error to get z-score

2.

Calculate p-value using z-score and df = n

Descriptive Statistics

Trial 1
Trial 2
Trial 3
Trial 4
Valid N (listwise)

N
Statistic
12
12
12
12
12

Minimum
Statistic
12
8
4
1

Maximum
Statistic
19
16
12
9

Mean
Statistic
16.50
11.50
7.75
4.25

Std.
Statistic
2.067
2.431
2.417
2.864

Skewness
Statistic
Std. Error
-.815
.637
.205
.637
.165
.637
.534
.637

Kurtosis
Statistic
Std. Error
.651
1.232
-.406
1.232
-.864
1.232
-1.192
1.232

2/11/2016

One-Way ANOVA

Estimates of Effect Size in ANOVA:

1.

2 (eta squared) = SSgroup/SStotal

2.

Unfortunately, this is what most statistical

computer packages give you, because it is simple
to calculate, but seriously overestimates the size
of effect

2 (omega squared) =

SS groups k 1MS error

SS total MS error

Less biased than 2, but still not ideal

One-Way ANOVA

Estimates of Effect Size in ANOVA:

3.

Cohens d =

X1 X 2
2 F
2 t

sp
df error
n1 n 2 2

Remember: for d, .2 = small effect, .5 = medium,

and .8 = large

2/11/2016

APLIKASI ANOVA Sehala

Boleh digunakan apabila min pembolehubah bersandar berbeza-beza di antara

kumpulan

Contoh : Kajian membandingkan 3 orang pensyarah yang mengajar satu

bahagian dalam satu kursus. Mereka memberi peperiksaan akhir yang sama
dan mereka ingin tahu adakah terdapat perbezaan antara skor pada bahagianbahagian mereka.
Pensyarah

Mean

Dr. A

60

68.367

Dr. B

87

71.448

Dr. C

98

67.939

Apakah Analisis yang Dilakukan Menerusi

Anova Sehala ?
Pensyarah N

Mean

Dr. A

60

68.367

Dr. B

87

71.448

Dr. C

98

67.939

Membandingkan 1 parameter (min

skor) di antara semua kumpulan

Menentukan sama ada perbezaan min di antara kumpulan; signifikan,

atau tidak signifikan menerusi satu perbandingan umum (main
comparison)
ANOVA tidak memerihalkan kumpulan khusus yang menghasilkan
perbezaan signifikan
[Bagi tujuan ini, perlu analisis post hoc]

2/11/2016

CONTOH JADUAL ANOVA Sehala

JADUAL ANOVA Sehala

Source of
Variation
SSbetween

Degree of Freedom

Mean of Squares (MS)

F-ratio

SSwithin

SStotal

k = # kumpulan (treatment group)

n = # pemerhatian dalam setiap kumpulan
satu pemerhatian dalam kumpulan i
= min semua kumpulan (grand mean)

xi = min untuk kumpulan i

SS = Sum of Squares
MS = Mean of Squares

10

2/11/2016

CONTOH

KAJIAN : PERBANDINGAN 3 FAKULTI DENGAN JUMLAH PENGGUNAAN IFOLIO

OLEH SISWA UKM UNTUK 3 KURSUS

FAKULTI

Jumlah
penggunaan
ifolio

Pendidikan

Perubatan

Sains

k1

643

469

484

k2

655

427

456

k3

702

525

402

666.67

473.67

447.33

31.18

49.17

41.68

Cara Mengira Nilai F

Ujian statistik ANOVA membandingkan varians dalam kumpulan dengan varians

keseluruhan di antara kumpulan

Sstotal ialah jumlah keseluruhan serakan data :

Daripada data :

643

643

655

529.22
402

702

655
529.22

469

529.22

427
9

525

702

484

529.22

456

402

469

529.22

529.22

11

2/11/2016

Jadi,

Source of
Variation

Degree of Freedom

Mean of Squares (MS)

SSbetween

F-ratio

SSwithin

96303.55

Dapatkan nilai SSbetween

3 666.67

529.22

3 473.67

529.22

3 447.33

529.22

.
Source of
Variation
86049.55

Degree of Freedom
1

Mean of Squares (MS)

F-ratio

SSwithin

96303.55

12

2/11/2016

Langkah seterusnya, dapatkan nilai SSwithin

643 666.67
655 666.67
702 666.67
469 473.67
427 473.67
525 473.67
484 447.33
456 447.33
402 447.33
Cara mudah :
Source of
Variation

Degree of Freedom

86049.55

Mean of Squares (MS)

F-ratio

10254

96303.55

Lengkapkan jadual ANOVA sehala dengan nilai nilai yang diperlukan

Source of
Variation

Degree of Freedom

Mean of Squares (MS)

86049.55
2

10254
6

86049.55

10254

96303.55

F-ratio

13

2/11/2016

Source of
Variation

Degree of Freedom

86049.55

10254

Mean of Squares (MS)

F-ratio

43024.78

43024.78
1709

1709

25.17
96303.55

Dapatkan nilai Fkritikal dalam jadual

Fkritikal(dfb,dfw) = Fkritikal(2,6)

F(2,6) = 5.14

14

2/11/2016

Keputusan

Daripada pengiraan :
2,6

Oleh sebab nilai

25.17

Dapatan analisis ANOVA boleh dilaporkan seperti

berikut;
2,6

25.17;

0.05

INTERPRETASI DAPATAN

Oleh kerana H0 ditolak, kita boleh 95% yakin bahawa

terdapat perbezaan signifikan dalam jumlah
penggunaan ifolio untuk 3 kursus berdasarkan 3 fakulti
yang berbeza

Oleh kerana hanya satu min sahaja yang perlu berbeza

untuk membolehkan H0 ditolak, maka perlu lakukan
ujian post hoc untuk menentukan min kumpulan yang
menghasilkan perbezaan signifikan

15

2/11/2016

ANALISIS POST HOC LSD

(Least Significant Difference)

Kaedah termudah dan boleh digunakan jika saiz

sampel seimbang (equal sample size)

Rumus LSD :

Daripada data contoh,

2 1709 5.99
3

LSD = 82.61

Maksudnya, jika nilai mutlak bagi perbezaan di antara

mana-mana perbandingan dua nilai min > 82.61, maka kita
boleh memutuskan bahawa perbezaan tersebut adalah
signifikan

Daripada data contoh :

I.

PENDIDIKAN vs PERUBATAN : 667.67

473.67

193

II.

PERUBATAN vs SAINS : 473.67

447.63

26.34

III.

PENDIDIKAN vs SAINS : 667.67

447.63

220.04

Laporan : terdapat perbezaan antara pendidikan dan

perubatan dengan pendidikan dan sains.

16

2/11/2016

Pengiraan Melalui SPSS

Langkah 1 : Input data

Pengiraan Melalui SPSS

Langkah 2 : Pilih Analyze > Compare Means > One-Way ANOVA

17

2/11/2016

Pengiraan Melalui SPSS

Langkah 3 : Letakkan Penggunaan di ruangan Dependent List dan Fakulti
di ruangan Factor

Pengiraan Melalui SPSS

Langkah 4 : Klik Post Hoc , pilih LSD dan klik Continue

18

2/11/2016

Pengiraan Melalui SPSS

Langkah 5 : Pilih Options. Pilih Homogeneity of variance test dan klik Continue. Pilih OK

Pengiraan Melalui SPSS

Langkah 6 : Keputusan

19

2/11/2016

ANOVA Dua Hala

ANOVA Dua Hala

Dua faktor (pembolehubah yang dimanipulasi)

Masih satu pembolehubah bersandar

Juga dikenali sebagai ANOVA factorial

Contoh : Kajian membandingkan pencapaian pelajar dalam kalangan sampel

mengikut perbezaan jantina, antara kumpulan kawalan, kumpulan pembelajaran
inkuiri dan kumpulan pembelajaran koperatif
Dinyatakan seperti berikut :

2 X 3 ANOVA
Jantina Jenis Rawatan

20

2/11/2016

Contoh Data
Jenis Kumpulan

Jantina

Inkuiri

Lelaki

84

Perempuan

74

Lelaki

81

Perempuan

79

Lelaki

100

Perempuan

90

Koperatif

Kawalan

Min

79

80

95

Assumptions of Two-way ANOVA

The

populations from which the samples

were obtained must be normally or
approximately normally distributed.
The samples must be independent.
The variances of the populations must be
equal.
The groups must have the same sample
size.

21

2/11/2016

SOURCE

SS

df

MS

BETWEEN CELLS

SSbetween

ROW

SSrow

COLUMN

SScol

INTERACTION

SSinter

WITHIN CELLS

SSwithin

TOTAL

SStotal

1
1
1

SSbetween / dfbetween MSbetween / MSwithin

SSrow / dfrow

MSrow / MSwithin

SScol / dfcol

MScol / MSwithin

SSinter / dfinter

MSinter / MSwithin

SSwithin / dfwithin

Contoh Output SPSS ANOVA Dua Hala

Kajian membandingkan jantina dan tahap pendidikan terhadap tahap kepekaan hal
ehwal politik antarabangsa

22

2/11/2016

23

2/11/2016

Ujian Bukan
Parametrik
KRUSKAL-WALLIS

Ujian Kruskal-Wallis :
Analysis of Variance by Ranks

Digunakan untuk membandingkan 3 atau lebih sampel

untuk memastikan sampel-sampel tersebut datang
daripada populasi yang sama

Menggunakan skala ukuran ORDINAL

Merupakan alternatif kepada ujian ANOVA sehala

Setiap sampel mempunyai sekurang-kurangnya 5

pemerhatian

Sampel data disusun dari rendah ke tinggi sebagai satu

kumpulan

24

2/11/2016

Kruskal-Wallis Assumptions

Assumption #1 : The dependent variable is measured at

continuous or ordinal level and the independent variable
consists of two or more categorical, independent groups

Assumption #2 : You should have independence of

observations, which means that there is no relationship
between observations in each group of the independent
variable or between the groups themselves

Assumption #3 : The distribution of scores for each group

of the independent variable have the same shape (same
variability)

Ujian Kruskal-Wallis

Hipotesis bagi ujian Kruskal-Wallis :

H0 : Kesemua populasi k mempunyai taburan yang sama

Ha : Tidak semua populasi k mempunyai taburan yang sama

Ujian statistik Kruskal-Wallis :

12

Jika

5, maka H dianggarkan mempunyai taburan

(Chi kuasa dua)

25

2/11/2016

Contoh

Adakah bahagian yang berbeza mempunyai saiz kelas yang berbeza?

H0 : MedianM = MedianE = MedianH

: Ketiga-tiga bahagian mempunyai saiz kelas
median yang sama
Ha : Tidak semua bahagian mempunyai saiz kelas
median yang sama

Group

Class size

23

41

54

78

66

55

60

72

45

70

30

40

18

34

44

Class size
(Math)

Class size
(English)

Class size
(History)

23

55

30

41

60

40

54

72

18

78

45

34

66

70

44

Rank

1. Hasil tambah rank bagi kumpulan M = ?

2. Hasil tambah rank bagi kumpulan E = ?
3. Hasil tambah rank bagi kumpulan H = ?

12
1

26

2/11/2016

Group

Class size

Rank

23

41

54

78

15

66

12

55

10

60

11

72

14

45

70

13

30

40

18

34

44

Hkira = 6.72

Hkritikal ?

0.05,

1. Hasil tambah rank bagi kumpulan M =

2 6 9 15 12 44
2. Hasil tambah rank bagi kumpulan E =
10 11 14 8 13 56
3. Hasil tambah rank bagi kumpulan H =
3 5 1 4 7 20

12

12
15 15 1

44
5

56
5

20
5

3 15

6.72

Cari di Jadual A.4, taburan Chi kuasa dua

Hkritikal = 5.992

Oleh sebab

H0 ditolak. Tidak semua bahagian

mempunyai saiz kelas median yang sama.

6.72

5.992,

H0 ditolak jika Hkira > Hkritikal

27

2/11/2016

Further analysis (Pairwise Comparisons of Average Ranks)

The pairwise comparison test statistic :

where
and
is the mean of the ranks of the observations
from population i and j

The critical point for the paired comparisons :

1
,

12

Reject if

Pairwise Comparisons of Average Ranks

1
,

44
8.8
5
56
11.2
5
20
4
5

12

5.992 20

47.936

Reject if D > CKW

6.925

,
,
,

8.8 11.2
2.4
.
.
8.8 4
4.8

28

2/11/2016

PENGIRAAN MELALUI SPSS

Langkah 1 : Input data

Langkah 2 : Pilih Analyze > Nonparametric Tests > Legacy Dialogs >
K Independent Samples

29

2/11/2016

Langkah 3 :
Letakkan Classsize di Test
Variable List
Letakkan Group di Grouping
Variable
Klik Define Range

Langkah 4:
Input 1 di ruangan Minimum dan 3 di
ruangan Maximum
Klik Continue
Klik OK

Langkah 6 : Keputusan

0.035

0.05

H0 ditolak

30