Stat - Hipotezy-Cz1

Testowanie hipotez statystycznych
Zagadnienie 4
Robert Kapłon
Statystyka dla inżynierów
Semestr zimowy
Plan prezentacji
1 Pojęcia podstawowe
2 Podejście Fishera do testowania hipotez
3 Model Neymana-Pearsona testowania hipotez
4 Testy oparte na ilorazie funkcji wiarygodności
5 Wybrane, parametryczne testy statystyczne
6 Wybrane, nieparametryczne testy statystyczne
7 Analiza wariancji
8 Quiz
1
1. Pojęcia podstawowe
Pojęcia podstawowe
Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów

prawdopodobieństwa związanych z pewnym eksperymentem
2
Pojęcia podstawowe

Hipotezą parametryczną nazywamy przypuszczenie odnoszące się do
wartości parametrów określonej dystrybuanty z populacji.
2
Pojęcia podstawowe

Hipoteza nieparametryczna to hipoteza, w której nie tylko formułuje się
założenia odnośnie parametrów ale również postaci funkcyjnej rozkładu.
2
Pojęcia podstawowe

Hipoteza prosta to hipoteza, w której zbiór hipotez dopuszczalnych składa
się z jednego elementu.
2
Pojęcia podstawowe

Hipoteza prosta to hipoteza, w której zbiór hipotez dopuszczalnych składa
się z jednego elementu.
Hipoteza złożona to hipoteza, w której zbiór hipotez dopuszczalnych składa
się z więcej niż jednego elementu.
2
Przykłady hipotez statystycznych
1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

normalnych (h.p.z)
3

normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona
3

normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona
3

normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona (h.p.p)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego
3

normalnych (h.p.z)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego
3

normalnych (h.p.z)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego (h.p.z)
4. H : σ 2 > 1, gdzie σ 2 jest wariancją rozkładu populacji
3

normalnych (h.p.z)
4. H : σ 2 > 1, gdzie σ 2 jest wariancją rozkładu populacji
3

normalnych (h.p.z)
4. H : σ 2 > 1, gdzie σ 2 jest wariancją rozkładu populacji (h.n.z)
5. H : F(x) = F(y), gdzie obie funkcje są dystrybuantami dwóch populacji
3

normalnych (h.p.z)
5. H : F(x) = F(y), gdzie obie funkcje są dystrybuantami dwóch populacji
3

normalnych (h.p.z)
5. H : F(x) = F(y), gdzie obie funkcje są dystrybuantami dwóch populacji (h.n.z)
3
2. Podejście Fishera do testowania hipotez
Istota testów Fishera
Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie definiował hipotezy

alternatywnej.
4

alternatywnej.
Szukał rozbieżności w danych, aby odrzucić hipotezę zerową, obliczając
Ð(X|H0 )
4

alternatywnej.
Ð(X|H0 )
Test istotności (Fishera) jest procedurą polegającą na obliczeniu tego
prawdopodobieństwa, czyli tzw. p-wartości.
4

alternatywnej.
Ð(X|H0 )
p-wartość to prawdopodobieństwo zaobserwowania czegoś przynajmniej
tak skrajnego jak moje dane pod warunkiem, że hipoteza H0 jest prawdziwa.
4

alternatywnej.
Ð(X|H0 )
Odrzucenie hipotezy następuje jeśli to prawdopodobieństwo jest małe
(mniejsze od przyjętego poziomu istotności).
4

alternatywnej.
Ð(X|H0 )
Odrzucenie hipotezy następuje jeśli to prawdopodobieństwo jest małe
(mniejsze od przyjętego poziomu istotności).
Później Fisher twierdził, że p-wartości należy oddzielić od decyzji
dotyczącej przyjęcia lub odrzucenia H0 .
4
Procedura testowania według Fishera
1. Dany jest probabilistyczny model badanego zjawiska (dla danych).
5

2. Dane ujmuje się w syntetyczny sposób, za pomocą statystyki testowej o
znanym rozkładzie.
5

znanym rozkładzie.
3. Znany rozkład jest podstawą rankingu dziwnych/skrajnych obserwacji.
5

znanym rozkładzie.
4. Dowodem przeciwko hipotezie (zerowej) jest p-wartość, która równa jest
prawdopodobieństwu zaobserwowania czegoś tak dziwnego (skrajnego) jak
to co zostało zaobserwowane lub jeszcze bardziej dziwnego przy założeniu
prawdziwości hipotezy.
p-wartość = Ð (T(X) ⩾ t(x)|H)
5

znanym rozkładzie.
5. Punktem odniesienia w ocenie p wartości jest mała liczba np. α, tzw.

poziom istotności, który należy założyć.
5

znanym rozkładzie.
5. Punktem odniesienia w ocenie p wartości jest mała liczba np. α, tzw.

poziom istotności, który należy założyć.
6. Z faktu braku dowodów przeciwko hipotezie nie wynika jej przyjęcie.
5
Ilustracja podejścia Fishera
Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).

Zweryfikujmy hipotezę H : µ = 0. Do jej weryfikacji wykorzystajmy statystykę t
X − 0√
t= n.
S
6

X − 0√
t= n.
S
Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może

błędnie przyjęto rozkład, a może obserwacje nie mają tej samej wariancji.
6

X − 0√
t= n.
S

Dlaczego syntetycznie opisujemy dane statystyką t?
6

X − 0√
t= n.
S

Dlaczego syntetycznie opisujemy dane statystyką t?
6

X − 0√
t= n.
S

Dlaczego syntetycznie opisujemy dane statystyką t? Względy praktyczne:
trzeba znać rozkład statystyki,
6

X − 0√
t= n.
S

w praktyce nie jest znana σ 2
6

X − 0√
t= n.
S

w praktyce nie jest znana σ 2
a dlaczego nie t – jeśli istnieje inna, też można użyć.
6
Przykłady weryfikacji hipotez według Fishera
Zadanie 1. Postanowiono zweryfikować hipotezę, że przeciętna wieku osób,
które w zeszłym roku przynajmniej raz były w teatrze, wynosi 50 lat. W tym
celu pobrano próbę o liczebności n = 16 osób i na tej podstawie oszacowano
średnią wieku x = 45.5 oraz odchylenie standardowe s = 8. Do weryfikacji
wykorzystać model
X − µ0 √
t= n ∼ t(n − 1)
S
7
Przykłady weryfikacji hipotez według Fishera
Zadanie 1. Postanowiono zweryfikować hipotezę, że przeciętna wieku osób,
które w zeszłym roku przynajmniej raz były w teatrze, wynosi 50 lat. W tym
celu pobrano próbę o liczebności n = 16 osób i na tej podstawie oszacowano
średnią wieku x = 45.5 oraz odchylenie standardowe s = 8. Do weryfikacji
wykorzystać model
X − µ0 √
t= n ∼ t(n − 1)
S
Zadanie 2. Twoja firma produkuje olejek do opalania z filtrami UVA i UVB.
Wynajęta firma badawcza ma porównać go z produktem konkurencji. Badanie
polegało na poddaniu 20 osób na działanie promieni słonecznych i pomiarze
ochrony każdego produktu. Dla 13 badanych produkt twojej firmy okazał się
lepszy (lepiej chronił skórę). Tym samym dla 7 badanych produkt konkurencji
odznaczał się lepszą ochroną. Czy istnieją wystarczające dowody pozwalające
w reklamie mówić o lepszej ochronie przed promieniami. Wykorzystać dwie
statystyki. Pierwszą (Walda) – opartą na asymptotycznym rozkładzie
estymatora ML, drugą (score test) – o następującej postaci:
p̂ − p0 √
√ n ⇝ N (0, 1)
p0 (1 − p0 )
7
3. Model Neymana-Pearsona testowania hipotez
Hipoteza zerowa i alternatywna
Mamy model probabilistyczny opisujący naturalną zmienność wyników.

Możliwe rozkłady można podzielić na takie, dla których hipoteza jest
prawdziwa i takie, dla których jest fałszywa. Wobec tego formułuje się:
8

1. Hipotezę zerową
H0 : θ ∈ Θ0
8

1. Hipotezę zerową
H0 : θ ∈ Θ0
2. Hipotezę alternatywną
H1 : θ ∈ Θ1
gdzie możliwe rozkłady Θ = Θ0 ∪ Θ1
8
Obszar odrzucenia
Definicja
Podzbiór R przestrzeni próby X , dla którego hipoteza H0 jest odrzucana,
nazywa się obszarem odrzucenia lub obszarem krytycznym. Dopełnienie
obszaru krytycznego Rc = X \ R.
9
Obszar odrzucenia
Definicja
Test zazwyczaj opisywany jest w terminach pewnej statystyki testowej T(X)

będącej funkcją próby.
9
Obszar odrzucenia
Definicja

Statystyka ta zwana jest statystyką testową.
9
Obszar odrzucenia
Definicja

Jeśli obliczona na podstawie próby wartość statystyki testowej T(x) ∈ R,
wtedy hipotezę H0 odrzucamy.
9
Obszar odrzucenia
Definicja

Jeśli obliczona na podstawie próby wartość statystyki testowej T(x) ∈ R,
wtedy hipotezę H0 odrzucamy.
Zazwyczaj R = {x : T(x) > c}, gdzie c jest wartością krytyczną.
9
Błędy i moc testu
W postępowaniu decyzyjnym, możliwe są dwie błędne decyzje, które

nazywamy błędem I i II rodzaju.
10
Błędy i moc testu

1. błędem I rodzaju – nazywamy odrzucenie sprawdzanej hipotezy H0 , w
sytuacji gdy jest ona prawdziwa. Prawdopodobieństwo popełnienie tego
błędu jest równe
Ð (T(X) ∈ R|H0 ) = α
10
Błędy i moc testu

błędu jest równe
Ð (T(X) ∈ R|H0 ) = α
2. błędem II rodzaju – nazywamy przyjęcie sprawdzanej hipotezy H0 wtedy,
gdy jest ona fałszywa. Prawdopodobieństwo popełnienia tego błędu jest
równe ( )
Ð T(X) ∈ Rc |H1 = β
10
Błędy i moc testu

błędu jest równe
Ð (T(X) ∈ R|H0 ) = α
2. błędem II rodzaju – nazywamy przyjęcie sprawdzanej hipotezy H0 wtedy,
gdy jest ona fałszywa. Prawdopodobieństwo popełnienia tego błędu jest
równe ( )
Ð T(X) ∈ Rc |H1 = β
3. mocą testu – nazywamy prawdopodobieństwo odrzucenia sprawdzanej
hipotezy H0 wtedy, gdy jest ona fałszywa.
( )
M = Ð (T(X) ∈ R|H1 ) = 1 − Ð T(X) ∈ Rc |H1 = 1 − β
10
Uwagi odnośnie błędów I i II
1. Chcemy budować testy, dla których prawdopodobieństwo obu błędów

byłoby możliwie jak najmniejsze.
11

2. Niestety, dla ustalonej wielkości próby nie można kontrolować obu tych
prawdopodobieństw jednocześnie.
11

3. Propozycja Neymana-Pearsona opiera się na fakcie, że mamy różny
stosunek do hipotez H0 i H1 .
11

4. W konsekwencji błąd I rodzaju odgrywa większą rolę niż błąd II rodzaju.
11

4. W konsekwencji błąd I rodzaju odgrywa większą rolę niż błąd II rodzaju.
5. Dlatego wśród testów poszukuje się takich, które kontrolują
prawdopodobieństwo błędu I rodzaju na przyjętym poziomie istotności, a
jednocześnie minimalizują prawdopodobieństwo błędu II rodzaju.
11
Związek między prawdopodobieństwami błędów
Zakładamy, że Xi ∼ N (µ, σ 2 ), gdzie σ 2 jest znane, a i = 1, . . . , n.
Stawiamy hipotezy: Wykorzystujemy statystykę:
H0 : µ = µ 0 (µ = 10) X̄ − µ0 √
Z= n
H1 : µ > µ 0 (µ = 15) σ
12
H0 : µ = µ 0 (µ = 10) X̄ − µ0 √
Z= n
H1 : µ > µ 0 (µ = 15) σ
Wtedy:
α = Ð(Z > z(1 − α) | H0 : Xi ∼ N (10, σ 2 ))
β = Ð(Z ⩽ z(1 − α) | H1 : Xi ∼ N (15, σ 2 ))
12
H0 : µ = µ 0 (µ = 10) X̄ − µ0 √
Z= n
H1 : µ > µ 0 (µ = 15) σ
Wtedy:
α = Ð(Z > z(1 − α) | H0 : Xi ∼ N (10, σ 2 ))
β = Ð(Z ⩽ z(1 − α) | H1 : Xi ∼ N (15, σ 2 ))
0.20
H 0 : µ = 10 H 1 : µ = 15
0.15
Gęstość
0.10 β 1−β
0.05 α
0.00
5 10 15 20
12
Zmniejszanie prawdopodobieństwa błędu I rodzaju
Prawdopodobieństwa : α = 0.05, β = 0.2, Moc = 0.8
0.20
H 0 : µ = 10 H 1 : µ = 15
0.15
Gęstość
0.10 β 1−β
0.05 α
0.00
5 10 15 20
Prawdopodobieństwa : α = 0.01, β = 0.43, Moc = 0.57
0.20
H 0 : µ = 10 H 1 : µ = 15
0.15
Gęstość
0.10 β 1−β
0.05 α
0.00
5 10 15 20
13
4. Testy oparte na ilorazie funkcji wiarygodności
Przykład wprowadzający
Rozważmy dwa konkurencyjne modele opisujące odsetek osób regularnie

pijących soki owocowe we Wrocławiu.
Model 1: rozkład Bernoulliego z parametrem p = 0.6 → H0
14

Model 2: rozkład Bernoulliego z parametrem p , 0.6 → H1
14

14

Model 1 traktujemy jako mało prawdopodobny, poszukując dowodów na jego
nieprawdziwość. W tym celu
przeprowadźmy badanie, w następstwie którego będziemy dysponować
próbą;
14

próbą;
spróbujmy ocenić wiarygodność zaobserwowania wyników badania, w
zależności od wartości parametru;
14

próbą;
spróbujmy ocenić wiarygodność zaobserwowania wyników badania, w
zależności od wartości parametru;
podstawą oceny powinna być wartość funkcji wiarygodności.
14
Przykład wprowadzający – wykres logarytmu f. wiarygodności
●
−60
●
−80
logL
−100
−120
0.3 0.6 1.0

p
15
Przykład wprowadzający – iloraz funkcji wiarygodności
Logarytm funkcji wiarygodności w rozkładzie Bernoulliego ma postać

∑
n ∑
n
log L(p) = xi log p + (1 − xi ) log(1 − p)
i=1 i=1
= nx log p + n(1 − x) log(1 − p).
16

∑
n ∑
n
i=1 i=1
= nx log p + n(1 − x) log(1 − p).
Wiemy, że estymator największej wiarygodności p̂ = x. Obliczmy wiarygodność

w zależności od hipotezy
H0 : p = 0.6 ⇒ log L(p) = nx log(0.6) + n(1 − x) log(0.4)

H1 : p , 0.6 ⇒ log L(p̂) = nx log(x) + n(1 − x) log(1 − x)
16

∑
n ∑
n
i=1 i=1
= nx log p + n(1 − x) log(1 − p).
Wiemy, że estymator największej wiarygodności p̂ = x. Obliczmy wiarygodność

w zależności od hipotezy
H0 : p = 0.6 ⇒ log L(p) = nx log(0.6) + n(1 − x) log(0.4)

H1 : p , 0.6 ⇒ log L(p̂) = nx log(x) + n(1 − x) log(1 − x)
Do porównania weźmy iloraz wiarygodności i zlogarytmujmy go

( )
L(p̂) x 0.4 1−x
log = nx log + log + n log
L(p) 0.6 1−x 0.4
16
Przykład wprowadzający – wnioski
Załóżmy, że badanie
przeprowadzono na grupie n = 100
osób.
17
osób.
Okazało się, że p̂ = x = 0.75
17
osób.
Oszacowany iloraz wiarygodności,
przy założeniu prawdziwości H0 ,
wyniósł 5.0.
17
osób.
wyniósł 5.0.
Jaki z tego wniosek?
17
osób.
wyniósł 5.0.
Czy można podjąć decyzję za
odrzuceniem hipotezy H0
przyjmując tym samym hipotezę
alternatywną H1 ?
17
osób.
wyniósł 5.0.
Czy można podjąć decyzję za
odrzuceniem hipotezy H0
przyjmując tym samym hipotezę
alternatywną H1 ?
17
Iloraz wiarygodności zależny od x i n

p̂⧹n 10 50 100 200 500
0.1 5.5 27.5 55.1 110.1 275.3
Załóżmy, że badanie 0.15 4.3 21.6 43.3 86.6 216.4
przeprowadzono na grupie n = 100 0.2 3.3 16.7 33.5 67.0 167.4
osób. 0.25 2.5 12.6 25.3 50.5 126.3
0.3 1.8 9.2 18.4 36.8 91.9
Okazało się, że p̂ = x = 0.75 0.35 1.3 6.3 12.7 25.4 63.5
Oszacowany iloraz wiarygodności, 0.4 0.8 4.1 8.1 16.2 40.5
przy założeniu prawdziwości H0 , 0.45 0.5 2.3 4.6 9.1 22.8
wyniósł 5.0. 0.5 0.2 1.0 2.0 4.1 10.2
0.55 0.1 0.3 0.5 1.0 2.6
0.6 0.0 0.0 0.0 0.0 0.0
Czy można podjąć decyzję za 0.65 0.1 0.3 0.5 1.1 2.6
odrzuceniem hipotezy H0 0.7 0.2 1.1 2.2 4.3 10.8
przyjmując tym samym hipotezę 0.75 0.5 2.5 5.0 10.0 24.9
alternatywną H1 ? 0.8 0.9 4.6 9.2 18.3 45.8
0.85 1.5 7.4 14.9 29.8 74.5
0.9 2.3 11.3 22.6 45.3 113.1
17

Stat - Hipotezy-Cz1

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Stat - Hipotezy-Cz1

Uploaded by

Copyright:

Available Formats

Testowanie hipotez statystycznych

2 Podejście Fishera do testowania hipotez

3 Model Neymana-Pearsona testowania hipotez

4 Testy oparte na ilorazie funkcji wiarygodności

5 Wybrane, parametryczne testy statystyczne

6 Wybrane, nieparametryczne testy statystyczne

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie deﬁniował hipotezy

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie deﬁniował hipotezy

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie deﬁniował hipotezy

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie deﬁniował hipotezy

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie deﬁniował hipotezy

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie deﬁniował hipotezy

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).

p-wartość = Ð (T(X) ⩾ t(x)|H)

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).

p-wartość = Ð (T(X) ⩾ t(x)|H)

5. Punktem odniesienia w ocenie p wartości jest mała liczba np. α, tzw.

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).

p-wartość = Ð (T(X) ⩾ t(x)|H)

5. Punktem odniesienia w ocenie p wartości jest mała liczba np. α, tzw.

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może

Mamy model probabilistyczny opisujący naturalną zmienność wyników.

Mamy model probabilistyczny opisujący naturalną zmienność wyników.

Mamy model probabilistyczny opisujący naturalną zmienność wyników.

Test zazwyczaj opisywany jest w terminach pewnej statystyki testowej T(X)

Test zazwyczaj opisywany jest w terminach pewnej statystyki testowej T(X)

Test zazwyczaj opisywany jest w terminach pewnej statystyki testowej T(X)

Test zazwyczaj opisywany jest w terminach pewnej statystyki testowej T(X)

W postępowaniu decyzyjnym, możliwe są dwie błędne decyzje, które

W postępowaniu decyzyjnym, możliwe są dwie błędne decyzje, które

W postępowaniu decyzyjnym, możliwe są dwie błędne decyzje, które

W postępowaniu decyzyjnym, możliwe są dwie błędne decyzje, które

1. Chcemy budować testy, dla których prawdopodobieństwo obu błędów