Stat - Hipotezy-Cz1 - 2

You might also like

Download as pdf or txt
Download as pdf or txt
You are on page 1of 103

Testowanie hipotez statystycznych

Zagadnienie 4

Robert Kapłon
Statystyka dla inżynierów
Semestr zimowy
Plan prezentacji

1 Pojęcia podstawowe

2 Podejście Fishera do testowania hipotez

3 Model Neymana-Pearsona testowania hipotez

4 Testy oparte na ilorazie funkcji wiarygodności

5 Wybrane, parametryczne testy statystyczne

6 Wybrane, nieparametryczne testy statystyczne

7 Analiza wariancji

8 Quiz

1
1. Pojęcia podstawowe
Pojęcia podstawowe

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów


prawdopodobieństwa związanych z pewnym eksperymentem

2
Pojęcia podstawowe

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów


prawdopodobieństwa związanych z pewnym eksperymentem
Hipotezą parametryczną nazywamy przypuszczenie odnoszące się do
wartości parametrów określonej dystrybuanty z populacji.

2
Pojęcia podstawowe

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów


prawdopodobieństwa związanych z pewnym eksperymentem
Hipotezą parametryczną nazywamy przypuszczenie odnoszące się do
wartości parametrów określonej dystrybuanty z populacji.
Hipoteza nieparametryczna to hipoteza, w której nie tylko formułuje się
założenia odnośnie parametrów ale również postaci funkcyjnej rozkładu.

2
Pojęcia podstawowe

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów


prawdopodobieństwa związanych z pewnym eksperymentem
Hipotezą parametryczną nazywamy przypuszczenie odnoszące się do
wartości parametrów określonej dystrybuanty z populacji.
Hipoteza nieparametryczna to hipoteza, w której nie tylko formułuje się
założenia odnośnie parametrów ale również postaci funkcyjnej rozkładu.
Hipoteza prosta to hipoteza, w której zbiór hipotez dopuszczalnych składa
się z jednego elementu.

2
Pojęcia podstawowe

Hipotezą statystyczną nazywamy każde założenie dotyczące rozkładów


prawdopodobieństwa związanych z pewnym eksperymentem
Hipotezą parametryczną nazywamy przypuszczenie odnoszące się do
wartości parametrów określonej dystrybuanty z populacji.
Hipoteza nieparametryczna to hipoteza, w której nie tylko formułuje się
założenia odnośnie parametrów ale również postaci funkcyjnej rozkładu.
Hipoteza prosta to hipoteza, w której zbiór hipotez dopuszczalnych składa
się z jednego elementu.
Hipoteza złożona to hipoteza, w której zbiór hipotez dopuszczalnych składa
się z więcej niż jednego elementu.

2
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)

3
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona

3
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona

3
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona (h.p.p)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego

3
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona (h.p.p)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego

3
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona (h.p.p)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego (h.p.z)
4. H : σ 2 > 1, gdzie σ 2 jest wariancją rozkładu populacji

3
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona (h.p.p)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego (h.p.z)
4. H : σ 2 > 1, gdzie σ 2 jest wariancją rozkładu populacji

3
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona (h.p.p)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego (h.p.z)
4. H : σ 2 > 1, gdzie σ 2 jest wariancją rozkładu populacji (h.n.z)
5. H : F(x) = F(y), gdzie obie funkcje są dystrybuantami dwóch populacji

3
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona (h.p.p)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego (h.p.z)
4. H : σ 2 > 1, gdzie σ 2 jest wariancją rozkładu populacji (h.n.z)
5. H : F(x) = F(y), gdzie obie funkcje są dystrybuantami dwóch populacji

3
Przykłady hipotez statystycznych

1. H : F(x) ∈ D, gdzie D jest zbiorem dystrybuant wszystkich rozkładów


normalnych (h.p.z)
2. H : λ = 2, gdzie λ jest parametrem rozkładu Poissona (h.p.p)
3. H : p ⩾ 0.5, gdzie p jest parametrem rozkładu Bernoulliego (h.p.z)
4. H : σ 2 > 1, gdzie σ 2 jest wariancją rozkładu populacji (h.n.z)
5. H : F(x) = F(y), gdzie obie funkcje są dystrybuantami dwóch populacji (h.n.z)

3
2. Podejście Fishera do testowania hipotez
Istota testów Fishera

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie definiował hipotezy


alternatywnej.

4
Istota testów Fishera

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie definiował hipotezy


alternatywnej.
Szukał rozbieżności w danych, aby odrzucić hipotezę zerową, obliczając
Ð(X|H0 )

4
Istota testów Fishera

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie definiował hipotezy


alternatywnej.
Szukał rozbieżności w danych, aby odrzucić hipotezę zerową, obliczając
Ð(X|H0 )
Test istotności (Fishera) jest procedurą polegającą na obliczeniu tego
prawdopodobieństwa, czyli tzw. p-wartości.

4
Istota testów Fishera

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie definiował hipotezy


alternatywnej.
Szukał rozbieżności w danych, aby odrzucić hipotezę zerową, obliczając
Ð(X|H0 )
Test istotności (Fishera) jest procedurą polegającą na obliczeniu tego
prawdopodobieństwa, czyli tzw. p-wartości.
p-wartość to prawdopodobieństwo zaobserwowania czegoś przynajmniej
tak skrajnego jak moje dane pod warunkiem, że hipoteza H0 jest prawdziwa.

4
Istota testów Fishera

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie definiował hipotezy


alternatywnej.
Szukał rozbieżności w danych, aby odrzucić hipotezę zerową, obliczając
Ð(X|H0 )
Test istotności (Fishera) jest procedurą polegającą na obliczeniu tego
prawdopodobieństwa, czyli tzw. p-wartości.
p-wartość to prawdopodobieństwo zaobserwowania czegoś przynajmniej
tak skrajnego jak moje dane pod warunkiem, że hipoteza H0 jest prawdziwa.
Odrzucenie hipotezy następuje jeśli to prawdopodobieństwo jest małe
(mniejsze od przyjętego poziomu istotności).

4
Istota testów Fishera

Fisher stawiał jedną hipotezę H0 , a w jawny sposób nie definiował hipotezy


alternatywnej.
Szukał rozbieżności w danych, aby odrzucić hipotezę zerową, obliczając
Ð(X|H0 )
Test istotności (Fishera) jest procedurą polegającą na obliczeniu tego
prawdopodobieństwa, czyli tzw. p-wartości.
p-wartość to prawdopodobieństwo zaobserwowania czegoś przynajmniej
tak skrajnego jak moje dane pod warunkiem, że hipoteza H0 jest prawdziwa.
Odrzucenie hipotezy następuje jeśli to prawdopodobieństwo jest małe
(mniejsze od przyjętego poziomu istotności).
Później Fisher twierdził, że p-wartości należy oddzielić od decyzji
dotyczącej przyjęcia lub odrzucenia H0 .

4
Procedura testowania według Fishera

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).

5
Procedura testowania według Fishera

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).


2. Dane ujmuje się w syntetyczny sposób, za pomocą statystyki testowej o
znanym rozkładzie.

5
Procedura testowania według Fishera

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).


2. Dane ujmuje się w syntetyczny sposób, za pomocą statystyki testowej o
znanym rozkładzie.
3. Znany rozkład jest podstawą rankingu dziwnych/skrajnych obserwacji.

5
Procedura testowania według Fishera

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).


2. Dane ujmuje się w syntetyczny sposób, za pomocą statystyki testowej o
znanym rozkładzie.
3. Znany rozkład jest podstawą rankingu dziwnych/skrajnych obserwacji.
4. Dowodem przeciwko hipotezie (zerowej) jest p-wartość, która równa jest
prawdopodobieństwu zaobserwowania czegoś tak dziwnego (skrajnego) jak
to co zostało zaobserwowane lub jeszcze bardziej dziwnego przy założeniu
prawdziwości hipotezy.

p-wartość = Ð (T(X) ⩾ t(x)|H)

5
Procedura testowania według Fishera

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).


2. Dane ujmuje się w syntetyczny sposób, za pomocą statystyki testowej o
znanym rozkładzie.
3. Znany rozkład jest podstawą rankingu dziwnych/skrajnych obserwacji.
4. Dowodem przeciwko hipotezie (zerowej) jest p-wartość, która równa jest
prawdopodobieństwu zaobserwowania czegoś tak dziwnego (skrajnego) jak
to co zostało zaobserwowane lub jeszcze bardziej dziwnego przy założeniu
prawdziwości hipotezy.

p-wartość = Ð (T(X) ⩾ t(x)|H)

5. Punktem odniesienia w ocenie p wartości jest mała liczba np. α, tzw.


poziom istotności, który należy założyć.

5
Procedura testowania według Fishera

1. Dany jest probabilistyczny model badanego zjawiska (dla danych).


2. Dane ujmuje się w syntetyczny sposób, za pomocą statystyki testowej o
znanym rozkładzie.
3. Znany rozkład jest podstawą rankingu dziwnych/skrajnych obserwacji.
4. Dowodem przeciwko hipotezie (zerowej) jest p-wartość, która równa jest
prawdopodobieństwu zaobserwowania czegoś tak dziwnego (skrajnego) jak
to co zostało zaobserwowane lub jeszcze bardziej dziwnego przy założeniu
prawdziwości hipotezy.

p-wartość = Ð (T(X) ⩾ t(x)|H)

5. Punktem odniesienia w ocenie p wartości jest mała liczba np. α, tzw.


poziom istotności, który należy założyć.
6. Z faktu braku dowodów przeciwko hipotezie nie wynika jej przyjęcie.

5
Ilustracja podejścia Fishera

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).


Zweryfikujmy hipotezę H : µ = 0. Do jej weryfikacji wykorzystajmy statystykę t

X − 0√
t= n.
S

6
Ilustracja podejścia Fishera

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).


Zweryfikujmy hipotezę H : µ = 0. Do jej weryfikacji wykorzystajmy statystykę t

X − 0√
t= n.
S

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może


błędnie przyjęto rozkład, a może obserwacje nie mają tej samej wariancji.

6
Ilustracja podejścia Fishera

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).


Zweryfikujmy hipotezę H : µ = 0. Do jej weryfikacji wykorzystajmy statystykę t

X − 0√
t= n.
S

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może


błędnie przyjęto rozkład, a może obserwacje nie mają tej samej wariancji.
Dlaczego syntetycznie opisujemy dane statystyką t?

6
Ilustracja podejścia Fishera

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).


Zweryfikujmy hipotezę H : µ = 0. Do jej weryfikacji wykorzystajmy statystykę t

X − 0√
t= n.
S

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może


błędnie przyjęto rozkład, a może obserwacje nie mają tej samej wariancji.
Dlaczego syntetycznie opisujemy dane statystyką t?

6
Ilustracja podejścia Fishera

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).


Zweryfikujmy hipotezę H : µ = 0. Do jej weryfikacji wykorzystajmy statystykę t

X − 0√
t= n.
S

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może


błędnie przyjęto rozkład, a może obserwacje nie mają tej samej wariancji.
Dlaczego syntetycznie opisujemy dane statystyką t? Względy praktyczne:
trzeba znać rozkład statystyki,

6
Ilustracja podejścia Fishera

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).


Zweryfikujmy hipotezę H : µ = 0. Do jej weryfikacji wykorzystajmy statystykę t

X − 0√
t= n.
S

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może


błędnie przyjęto rozkład, a może obserwacje nie mają tej samej wariancji.
Dlaczego syntetycznie opisujemy dane statystyką t? Względy praktyczne:
trzeba znać rozkład statystyki,
w praktyce nie jest znana σ 2

6
Ilustracja podejścia Fishera

Niech X1, X2, . . . , Xn będą niezależne o tym samym rozkładzie N (µ, σ 2 ).


Zweryfikujmy hipotezę H : µ = 0. Do jej weryfikacji wykorzystajmy statystykę t

X − 0√
t= n.
S

Co oznacza jej odrzucenie: µ , 0? Może dane nie są niezależne, może


błędnie przyjęto rozkład, a może obserwacje nie mają tej samej wariancji.
Dlaczego syntetycznie opisujemy dane statystyką t? Względy praktyczne:
trzeba znać rozkład statystyki,
w praktyce nie jest znana σ 2
a dlaczego nie t – jeśli istnieje inna, też można użyć.

6
Przykłady weryfikacji hipotez według Fishera
Zadanie 1. Postanowiono zweryfikować hipotezę, że przeciętna wieku osób,
które w zeszłym roku przynajmniej raz były w teatrze, wynosi 50 lat. W tym
celu pobrano próbę o liczebności n = 16 osób i na tej podstawie oszacowano
średnią wieku x = 45.5 oraz odchylenie standardowe s = 8. Do weryfikacji
wykorzystać model
X − µ0 √
t= n ∼ t(n − 1)
S

7
Przykłady weryfikacji hipotez według Fishera
Zadanie 1. Postanowiono zweryfikować hipotezę, że przeciętna wieku osób,
które w zeszłym roku przynajmniej raz były w teatrze, wynosi 50 lat. W tym
celu pobrano próbę o liczebności n = 16 osób i na tej podstawie oszacowano
średnią wieku x = 45.5 oraz odchylenie standardowe s = 8. Do weryfikacji
wykorzystać model
X − µ0 √
t= n ∼ t(n − 1)
S
Zadanie 2. Twoja firma produkuje olejek do opalania z filtrami UVA i UVB.
Wynajęta firma badawcza ma porównać go z produktem konkurencji. Badanie
polegało na poddaniu 20 osób na działanie promieni słonecznych i pomiarze
ochrony każdego produktu. Dla 13 badanych produkt twojej firmy okazał się
lepszy (lepiej chronił skórę). Tym samym dla 7 badanych produkt konkurencji
odznaczał się lepszą ochroną. Czy istnieją wystarczające dowody pozwalające
w reklamie mówić o lepszej ochronie przed promieniami. Wykorzystać dwie
statystyki. Pierwszą (Walda) – opartą na asymptotycznym rozkładzie
estymatora ML, drugą (score test) – o następującej postaci:
p̂ − p0 √
√ n ⇝ N (0, 1)
p0 (1 − p0 )
7
3. Model Neymana-Pearsona testowania hipotez
Hipoteza zerowa i alternatywna

Mamy model probabilistyczny opisujący naturalną zmienność wyników.


Możliwe rozkłady można podzielić na takie, dla których hipoteza jest
prawdziwa i takie, dla których jest fałszywa. Wobec tego formułuje się:

8
Hipoteza zerowa i alternatywna

Mamy model probabilistyczny opisujący naturalną zmienność wyników.


Możliwe rozkłady można podzielić na takie, dla których hipoteza jest
prawdziwa i takie, dla których jest fałszywa. Wobec tego formułuje się:

1. Hipotezę zerową
H0 : θ ∈ Θ0

8
Hipoteza zerowa i alternatywna

Mamy model probabilistyczny opisujący naturalną zmienność wyników.


Możliwe rozkłady można podzielić na takie, dla których hipoteza jest
prawdziwa i takie, dla których jest fałszywa. Wobec tego formułuje się:

1. Hipotezę zerową
H0 : θ ∈ Θ0
2. Hipotezę alternatywną
H1 : θ ∈ Θ1
gdzie możliwe rozkłady Θ = Θ0 ∪ Θ1

8
Obszar odrzucenia

Definicja
Podzbiór R przestrzeni próby X , dla którego hipoteza H0 jest odrzucana,
nazywa się obszarem odrzucenia lub obszarem krytycznym. Dopełnienie
obszaru krytycznego Rc = X \ R.

9
Obszar odrzucenia

Definicja
Podzbiór R przestrzeni próby X , dla którego hipoteza H0 jest odrzucana,
nazywa się obszarem odrzucenia lub obszarem krytycznym. Dopełnienie
obszaru krytycznego Rc = X \ R.

Test zazwyczaj opisywany jest w terminach pewnej statystyki testowej T(X)


będącej funkcją próby.

9
Obszar odrzucenia

Definicja
Podzbiór R przestrzeni próby X , dla którego hipoteza H0 jest odrzucana,
nazywa się obszarem odrzucenia lub obszarem krytycznym. Dopełnienie
obszaru krytycznego Rc = X \ R.

Test zazwyczaj opisywany jest w terminach pewnej statystyki testowej T(X)


będącej funkcją próby.
Statystyka ta zwana jest statystyką testową.

9
Obszar odrzucenia

Definicja
Podzbiór R przestrzeni próby X , dla którego hipoteza H0 jest odrzucana,
nazywa się obszarem odrzucenia lub obszarem krytycznym. Dopełnienie
obszaru krytycznego Rc = X \ R.

Test zazwyczaj opisywany jest w terminach pewnej statystyki testowej T(X)


będącej funkcją próby.
Statystyka ta zwana jest statystyką testową.
Jeśli obliczona na podstawie próby wartość statystyki testowej T(x) ∈ R,
wtedy hipotezę H0 odrzucamy.

9
Obszar odrzucenia

Definicja
Podzbiór R przestrzeni próby X , dla którego hipoteza H0 jest odrzucana,
nazywa się obszarem odrzucenia lub obszarem krytycznym. Dopełnienie
obszaru krytycznego Rc = X \ R.

Test zazwyczaj opisywany jest w terminach pewnej statystyki testowej T(X)


będącej funkcją próby.
Statystyka ta zwana jest statystyką testową.
Jeśli obliczona na podstawie próby wartość statystyki testowej T(x) ∈ R,
wtedy hipotezę H0 odrzucamy.
Zazwyczaj R = {x : T(x) > c}, gdzie c jest wartością krytyczną.

9
Błędy i moc testu

W postępowaniu decyzyjnym, możliwe są dwie błędne decyzje, które


nazywamy błędem I i II rodzaju.

10
Błędy i moc testu

W postępowaniu decyzyjnym, możliwe są dwie błędne decyzje, które


nazywamy błędem I i II rodzaju.
1. błędem I rodzaju – nazywamy odrzucenie sprawdzanej hipotezy H0 , w
sytuacji gdy jest ona prawdziwa. Prawdopodobieństwo popełnienie tego
błędu jest równe
Ð (T(X) ∈ R|H0 ) = α

10
Błędy i moc testu

W postępowaniu decyzyjnym, możliwe są dwie błędne decyzje, które


nazywamy błędem I i II rodzaju.
1. błędem I rodzaju – nazywamy odrzucenie sprawdzanej hipotezy H0 , w
sytuacji gdy jest ona prawdziwa. Prawdopodobieństwo popełnienie tego
błędu jest równe
Ð (T(X) ∈ R|H0 ) = α
2. błędem II rodzaju – nazywamy przyjęcie sprawdzanej hipotezy H0 wtedy,
gdy jest ona fałszywa. Prawdopodobieństwo popełnienia tego błędu jest
równe ( )
Ð T(X) ∈ Rc |H1 = β

10
Błędy i moc testu

W postępowaniu decyzyjnym, możliwe są dwie błędne decyzje, które


nazywamy błędem I i II rodzaju.
1. błędem I rodzaju – nazywamy odrzucenie sprawdzanej hipotezy H0 , w
sytuacji gdy jest ona prawdziwa. Prawdopodobieństwo popełnienie tego
błędu jest równe
Ð (T(X) ∈ R|H0 ) = α
2. błędem II rodzaju – nazywamy przyjęcie sprawdzanej hipotezy H0 wtedy,
gdy jest ona fałszywa. Prawdopodobieństwo popełnienia tego błędu jest
równe ( )
Ð T(X) ∈ Rc |H1 = β
3. mocą testu – nazywamy prawdopodobieństwo odrzucenia sprawdzanej
hipotezy H0 wtedy, gdy jest ona fałszywa.
( )
M = Ð (T(X) ∈ R|H1 ) = 1 − Ð T(X) ∈ Rc |H1 = 1 − β

10
Uwagi odnośnie błędów I i II

1. Chcemy budować testy, dla których prawdopodobieństwo obu błędów


byłoby możliwie jak najmniejsze.

11
Uwagi odnośnie błędów I i II

1. Chcemy budować testy, dla których prawdopodobieństwo obu błędów


byłoby możliwie jak najmniejsze.
2. Niestety, dla ustalonej wielkości próby nie można kontrolować obu tych
prawdopodobieństw jednocześnie.

11
Uwagi odnośnie błędów I i II

1. Chcemy budować testy, dla których prawdopodobieństwo obu błędów


byłoby możliwie jak najmniejsze.
2. Niestety, dla ustalonej wielkości próby nie można kontrolować obu tych
prawdopodobieństw jednocześnie.
3. Propozycja Neymana-Pearsona opiera się na fakcie, że mamy różny
stosunek do hipotez H0 i H1 .

11
Uwagi odnośnie błędów I i II

1. Chcemy budować testy, dla których prawdopodobieństwo obu błędów


byłoby możliwie jak najmniejsze.
2. Niestety, dla ustalonej wielkości próby nie można kontrolować obu tych
prawdopodobieństw jednocześnie.
3. Propozycja Neymana-Pearsona opiera się na fakcie, że mamy różny
stosunek do hipotez H0 i H1 .
4. W konsekwencji błąd I rodzaju odgrywa większą rolę niż błąd II rodzaju.

11
Uwagi odnośnie błędów I i II

1. Chcemy budować testy, dla których prawdopodobieństwo obu błędów


byłoby możliwie jak najmniejsze.
2. Niestety, dla ustalonej wielkości próby nie można kontrolować obu tych
prawdopodobieństw jednocześnie.
3. Propozycja Neymana-Pearsona opiera się na fakcie, że mamy różny
stosunek do hipotez H0 i H1 .
4. W konsekwencji błąd I rodzaju odgrywa większą rolę niż błąd II rodzaju.
5. Dlatego wśród testów poszukuje się takich, które kontrolują
prawdopodobieństwo błędu I rodzaju na przyjętym poziomie istotności, a
jednocześnie minimalizują prawdopodobieństwo błędu II rodzaju.

11
Związek między prawdopodobieństwami błędów
Zakładamy, że Xi ∼ N (µ, σ 2 ), gdzie σ 2 jest znane, a i = 1, . . . , n.

Stawiamy hipotezy: Wykorzystujemy statystykę:

H0 : µ = µ 0 (µ = 10) X̄ − µ0 √
Z= n
H1 : µ > µ 0 (µ = 15) σ

12
Związek między prawdopodobieństwami błędów
Zakładamy, że Xi ∼ N (µ, σ 2 ), gdzie σ 2 jest znane, a i = 1, . . . , n.

Stawiamy hipotezy: Wykorzystujemy statystykę:

H0 : µ = µ 0 (µ = 10) X̄ − µ0 √
Z= n
H1 : µ > µ 0 (µ = 15) σ

Wtedy:
α = Ð(Z > z(1 − α) | H0 : Xi ∼ N (10, σ 2 ))
β = Ð(Z ⩽ z(1 − α) | H1 : Xi ∼ N (15, σ 2 ))

12
Związek między prawdopodobieństwami błędów
Zakładamy, że Xi ∼ N (µ, σ 2 ), gdzie σ 2 jest znane, a i = 1, . . . , n.

Stawiamy hipotezy: Wykorzystujemy statystykę:

H0 : µ = µ 0 (µ = 10) X̄ − µ0 √
Z= n
H1 : µ > µ 0 (µ = 15) σ

Wtedy:
α = Ð(Z > z(1 − α) | H0 : Xi ∼ N (10, σ 2 ))
β = Ð(Z ⩽ z(1 − α) | H1 : Xi ∼ N (15, σ 2 ))

0.20
H 0 : µ = 10 H 1 : µ = 15

0.15
Gęstość

0.10 β 1−β

0.05 α

0.00
5 10 15 20
12
Zmniejszanie prawdopodobieństwa błędu I rodzaju
Prawdopodobieństwa : α = 0.05, β = 0.2, Moc = 0.8

0.20
H 0 : µ = 10 H 1 : µ = 15

0.15
Gęstość

0.10 β 1−β

0.05 α

0.00
5 10 15 20

Prawdopodobieństwa : α = 0.01, β = 0.43, Moc = 0.57

0.20
H 0 : µ = 10 H 1 : µ = 15

0.15
Gęstość

0.10 β 1−β

0.05 α

0.00
5 10 15 20
13
4. Testy oparte na ilorazie funkcji wiarygodności
Przykład wprowadzający

Rozważmy dwa konkurencyjne modele opisujące odsetek osób regularnie


pijących soki owocowe we Wrocławiu.
Model 1: rozkład Bernoulliego z parametrem p = 0.6 → H0

14
Przykład wprowadzający

Rozważmy dwa konkurencyjne modele opisujące odsetek osób regularnie


pijących soki owocowe we Wrocławiu.
Model 1: rozkład Bernoulliego z parametrem p = 0.6 → H0
Model 2: rozkład Bernoulliego z parametrem p , 0.6 → H1

14
Przykład wprowadzający

Rozważmy dwa konkurencyjne modele opisujące odsetek osób regularnie


pijących soki owocowe we Wrocławiu.
Model 1: rozkład Bernoulliego z parametrem p = 0.6 → H0
Model 2: rozkład Bernoulliego z parametrem p , 0.6 → H1

14
Przykład wprowadzający

Rozważmy dwa konkurencyjne modele opisujące odsetek osób regularnie


pijących soki owocowe we Wrocławiu.
Model 1: rozkład Bernoulliego z parametrem p = 0.6 → H0
Model 2: rozkład Bernoulliego z parametrem p , 0.6 → H1
Model 1 traktujemy jako mało prawdopodobny, poszukując dowodów na jego
nieprawdziwość. W tym celu
przeprowadźmy badanie, w następstwie którego będziemy dysponować
próbą;

14
Przykład wprowadzający

Rozważmy dwa konkurencyjne modele opisujące odsetek osób regularnie


pijących soki owocowe we Wrocławiu.
Model 1: rozkład Bernoulliego z parametrem p = 0.6 → H0
Model 2: rozkład Bernoulliego z parametrem p , 0.6 → H1
Model 1 traktujemy jako mało prawdopodobny, poszukując dowodów na jego
nieprawdziwość. W tym celu
przeprowadźmy badanie, w następstwie którego będziemy dysponować
próbą;
spróbujmy ocenić wiarygodność zaobserwowania wyników badania, w
zależności od wartości parametru;

14
Przykład wprowadzający

Rozważmy dwa konkurencyjne modele opisujące odsetek osób regularnie


pijących soki owocowe we Wrocławiu.
Model 1: rozkład Bernoulliego z parametrem p = 0.6 → H0
Model 2: rozkład Bernoulliego z parametrem p , 0.6 → H1
Model 1 traktujemy jako mało prawdopodobny, poszukując dowodów na jego
nieprawdziwość. W tym celu
przeprowadźmy badanie, w następstwie którego będziemy dysponować
próbą;
spróbujmy ocenić wiarygodność zaobserwowania wyników badania, w
zależności od wartości parametru;
podstawą oceny powinna być wartość funkcji wiarygodności.

14
Przykład wprowadzający – wykres logarytmu f. wiarygodności


−60

−80
logL

−100

−120

0.3 0.6 1.0


p

15
Przykład wprowadzający – iloraz funkcji wiarygodności

Logarytm funkcji wiarygodności w rozkładzie Bernoulliego ma postać



n ∑
n
log L(p) = xi log p + (1 − xi ) log(1 − p)
i=1 i=1
= nx log p + n(1 − x) log(1 − p).

16
Przykład wprowadzający – iloraz funkcji wiarygodności

Logarytm funkcji wiarygodności w rozkładzie Bernoulliego ma postać



n ∑
n
log L(p) = xi log p + (1 − xi ) log(1 − p)
i=1 i=1
= nx log p + n(1 − x) log(1 − p).

Wiemy, że estymator największej wiarygodności p̂ = x. Obliczmy wiarygodność


w zależności od hipotezy

H0 : p = 0.6 ⇒ log L(p) = nx log(0.6) + n(1 − x) log(0.4)


H1 : p , 0.6 ⇒ log L(p̂) = nx log(x) + n(1 − x) log(1 − x)

16
Przykład wprowadzający – iloraz funkcji wiarygodności

Logarytm funkcji wiarygodności w rozkładzie Bernoulliego ma postać



n ∑
n
log L(p) = xi log p + (1 − xi ) log(1 − p)
i=1 i=1
= nx log p + n(1 − x) log(1 − p).

Wiemy, że estymator największej wiarygodności p̂ = x. Obliczmy wiarygodność


w zależności od hipotezy

H0 : p = 0.6 ⇒ log L(p) = nx log(0.6) + n(1 − x) log(0.4)


H1 : p , 0.6 ⇒ log L(p̂) = nx log(x) + n(1 − x) log(1 − x)

Do porównania weźmy iloraz wiarygodności i zlogarytmujmy go


( )
L(p̂) x 0.4 1−x
log = nx log + log + n log
L(p) 0.6 1−x 0.4

16
Przykład wprowadzający – wnioski

Załóżmy, że badanie
przeprowadzono na grupie n = 100
osób.

17
Przykład wprowadzający – wnioski

Załóżmy, że badanie
przeprowadzono na grupie n = 100
osób.
Okazało się, że p̂ = x = 0.75

17
Przykład wprowadzający – wnioski

Załóżmy, że badanie
przeprowadzono na grupie n = 100
osób.
Okazało się, że p̂ = x = 0.75
Oszacowany iloraz wiarygodności,
przy założeniu prawdziwości H0 ,
wyniósł 5.0.

17
Przykład wprowadzający – wnioski

Załóżmy, że badanie
przeprowadzono na grupie n = 100
osób.
Okazało się, że p̂ = x = 0.75
Oszacowany iloraz wiarygodności,
przy założeniu prawdziwości H0 ,
wyniósł 5.0.
Jaki z tego wniosek?

17
Przykład wprowadzający – wnioski

Załóżmy, że badanie
przeprowadzono na grupie n = 100
osób.
Okazało się, że p̂ = x = 0.75
Oszacowany iloraz wiarygodności,
przy założeniu prawdziwości H0 ,
wyniósł 5.0.
Jaki z tego wniosek?
Czy można podjąć decyzję za
odrzuceniem hipotezy H0
przyjmując tym samym hipotezę
alternatywną H1 ?

17
Przykład wprowadzający – wnioski

Załóżmy, że badanie
przeprowadzono na grupie n = 100
osób.
Okazało się, że p̂ = x = 0.75
Oszacowany iloraz wiarygodności,
przy założeniu prawdziwości H0 ,
wyniósł 5.0.
Jaki z tego wniosek?
Czy można podjąć decyzję za
odrzuceniem hipotezy H0
przyjmując tym samym hipotezę
alternatywną H1 ?

17
Przykład wprowadzający – wnioski

Iloraz wiarygodności zależny od x i n


p̂⧹n 10 50 100 200 500
0.1 5.5 27.5 55.1 110.1 275.3
Załóżmy, że badanie 0.15 4.3 21.6 43.3 86.6 216.4
przeprowadzono na grupie n = 100 0.2 3.3 16.7 33.5 67.0 167.4
osób. 0.25 2.5 12.6 25.3 50.5 126.3
0.3 1.8 9.2 18.4 36.8 91.9
Okazało się, że p̂ = x = 0.75 0.35 1.3 6.3 12.7 25.4 63.5
Oszacowany iloraz wiarygodności, 0.4 0.8 4.1 8.1 16.2 40.5
przy założeniu prawdziwości H0 , 0.45 0.5 2.3 4.6 9.1 22.8
wyniósł 5.0. 0.5 0.2 1.0 2.0 4.1 10.2
0.55 0.1 0.3 0.5 1.0 2.6
Jaki z tego wniosek?
0.6 0.0 0.0 0.0 0.0 0.0
Czy można podjąć decyzję za 0.65 0.1 0.3 0.5 1.1 2.6
odrzuceniem hipotezy H0 0.7 0.2 1.1 2.2 4.3 10.8
przyjmując tym samym hipotezę 0.75 0.5 2.5 5.0 10.0 24.9
alternatywną H1 ? 0.8 0.9 4.6 9.2 18.3 45.8
0.85 1.5 7.4 14.9 29.8 74.5
0.9 2.3 11.3 22.6 45.3 113.1

17
Test ilorazu wiarygodności

1. Rozważmy następujące hipotezy

H0 : θ ∈ Θ0 kontra H1 : θ ∈ Θ1 = Θ \ Θ0

18
Test ilorazu wiarygodności

1. Rozważmy następujące hipotezy

H0 : θ ∈ Θ0 kontra H1 : θ ∈ Θ1 = Θ \ Θ0

2. Statystyka oparta na ilorazie wiarygodności jest równa

supθ ∈Θ L(θ|X) L(θ̂)


λ(X) = =
supθ ∈Θ0 L(θ|X) L(θ̂0 )

18
Test ilorazu wiarygodności

1. Rozważmy następujące hipotezy

H0 : θ ∈ Θ0 kontra H1 : θ ∈ Θ1 = Θ \ Θ0

2. Statystyka oparta na ilorazie wiarygodności jest równa

supθ ∈Θ L(θ|X) L(θ̂)


λ(X) = =
supθ ∈Θ0 L(θ|X) L(θ̂0 )

3. Obszar odrzucenia definiujemy jako zbiór tych x ∈ X, dla których

λ(x) > λ 0

gdzie stała λ 0 dobrana jest tak, aby na poziomie istotności α

Ð(λ(X) > λ 0 ) = α .

18
Rozkład statystyki testowej

Twierdzenie
Niech będzie dany wektor parametrów θ = (θ1 , . . . , θq , θq+1 , . . . θr ) oraz

Θ0 = (θq+1, . . . θr )

Jeśli H0 : θ ∈ Θ0 , wtedy
2
Y = 2 log λ(X) ⇝ χr−q
ma rozkład χ 2 z (r − q) stopniami swobody. Jeżeli testujemy hipotezę
H0 : θ = θ0 , wtedy rozkład χ 2 ma jeden stopień swobody co piszemy χ 2 (1).

19
Rozkład statystyki testowej

Twierdzenie
Niech będzie dany wektor parametrów θ = (θ1 , . . . , θq , θq+1 , . . . θr ) oraz

Θ0 = (θq+1, . . . θr )

Jeśli H0 : θ ∈ Θ0 , wtedy
2
Y = 2 log λ(X) ⇝ χr−q
ma rozkład χ 2 z (r − q) stopniami swobody. Jeżeli testujemy hipotezę
H0 : θ = θ0 , wtedy rozkład χ 2 ma jeden stopień swobody co piszemy χ 2 (1).

W decyzji odnośnie odrzucenia H0 można posłużyć się p-wartością, którą


obliczamy
p-wartość = Ð (Y > 2 log λ obl (x))
gdzie obl. oznacza obliczoną wartość statystyki testowej.

19
Zadania

Zadanie 3. W przykładzie wprowadzającym o sokach owocowych zweryfikować


postawioną tam hipotezę. Obliczyć również p-wartość.

20
Zadania

Zadanie 3. W przykładzie wprowadzającym o sokach owocowych zweryfikować


postawioną tam hipotezę. Obliczyć również p-wartość.

Zadanie 4. Zbudowano dwa modele (A i B), które mają wyjaśnić przesłanki


wyboru jednego z dwóch produktów. W modelu A uwzględniono 5 atrybutów
(zmiennych), natomiast w modelu B zredukowano liczbę atrybutów do 3. Czy
można powiedzieć, że model A jest lepszy? Wiemy, że parametry modeli
oszacowano metodą największej wiarygodności, a wartości funkcji
wiarygodności wyniosły 127 i 30 odpowiednio dla modelu A i B.

20
Uwagi na temat p-value

Amerykańskie Towarzystwo Statystyczne (2016) wydało oświadczenie


odnośnie błędów w interpretacji p-wartości:
1. P-wartość jest jednym ze sposobów pokazujących rozbieżność między
danymi a proponowanym modelem statystycznym.

21
Uwagi na temat p-value

Amerykańskie Towarzystwo Statystyczne (2016) wydało oświadczenie


odnośnie błędów w interpretacji p-wartości:
1. P-wartość jest jednym ze sposobów pokazujących rozbieżność między
danymi a proponowanym modelem statystycznym.
2. P-wartość nie jest prawdopodobieństwem, że hipoteza zerowa jest
prawdziwa.

21
Uwagi na temat p-value

Amerykańskie Towarzystwo Statystyczne (2016) wydało oświadczenie


odnośnie błędów w interpretacji p-wartości:
1. P-wartość jest jednym ze sposobów pokazujących rozbieżność między
danymi a proponowanym modelem statystycznym.
2. P-wartość nie jest prawdopodobieństwem, że hipoteza zerowa jest
prawdziwa.
3. Decyzje (badania naukowe, problemy biznesowe) nie powinny być
podejmowane jedynie na podstawie punktu odcięcia 0.05, tzn. p-wartość
mniejsza/większa

21
Uwagi na temat p-value

Amerykańskie Towarzystwo Statystyczne (2016) wydało oświadczenie


odnośnie błędów w interpretacji p-wartości:
1. P-wartość jest jednym ze sposobów pokazujących rozbieżność między
danymi a proponowanym modelem statystycznym.
2. P-wartość nie jest prawdopodobieństwem, że hipoteza zerowa jest
prawdziwa.
3. Decyzje (badania naukowe, problemy biznesowe) nie powinny być
podejmowane jedynie na podstawie punktu odcięcia 0.05, tzn. p-wartość
mniejsza/większa
4. Właściwe podejście do wnioskowania wymaga pełnej informacji i
całkowitej przejrzystości (cherry-picking, significance chasing, p-hacking,
the garden of forking paths).

21
Uwagi na temat p-value

Amerykańskie Towarzystwo Statystyczne (2016) wydało oświadczenie


odnośnie błędów w interpretacji p-wartości:
1. P-wartość jest jednym ze sposobów pokazujących rozbieżność między
danymi a proponowanym modelem statystycznym.
2. P-wartość nie jest prawdopodobieństwem, że hipoteza zerowa jest
prawdziwa.
3. Decyzje (badania naukowe, problemy biznesowe) nie powinny być
podejmowane jedynie na podstawie punktu odcięcia 0.05, tzn. p-wartość
mniejsza/większa
4. Właściwe podejście do wnioskowania wymaga pełnej informacji i
całkowitej przejrzystości (cherry-picking, significance chasing, p-hacking,
the garden of forking paths).
5. P-wartość, albo istotność statystyczna, nie mierzą rozmiaru efektu i nie
mówią o ważności wyniku.

21
Uwagi na temat p-value

Amerykańskie Towarzystwo Statystyczne (2016) wydało oświadczenie


odnośnie błędów w interpretacji p-wartości:
1. P-wartość jest jednym ze sposobów pokazujących rozbieżność między
danymi a proponowanym modelem statystycznym.
2. P-wartość nie jest prawdopodobieństwem, że hipoteza zerowa jest
prawdziwa.
3. Decyzje (badania naukowe, problemy biznesowe) nie powinny być
podejmowane jedynie na podstawie punktu odcięcia 0.05, tzn. p-wartość
mniejsza/większa
4. Właściwe podejście do wnioskowania wymaga pełnej informacji i
całkowitej przejrzystości (cherry-picking, significance chasing, p-hacking,
the garden of forking paths).
5. P-wartość, albo istotność statystyczna, nie mierzą rozmiaru efektu i nie
mówią o ważności wyniku.
6. Sama p-wartość nie jest wystarczającą miarą rozstrzygającą o modelu czy
hipotezie.

21
5. Wybrane, parametryczne testy statystyczne
Procedura testowa – kroki

1. Postawić hipotezę zerową H0 i alternatywną H1 .

22
Procedura testowa – kroki

1. Postawić hipotezę zerową H0 i alternatywną H1 .


2. Przyjąć poziom istotności testu α.

22
Procedura testowa – kroki

1. Postawić hipotezę zerową H0 i alternatywną H1 .


2. Przyjąć poziom istotności testu α.
3. W zależności od hipotez wybrać odpowiedni model i statystykę testową.

22
Procedura testowa – kroki

1. Postawić hipotezę zerową H0 i alternatywną H1 .


2. Przyjąć poziom istotności testu α.
3. W zależności od hipotez wybrać odpowiedni model i statystykę testową.
4. Wyznaczyć tzw. obszar odrzucenia. Zamiast wyznaczania obszaru
odrzucenia można obliczyć p-wartość.

22
Procedura testowa – kroki

1. Postawić hipotezę zerową H0 i alternatywną H1 .


2. Przyjąć poziom istotności testu α.
3. W zależności od hipotez wybrać odpowiedni model i statystykę testową.
4. Wyznaczyć tzw. obszar odrzucenia. Zamiast wyznaczania obszaru
odrzucenia można obliczyć p-wartość.
5. Podjąć decyzję: jeśli wartość statystyki testowej należy do obszaru
odrzucenia (lub α ⩾ p-wartość), to hipotezę H0 należy odrzucić na korzyść
hipotezy alternatywnej H1 . W przeciwnym wypadku, należy stwierdzić, że nie
ma podstaw do jej odrzucenia.

22
Procedura testowa – kroki

1. Postawić hipotezę zerową H0 i alternatywną H1 .


2. Przyjąć poziom istotności testu α.
3. W zależności od hipotez wybrać odpowiedni model i statystykę testową.
4. Wyznaczyć tzw. obszar odrzucenia. Zamiast wyznaczania obszaru
odrzucenia można obliczyć p-wartość.
5. Podjąć decyzję: jeśli wartość statystyki testowej należy do obszaru
odrzucenia (lub α ⩾ p-wartość), to hipotezę H0 należy odrzucić na korzyść
hipotezy alternatywnej H1 . W przeciwnym wypadku, należy stwierdzić, że nie
ma podstaw do jej odrzucenia.
6. Sformułować odpowiedni wiosek pamiętając o tzw. istotności praktycznej.

22
Test dla frakcji p
Model: Niech X1, X2, . . . , Xn będzie losową próbą prostą rozmiaru n z populacji,
w której cecha X ma rozkład Bernoulliego B(1, p).
Hipotezy:

H0 : p = p0
H1 : p , p0 (p > p0 ∨ p < p0 )

Statystyka testowa:


n
T= Xi ∼ B(n, p0 ) (dokładny: dwumianowy)
i=1
∑n
T= Xi ⇝ N (np0, np0 (1 − p0 )) (asymptotyczny: Walda)
i=1

Obszar odrzucenia: R = {t : t > b(1 − α/2) ∪ t < b(α/2)} lub dla rozkładu
asymptotycznego R = {t : |t| > z(1 − α/2)}. Jaki obszar dla h. kierunkowych?
(b i z – odpowiednie kwantyle)
23
Test dla frakcji p – przykład

Zadanie 5. Poproszono 25 kobiet o wybór jednego z dwóch zapachów.


Pierwszy zapach wybrało 15 z nich. Czy można mówić o statystycznie istotnej
różnicy w wyrażonych preferencjach? Zweryfikować odpowiednią hipotezę na
poziomie α = 0.1.
1. Wykorzystać statystykę o rozkładzie dokładnym i asymptotycznym.
2. Wyznaczyć obszar odrzucenia oraz p-wartość dla obu statystyk.
3. Powtórzyć procedurę testową wykorzystując test oparty na ilorazie
funkcji wiarygodności.

24
Test dla frakcji p – przykład

Zadanie 5. Poproszono 25 kobiet o wybór jednego z dwóch zapachów.


Pierwszy zapach wybrało 15 z nich. Czy można mówić o statystycznie istotnej
różnicy w wyrażonych preferencjach? Zweryfikować odpowiednią hipotezę na
poziomie α = 0.1.
1. Wykorzystać statystykę o rozkładzie dokładnym i asymptotycznym.
2. Wyznaczyć obszar odrzucenia oraz p-wartość dla obu statystyk.
3. Powtórzyć procedurę testową wykorzystując test oparty na ilorazie
funkcji wiarygodności.

Zadanie 6. Powyższe zadanie rozwiązać z wykorzystaniem pakietu R.

24

You might also like