Professional Documents
Culture Documents
Attentiepunten SET V19
Attentiepunten SET V19
Attentiepunten SET V19
__________________________________________________________
Niets uit deze uitgave mag worden verveelvoudigd en/of openbaar gemaakt door middel van druk,
fotokopie, microfilm, elektronisch op geluidsband of op welke andere wijze dan ook, zonder vooraf-
gaande schriftelijke toestemming van Nyenrode Business Universiteit.
1. Kansverdelingen
Eerst nagaan of er sprake is van een continue kansverdeling of een discrete kansverdeling.
We gebruiken hierbij de t-verdeling, dat mag alleen als gegeven is dat de populatie normaal ver-
deeld is, of als de steekproefomvang minstens 100 is.
Voor het aantal graden van vrijheid (df is degrees of freedom) nemen we df = n – 1. Als deze niet
in de tabel voorkomt, dan df verlagen tot een waarde die wel voorkomt. Als df > 200 dan df = inf
gebruiken.
Als σ van de populatie gegeven is, dan z-verdeling en σ gebruiken in plaats van t-verdeling en s.
Dan is er een populatie van N stuks met een fractie successen π en een steekproef van n stuks
met k successen.
Bij een eindige populatie en steekproeftrekking zonder teruglegging is er sprake van een hyperge-
ometrische verdeling, alleen als n/N < 0,10 mag die benaderd worden door de Binomiale verde-
ling.(Als hier niet aan voldaan is kun je niet verder!)
Bij een oneindige populatie (of bij een eindige populatie en steekproeftrekking met teruglegging) is
er sprake van de Binomiale verdeling.
2. Schatten
Schatten is het op basis van een steekproef bepalen tussen welke grenzen de populatieparameter
zal liggen, dit levert het schattingsinterval (betrouwbaarheidsinterval).
2-zijdig interval.
Zonder eindigheidcorrectie
n
Als < 0,1 dan is er geen eindigheidcorrectie nodig.
N
s
µL = x − t α / 2 ∗ .
n
s
µU = x + t α / 2 ∗ .
n
ATTENTIEPUNTEN
Statistical Estimation & Testing 1 februari-april 2019
s
De onnauwkeurigheid E van deze schatting is E = t α / 2 ∗ , de afstand van de puntschatting tot
n
de grens ofwel de helft van de totale intervalbreedte.
Als de onnauwkeurigheid van het verkregen interval niet voldoet, kan een nieuwe steekproefom-
2
t ∗s
vang berekend worden: n tot ≥ α / 2 . E krijgt dan de waarde van de gewenste onnauwkeurig-
E
heid, t en s houden de waarde uit de eerste steekproef. De steekproef uitbreiden met
n 2 = n tot − n1 .
n1 ∗ x 1 + n 2 ∗ x 2
De nieuwe puntschatting wordt nu: x tot = .
n tot
De nieuwe intervalgrenzen kunnen nu op twee manieren berekend worden:
s1
Gebruik makend van de tweefasenmethode van Stein: µ U / L = x tot ± t α / 2 [df = n1 − 1] ∗ .
n tot
Dit interval voldoet aan de gewenste onnauwkeurigheid, maar mag alleen worden toegepast als
voor de eerste steekproef geldt: n1 > 30.
s tot
Als niet aan deze voorwaarde is voldaan, dan: µ U / L = x tot ± t α / 2 [df = n tot − 1] ∗ . Nu is er geen
n tot
garantie dat aan de onnauwkeurigheidseis is voldaan en kan het nodig zijn opnieuw een steek-
proefuitbreiding uit te voeren.
Met eindigheidcorrectie
n
Als ≥ 0,1 dan is er wel een eindigheidcorrectie nodig, de grenzen worden dan:
N
s N−n
µL = x − t α / 2 ∗ ∗ .
n N−1
s N−n
µU = x + t α / 2 ∗ ∗ .
n N −1
N−n
s
De onnauwkeurigheid E van deze schatting is E = t α / 2 ∗ ∗
, de afstand van de punt-
n N−1
schatting tot de grens ofwel de helft van de totale intervalbreedte.
Als aan dit interval eisen gesteld worden met betrekking tot de onnauwkeurigheid E kan een
N E 2 ∗ (N − 1)
nieuwe steekproefomvang berekend worden: n ≥ met: γ = . E krijgt dan de
1+ γ ( t α / 2 ∗ s) 2
waarde van de gewenste onnauwkeurigheid, t en s houden de waarde uit de vorige steekproef. Er
is geen garantie dat de gewenste onnauwkeurigheid nu gehaald wordt.
1-zijdig interval
Als alleen een ondergrens nodig is, wordt het interval: [µ L ; ∞]. ( µ L naar beneden afronden.)
Als alleen een bovengrens nodig is, wordt het interval: [ −∞ ; µ U ]. ( µ U naar boven afronden.)
ATTENTIEPUNTEN
Statistical Estimation & Testing 2 februari-april 2019
2.b. Schatten bij de discrete kansverdeling
De puntschatting (of beste schatting) is p = k / n. Hierbij wordt met een betrouwbaarheid van 1 − α
een schattingsinterval voor de populatieparameter π bepaald.
2-zijdig interval.
k
pL = met ν 1 = 2 ∗ (n − k + 1) en ν 2 = 2 ∗ k .
k + (n − k + 1) ∗ Fα / 2 [ν 1, ν 2 ]
k +1
pU = met ν 1 = 2 ∗ (k + 1) en ν 2 = 2 ∗ (n − k ) .
n−k
k + 1+
Fα / 2 [ν 1, ν 2 ]
Als in de F-tabel de vrijheidsgraden ν 1 en ν 2 niet voorkomen, dan deze verlagen tot een waarde
die wel voorkomt.
Poissonbenadering:
Mag alleen als: juiste F-tabel niet aanwezig en n > 20 en p < 0,10.
(Alle drie de voorwaarden noemen!)
a1 a
pL = en p U = 2 met a 1 en a 2 uit tab. 13.5 bij (1 - α) tweezijdig.
n n
1-zijdig interval
Als alleen een ondergrens nodig is, wordt het interval: [p L ; 1] . ( p L naar beneden afronden.)
Als alleen bovengrens nodig is, wordt het interval: [0 ; p U ]. ( p U naar boven afronden.)
In voorgaande formules moet dan α/2 vervangen worden door α en moet in tab. 13.5 gekeken wor-
den bij (1 - α) eenzijdig.
3. Toetsen
Toetsen is met behulp van een steekproef nagaan of een stelling over de populatieparameter gel-
dig is. De bewering of stelling die aangetoond of bewezen moet worden, wordt de H1 – hypothese
of alternatieve hypothese genoemd. Het tegendeel daarvan wordt de H0 – hypothese of nulhypo-
these genoemd. Zolang de H1 – hypothese niet met een betrouwbaarheid van 1 – α is aangetoond,
wordt uitgegaan van de juistheid van de H0 – hypothese, de nulhypothese krijgt dus het ‘voordeel
van de twijfel’.
Omdat de conclusie van de toetsing gebaseerd is op een zekere betrouwbaarheid, is er altijd een
risico dat de conclusie onjuist is:
α – risico: de kans op het ten onrechte verwerpen van de nulhypothese, 1 – α is dan de betrouw-
baarheid van de toetsing.
β – risico: de kans op het ten onrechte niet verwerpen van de nulhypothese, 1 – β is dan het on-
derscheidingsvermogen van de toetsing.
ATTENTIEPUNTEN
Statistical Estimation & Testing 3 februari-april 2019
3.a. Toetsen bij de continue kansverdeling
Er zijn 2 methoden om de toetsing uit te voeren: met behulp van de kritieke grens en kritiek gebied
(en daar zijn ook nog twee varianten op), of op basis van een eerder berekend schattingsinterval.
Kritieke grens s s s
of grenzen: gL = µ 0 − t α ∗ gR = µ0 + t α ∗ gL = µ 0 − t α / 2 ∗
n n n
en
s
gR = µ0 + t α / 2 ∗
n
Kritiek gebied: x ≤ gL x ≥ gR x ≤ gL + x ≥ gR
Bij een linkse toetsing is β alleen gedefinieerd als µ 1 gegeven met µ 1 < µ 0 : β = P( x > gL | µ = µ1 ) .
Bij een rechtse toetsing is β alleen gedefinieerd als µ 1 gegeven met µ 1 > µ 0 : β = P( x < gR | µ = µ1 ) .
ATTENTIEPUNTEN
Statistical Estimation & Testing 4 februari-april 2019
Als een steekproef moet worden uitgebreid om te kunnen voldoen aan gestelde eisen ten aanzien
van het β-risico bij gegeven µ 1 , kan de tweestaptoets van Stein toegepast worden. Eerst de beno-
( t α + tβ )2
digde steekproefomvang berekenen: ntot = ∗ s2 . Neem df en s uit vorige steekproef (om-
(µ1 − µ0 )2
vang daarvan moet minstens 15 zijn); resultaat moet minstens 30 zijn. Hieruit volgt n 2 = n tot − n1.
x tot − µ 0
Daarna toetsen met toetsingsgrootheid t = ∗ (t α + t β ) en kritieke grens t α , allemaal met df
µ1 − µ 0
n1 ∗ x 1 + n 2 ∗ x 2
uit vorige steekproef en x tot = .
n tot
Er zijn twee varianten die ook gebaseerd zijn op de kritieke grens en het kritieke gebied, de ene
methode maakt gebruik van de standaardtoetsingsgrootheid en de andere methode maakt gebruik
van de significantie van het steekproefgemiddelde.
Benodigd schattings- [ −∞ ; µ U ]. [µ L ; ∞ ] [µ L ; µ U ]
interval:
ATTENTIEPUNTEN
Statistical Estimation & Testing 5 februari-april 2019
3.b. Toetsen bij de discrete kansverdeling
Dan moet je hypothesen over de populatiefractie π opstellen.
MP
Daarbij maak je gebruik van de controletolerantie p 0 = ,
M
waarin: MP het bedrag van de controletolerantie is en M het totale bedrag van de populatie is.
Er zijn 2 methoden om de toetsing uit te voeren: met behulp van de kritieke grens en kritiek gebied
(en daar is ook nog een variant op), of op basis van een eerder berekend schattingsinterval.
ATTENTIEPUNTEN
Statistical Estimation & Testing 6 februari-april 2019
Als het zoeken naar de kritieke grens niet lukt, dan is de steekproef te klein.
Bij een linkse toetsing kan dat alleen als p 1 gegeven met p 1 < p 0 :
- Bij gebruik binomiale verdeling: β = P(k ≥ (k kr + 1) | π = p 1 ) = 1 − P(k ≤ k kr | π = p 1 ).
- Bij gebruik Poissonverdeling: β = P(k ≥ (k kr + 1) | µ = n ∗ p 1 ) = 1 − P(k ≤ k kr | µ = n ∗ p 1 ).
Bij een rechtse toetsing kan dat alleen als p 1 gegeven met p 1 > p 0 :
- Bij gebruik binomiale verdeling: β = P(k ≤ (k kr − 1) | π = p 1 ).
- Bij gebruik Poissonverdeling: β = P(k ≤ (k kr − 1) | µ = n ∗ p 1 ).
Soms is er bij een linkse toetsing al een kritieke grens gegeven, bijvoorbeeld k kr = 0, 1 of 2 of nog
hoger en wordt er gevraagd daarbij een n te bepalen:
log( α )
bij k kr = 0 : n ≥ .
log(1 − p 0 )
a 2 [k kr ]
bij k kr = 0, 1 of 2 (of nog hoger): n ≥ . (mbv tab. 13.5)
p0
Het steekproefresultaat is k w , het waargenomen aantal successen (is aantal fouten) in de steek-
proef. De significantie van dit steekproefresultaat is de p – waarde ervan.
Benodigd schat- [0 ; p U ]. [p L ; 1] [p L ; p U ]
tingsinterval:
ATTENTIEPUNTEN
Statistical Estimation & Testing 7 februari-april 2019
4. Toetsen en schatten bij gedeeltelijke fouten
Er wordt getoetst met behulp van een schattingsinterval, op basis van gedeeltelijke fouten.
Het is alleen toepasbaar op een waarde-eenhedensteekproef en we houden alleen rekening met
posten die te hoog zijn verantwoord. We kijken alleen naar een linkse toetsing en gebruiken de
Poissonbenadering.
MLE
De waargenomen fractie fouten in de steekproef is: p w = ,
n
MF
en de bovengrens van de verwachte fractie fouten in de steekproef: p max = .
n
Populatie
ATTENTIEPUNTEN
Statistical Estimation & Testing 8 februari-april 2019
Toetsing
Hypothesen:
H0 : π ≥ p 0
H1 : π < p 0
Met π is de fractie foute euro’s in de populatie.
Conclusie:
Steekproefuitbreiding
Als geldt: p w < p 0 < p max kan het zin hebben om de steekproef uit te breiden om te kijken of een
grotere steekproef wèl tot goedkeuring van de verantwoording kan leiden.
2n 3 MF
De benodigde uitbreiding is: ∆n = ω ∗ 1 + 1 − − n , met ω = ∗ .
3 ω 4 p0
Dit geeft geen garantie, hierna moet de methode Stringer Bounds opnieuw uitgevoerd worden.
4.b. PPS-schatter
De PPS – schatter wordt alleen gebruikt bij waarde-eenhedensteekproeven en er moeten minstens
30 fouten in de steekproef zitten.
Van alle n posten in de steekproef moet per post bekend zijn het aantal verantwoorde euro’s b i en
ei
het aantal foute euro’s e i . Hiermee wordt per post de tainting bepaald: t i = .
bi
Puntschatting
ŴPPS = B ∗ (1 − t ).
Met:
ŴPPS : Puntschatting van de totale werkelijke waarde van de verantwoording met de PPS –
schatter.
B: Totale boekwaarde van de verantwoording.
t: Gemiddelde tainting in de steekproef.
ATTENTIEPUNTEN
Statistical Estimation & Testing 9 februari-april 2019
Intervalschatting
st
Standaardafwijking van de PPS – schatter: s PPS = B ∗ .
n
2-zijdig interval
st
De onnauwkeurigheid E van deze schatting is E = t α / 2 ∗ s PPS = t α / 2 ∗ B ∗ , de afstand van de
n
puntschatting tot de grens ofwel de helft van de totale intervalbreedte.
Als de onnauwkeurigheid van het verkregen interval niet voldoet, kan een nieuwe steekproefom-
2
tα / 2 ∗ st ∗ B
vang berekend worden: n tot ≥ 1
. E krijgt dan de waarde van de gewenste onnauw-
E
keurigheid, t en s houden de waarde uit de vorige steekproef. De steekproef uitbreiden met
n 2 = n tot − n1 , waarin n1 de omvang is van de vorige steekproef.
n1 ∗ t 1 + n 2 ∗ t 2
De nieuwe gemiddelde tainting wordt nu: t tot = .
n tot
st
De nieuwe intervalgrenzen worden: µ PPS U / L = (1 − t tot ) ∗ B ± t α / 2 [df = n 1 − 1] ∗ 1
∗ B.
n tot
Doordat gebruik is gemaakt van de tweefasenmethode van Stein, voldoet dit interval aan de ge-
wenste onnauwkeurigheid.
1-zijdig interval
Als alleen een ondergrens nodig is, wordt het interval: [µ PPSL ; ∞].
Als alleen een bovengrens nodig is, wordt het interval: [ −∞ ; µ PPSU ].
ATTENTIEPUNTEN
Statistical Estimation & Testing 10 februari-april 2019
5. χ2 aanpassingstoets (Chi-kwadraat, spreek uit gie kwadraat)
Uitgangspunt is een populatie met gegevens die in k klassen (of cellen) kunnen worden verdeeld.
De kans dat een gegeven in klasse i valt is π i . Voor de som van deze kansen geldt ∑ π i = 1 .
Over de grootte van die kansen wordt in de nulhypothese een veronderstelling vermeld.
Deze veronderstelling kan bijvoorbeeld van historische of theoretische aard zijn.
We toetsen met behulp van de chi-kwadraattoets of de kansverdeling in de populatie, significant
afwijkt van de in H0 veronderstelde kansen π i .
Hypothesen:
H0 : De verdeling van de gegevens van de populatie over de klassen komt overeen met de veron-
derstelling dat π1 = p 1,....., π k = p k .
H1 : De verdeling van de gegevens van de populatie komt niet overeen met die veronderstelling.
Van een steekproef van n gegevens, wordt van elk gegeven bepaald in welke klasse deze valt.
O i is het aantal gegevens uit de steekproef in klasse i. Hiervoor geldt: ∑ O i = n.
E i is het aantal gegevens dat op grond van de in H0 vermelde veronderstelling in klasse i verwacht
was. Hiervoor geldt: E i = π i ∗ n en ook weer: ∑E i = n. ( E i niet afronden op gehele waarden!)
(O i − E i ) 2
Toetsingsgrootheid: χ 2 = ∑ Ei
.
Conclusie:
ATTENTIEPUNTEN
Statistical Estimation & Testing 11 februari-april 2019
Toepassing: Benford’s Law
Benford’s Law voor het eerste cijfer
De kans dat het eerste cijfer van ‘natuurlijk ontstane’ getallen gelijk is aan i is volgens Benford’s
Law:
i + 1
P(i) = log met 1 ≤ i ≤ 9 . (Het cijfer 0 komt als 1e cijfer in een getal nooit voor!)
i
3
Bv.: de kans dat een getal met 2 begint is log = 0,17609 ...
2
Met deze kansen kan E i bepaald worden van getallenverzamelingen, waarna met de χ 2 - toets
kan worden getoetst of die verzameling Benford’s Law volgt. Er wordt dan vanuit gegaan dat een
verzameling waarin gemanipuleerde getallen voorkomen Benford’s Law niet volgt.
ij + 1
P(ij) = log met 1 ≤ i ≤ 9 en 0 ≤ j ≤ 9 .
ij
26
Bv.: de kans dat een getal met 25 begint is log = 0,01703 ...
25
- n ≥ 1000
- geen ingebouwde maximum of minimum waarde
- geen toegekende getallen
- de getallen mogen niet beïnvloed zijn door menselijk handelen
- het moeten getallen van minstens 4 cijfers zijn
ATTENTIEPUNTEN
Statistical Estimation & Testing 12 februari-april 2019