Takaste ocene parametara raspodele

Na osnovu uzorka treba da se odredi kakva je raspodela obeleja na populaciji Ako je tip raspodele poznat poznat, treba da se odrede parametri raspodele Poto je realizovana vrednost statistike realan broj, to ocene parametara nazivamo takaste ocene. Neka je X1, X2, ..., Xn prost sluajan uzorak obima n za posmatrano obeleje X. Statistika Y =f (X1, X2, ..., Xn ) je sluajna promenljiva koja implicitno zavisi od parametara u raspodeli obeleja X. Ako se sa Y ocenjuje parametar , tada se statistika Y . 1 naziva ocena parametra i oznaava sa

Nepristrasnost
Statistike koje j koristimo za ocenu p parametara moraju j da imaju odreene osobine. Kvalitet takastih ocena se izraava pomou matemati t tikog k oekivanja ki j i di disperzije. ij Definicija. Neka je X1, X2, ..., Xn prost sluajan uzorak obima ob a n za a obe obeleje e je X i neka e a je nepoznati epo at parametar pa a eta u raspodeli obeleja X. Statistika Y =f (X1, ..., Xn ) je nepristrasna ocena parametra ako je: E ( f (X1, ..., Xn ))= )) Koristi se i termini: centrirana ili nepomerena ocena.
2

Nepristrasnost nastavak Nepristrasnost,

p Ocena parametra koja j nema osobinu nepristrasnosti p se zove pristrasna ocena. Veliina njene pristrasnosti se meri razlikom ) E (

Ako nepristrasnost statistike Y =f (X1, ..., Xn ) kojom ocenjujemo neki parametar , vai u sluaju kada obim uzorka tei beskonanosti, tj.

lim E ( f ( X 1 ,..., X n )) =
n

kaemo da statistika Y predstavlja asimptotski nepristrasnu ocenu posmatranog parametra .

3

Stabilnost
Za realizovani uzorak x1, ..., xn raunamo realizaciju statistike t ti tik Y, tj. tj y=f f (x1, ..., xn). Y je j slu l ajna j promenljiva, lji pa e realizovana vrednost odstupati od E(Y). Poeljno je da se to odstupanje p j smanjuje j j ukoliko p poveavamo obim uzorka. Navedeno svojstvo je stabilnost (postojanost). Def. Neka je X1, ..., Xn prost sluajan uzorak obima n za obeleje X i neka je nepoznati parametar u raspodeli obeleja X. Statistika Y =f (X1, ..., Xn ) je stabilna ocena parametra ako je nepristrasna i ako

n Y , Stabilnost ocene oznaava da e se sa poveanjem obima uzorka razlika izmeu realizovane vrednosti statistike Y i stvarne vrednosti parametra smanjivati.

Efikasnost
Def. Neka j je X1, ..., , Xn p prost sluajan j uzorak obima n za obeleje X i neka je nepoznati parametar u raspodeli obeleja X. Neka su statistike Y =f (X1, ..., Xn ) i Z =g(X1, ..., Xn ) nepristrasne ocene parametra . Statistika Y je efikasnija ocena parametra od statistike Z ako je
D (Y ) D ( Z )

Statistika Y je najefikasnija ocena parametra , ako njena j di disperzija ij nije ij vea od d di disperzije ij bil bilo k koje j d druge nepristrasne ocene istog parametra
D (Y ) D ( Z )

E (Y ) = E ( Z ) =
5

Ocena parametra
najbolja velika varijansa pristrasna

) elimo malu (ili da je nula) pristrasnost E (

Oekivana vrednost treba da tei tanoj vrednosti

elimo malu varijansu

Mala pristrasnost i varijansa su u konfliktu

Nejednakost Rao-Kramera Rao Kramera

Daje donju granicu disperzije nepristrasnih ocena jednog parametra Neka je X1, ..., Xn prost sluajan uzorak parametra. obima n za obeleje X u ijoj raspodeli figurie nepoznati parametar . Neka je gustina raspodele obeleja X neprekidno g(x;), xR, obeleje Odnosno, neka je zakon raspodele obeleja X diskretno p(x;), xR, R obeleje oznaava skup dopustivih vrednosti parametra, tzv. parametarski prostor p p . Funkcija verodostojnosti je u neprekidnom sluaju:
n

L( X ; ) = g ( X j ; )
j =1

Funkcija verodostojnosti
Funkcija j verodostojnosti j u diskretnom sluaju j j je

L( X ; ) = p( X j ; )
j =1

Pod uslovima regularnosti (1) skup {X: L(X;)>0} ne zavisi od (2) L je dvaput diferencijabilna po vai nejednakost Rao-Kramera
) D ( 1 1 = 2 2 ln L ln L E E 2 je nepristrasna ocena parametra

Primer nejednakosti Rao-Kramera Rao Kramera

Oceniti matematiko oekivanje uzorka koji ima normalnu raspodelu. raspodelu
1 g ( x) = e 2 ( X m)2 22

Funkcija verodostojnosti dobijena na osnovu prostog sluajnog uzorka X1, ..., Xn obima n je
L ( X ; m) =
j =1 n

1 e 2

( X j m)2 22

2 ln L n = 2 2 m

2 ) D(m n

Opravdano p korienje j statistike X n za ocenjivanje 9 parametra m

Asimptotski efikasna ocena

Ako disperzija p j statistike Y =f (X1, ..., , Xn ) koja j j je nepristrasna ocena nekog parametra , konvergira ka donjoj granici disperzije iz nejednakosti Rao-Kramera, kada obim uzorka tei beskonanosti nosti, kaemo da statistika Y predstavlja asimptotski efikasnu ocenu parametra .

10

Metod momenata
Neka j je X1, X2, ..., , Xn p prost sluajan j uzorak obima n za obeleje X. Pretpostavimo da postoje konani momenti reda 1, 2, ..., s : E(X j), (E(|X j|<) i da u raspodeli obeleja X ima s nepoznatih parametara 1, 2, ..., s. Izjednaavanjem teorijskih momenata reda j i uzorakih momenata 1 n j M j = xk n k =1 istog reda dobijamo sistem jednaina: E(X j)=Mj, j=1, 2, ..., s (*)

Reavanjem prethodnog sistema jednaina se dobijaju ocene za 1, 2, ..., s.

11

Metoda maksimalne verodostojnosti

Ocene koje j se dobijaju j j p po metodi maksimalne verodostojnosti su esto asimptotski nepristrasne i asimptotski efikasne ocene. Neka N k j je nepoznati ti parametar t u raspodeli d li obeleja b l j X i neka je skup moguih vrednosti parametra , tzv. parametarski prostor. Neka je X1, ..., Xn prost sluajan uzorak za obeleje X i neka g(x;) oznaava gustinu raspodele obeleja X. Funkcija verodostojnosti je funkcija L(X;)= g(X1;) ... g(Xn;) Parametar emo ocenjivati j onom statistikom za koju j funkcija verodostojnosti postie supremum.
12

Metoda maksimalne verodostojnosti

Ako j je funkcija j verodostojnosti j diferencijabilna, j , najpre jp se odreuju (ako postoje) one vrednosti parametra koja su reenja jednaine d L ( X ; ) = 0 d ili

d ln( L( X ; )) = 0 d

Meu svim tim vrednostima nalazimo (ako postoje) one vrednosti za koje funkcija L, odnosno ln L postie svoj supremum.
13

FV u diskretnom sluaju
U diskretnom sluaju j funkciju j verodostojnosti j dobijamo j kao proizvod verovatnoa postizanja pojedinih vrednosti iz uzorka: L(X; X )= ) p(X1;) ... p(Xn;) gde je p(t;)=P(X=t) Zatim se odreuje ekstremna vrednost te funkcije ili njenog logaritma.

14

Viedimenzionalni parametar
U sluaju viedimenzionalnog parametra =(1,...,s) i diferencijabilne funkcije verodostojnosti najpre se odrede (ako postoje) one vrednosti parametara iz parametarskog prostora za koje vai:
L( X ; ) = 0 j

ili

ln L( X ; ) = 0 j

j = 1,..., s

Najee su ovi sistemi jednaina nelinearni, pa se reavaju koristei numerike metode analize. Kada se odrede d d reenja j sistema, i t uzimaju i j se ona reenja j za k koja j se dobija ekstremna vrednost funkcije verodostojnosti. 15

Primer metoda maks. verodostojnosti

Neka obeleje j X ima Puasonovu P() raspodelu, p , pri p emu je parametar nepoznat. Metodom maksimalne verodostojnosti odrediti statistiku kojom treba ocenjivati parametar na osnovu uzorka obima n. Funkcija verodostojnosti je n Xk n X k k =1 L( X ; ) = e = n e n k =1 X k ! X k! a njen logaritam
k =1
n n ln L( X ; ) = X k ln n ln X k ! k =1 k =1
16

Primer metoda maks. verodostojnosti

d Iz uslova ln( ( L( X ; )) = 0 d dobijamo da je ocena nepoznatog parametra statistika

=X n
U toj taki se postie maksimum funkcije verodostojnosti. verodostojnosti Oekivanje Puasonove raspodele je

E( X ) =
pa dobijeni rezultat potvruje da je upravo uzoraka sredina ocena za oekivanu vrednost obeleja.
17

Primer
Neka obeleje j X ima N(m,2) raspodelu, p ,p pri emu j je parametar m poznat, a parametar 2 nije. Metodom maksimalne verodostojnosti (MMV) odrediti ocenu nepoznatog parametra 2 na osnovu uzorka obima n. Funkcija verodostojnosti je

L( X ; 2 ) =
k =1

1 e 2

( X k m)2 22

( 2 )

( X k m)2 22
k =1

a njen logaritam

1 ln L( X ; ) = n ln n ln 2 2 2
2

2 ( X m ) k

k =1

18

Primer MMV, MMV nastavak

Kako j je 2 nepoznati p p parametar, , za reenje j j jednaine

d 2 ln L ( X ; )=0 2 d ( )
dobija se

1 n = ( X k m) 2 n k =1
2

U toj j taki j je drugi g izvod logaritma g funkcije j verodostojnosti j ~2 negativan, pa ovo potvruje izbor uzorake disperzije S n za ocenu disperzije obeleja kad je oekivanje poznato.
19

Osobine ocena metodom momenata

Ocene dobijene j metodom momenata i metodom maksimalne verodostojnosti se u nekim sluajevima poklapaju, Ocene O dobijene d bij metodom t d momenata t nisu, i u optem t sluaju efikasne, u smislu prethodno datih definicija, ( ) ima jedinstveno reenje u obliku Ako sistem (*) neprekidnih funkcija, tada ocena za nepoznati parametar konvergira u verovatnoi ka tom parametru.

20