END 214 - Olasılık ve İstatistik II

DERS 8-9: NOKTASAL TAHMİN -III

2022-2023 Bahar Dönemi

Prof. Dr. Tahir HANALİOĞLU

TOBB ETÜ
1
 DERS 8-Devamı-07.02.2023-Salı
NOKTASAL TAHMİN YÖNTEMLERİ
Noktasal Tahmin yöntemleri olarak aşağıdakileri sayabiliriz:
 Momentler Yöntemi ( Öneren kişi: H. Cramer)
 En Büyük (En Çok) Olabilirlik Yöntemi (R. Fisher)
 En Küçük Kareler Yöntemi (C.Gauss)
Amacımız bu ders kapsamında Momentler Yöntemi ile En Büyük
Olabilirlik yöntemini incelemektir.

2
 MOMENTLER YÖNTEMİ
Bu yöntemi H. Cramer önermiştir. Temel prensibi aşağıdaki gibidir:

Eğer kitle dağılımı 𝐹𝜃 𝑥 , 𝜃Ԧ = 𝜃1 , 𝜃2 , … , 𝜃𝑟 şeklinde r tane bilinmeyen parametreye bağlı ise bu

takdirde, 𝐹𝜃 𝑥 dağılımının ilk r momenti hesaplanıyor. Yani,

𝑚1 = 𝐸 𝑋1 ; 𝑚2 = 𝐸 𝑋12 ; … . ; 𝑚𝑟 = 𝐸 𝑋1𝑟
oluyor.
Daha sonra bu momentler için Tutarlı Tahmin Ediciler
𝑛
olan 𝑛
1 2 1
𝑚 ത 𝑚
ෝ 1𝑛 = 𝑋; 2
ෝ 2𝑛 = 𝑋 = ෍ 𝑥𝑖 ; … ; 𝑚 ෝ 𝑟𝑛 = 𝑋 = ෍ 𝑥𝑖𝑟
𝑟
𝑛 𝑛
𝑖=1 𝑖=1
istatistikleri yazılıyor ve aşağıdaki denklemler sistemi oluşturuluyor.

3
 𝑚1 ≡ 𝑚1 𝜃1 , 𝜃2 , … , 𝜃𝑟 = 𝑋ത = 𝑚ෝ 1𝑛
𝑚2 ≡ 𝑚2 𝜃1 , 𝜃2 , … , 𝜃𝑟 = 𝑋 2 = 𝑚
ෝ 2𝑛
………………………………………….
𝑚𝑟 ≡ 𝑚𝑟 𝜃1 , 𝜃2 , … , 𝜃𝑟 = 𝑋 𝑟 = 𝑚
ෝ 𝑟𝑛

Daha sonra yukarıdaki sistemin çözümü olan 𝜃෠1𝑛 , 𝜃෠2𝑛 , … , 𝜃෠𝑟𝑛 Tahmin Edicileri elde
ediliyor. Momentler Yöntemi ile elde edilen Tahmin Edicilerin bazı koşullar
altında Tutarlı oldukları bilinmektedir. Fakat diğer özellikler her bir özel durum
için ayrıca ispat edilmelidir.

4
Örnek 1. 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 örneklemi 𝑝 parametreli Bernoulli dağılımına
sahip bir kitleden çekilmiş olsun. Momentler Yöntemini kullanarak 𝑝
parametresini tahmin ediniz.

5
Çözüm. İlk olarak Bernoulli dağılımına sahip kitle için Olasılık Fonksiyonunu
yazalım:
𝑓 𝑥, 𝑝 = 𝑝 𝑥 1 − 𝑝 1−𝑥 , x=0, 1.

𝑝 parametresini tahmin etmek için ilk olarak Bernoulli dağılımı için Birinci
Başlangıç Momentini aşağıdaki gibi yazalım:
𝑚1 = 𝐸 𝑋1 = 𝑝

Şimdi de Birinci Emprik momenti aşağıdaki gibi ifade edelim:

ෝ 1𝑛 = 𝑋ത
𝑚

6
Bu takdirde, aşağıdaki denklemi yazabiliriz:
𝑚1 = 𝑚
ෝ 1𝑛
𝑝 = 𝑋ത
Bu durumda, 𝑝 parametresi için aşağıdaki Tahmin Edicini bulmuş oluyoruz:
⇒ 𝑝Ƹ𝑛 = 𝑋ത

7
Örnek 2. 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 örneklemi 𝑝 parametreli Geometrik dağılımına
sahip bir kitleden çekilmiş olsun. Momentler Yöntemini kullanarak 𝑝
parametresini tahmin ediniz.

8
Çözüm. İlk olarak Geometrik dağılımına sahip kitle için Olasılık Fonksiyonunu
yazalım:
𝑛−1
𝑝𝑛 = 𝑝 1 − 𝑝 , n=1, 2, 3,….
𝑝 parametresini tahmin etmek için ilk olarak Geometrik dağılımı için Birinci
Başlangıç Momentini aşağıdaki gibi yazalım:

1
𝑚1 = 𝐸 𝑋1 =
𝑝
Şimdi de Birinci Emprik momenti aşağıdaki gibi ifade edelim:
ෝ 1𝑛 = 𝑋ത
𝑚

9
Şimdi aşağıdaki denklemi yazalım:
𝑚1 = 𝑚
ෝ 1𝑛

1
= 𝑋ത
𝑝

1
⇒𝑝=
𝑋ത
Bu durumda, 𝑝 parametresi için aşağıdaki Tahmin Edicini bulmuş oluyoruz:

1
⇒ 𝑝Ƹ𝑛 =
𝑋ത

10
 .

Örnek 3. 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 örneklemi 𝑎, 𝑏 parametreli Düzgün dağılımına

sahip bir kitleden çekilmiş olsun. Momentler Yöntemini kullanarak 𝑎 ve 𝑏
parametrelerini tahmin ediniz. (a<b)

11
Çözüm. İlk olarak Düzgün dağılımına
. sahip kitle için Olasılık Yoğunluk
Fonksiyonunu yazalım:
1
, 𝑥 ∈ 𝑎, 𝑏
𝑓 𝑥 = ቐ𝑏 − 𝑎
0, diğer durumlarda
𝑎 ve 𝑏 parametrelerini tahmin etmek için ilk olarak Düzgün dağılım için Birinci ve
İkinci Başlangıç Momentleri aşağıdaki gibi yazalım:

𝑎+𝑏
𝑚1 = 𝐸 𝑋1 =
2

𝑎2 + 𝑎𝑏 + 𝑏 2
𝑚2 = 𝐸 𝑋12 =
3
12
 .
Şimdi de Birinci ve İkinci Emprik momentleri aşağıdaki gibi ifade edelim:
𝑚 ത
ෝ 1𝑛 = 𝑋;

𝑛
1
𝑚
ෝ 2𝑛 = 𝑋2 = ෍ 𝑥𝑖2
𝑛
𝑖=1
Şimdi aşağıdaki denklemler sistemini yazalım:

𝑚1 = 𝑚
ෝ 1𝑛
ቊ
𝑚2 = 𝑚
ෝ 2𝑛

13
 .

Şimdi aşağıdaki hesaplamaları yapalım:

𝑎+𝑏
= 𝑋ത 𝑎 + 𝑏 = 2𝑋ത
2
⇒ ൞ 𝑎 + 𝑏 2 − 𝑎𝑏
𝑎2 + 𝑎𝑏 + 𝑏 2 = 𝑋2
= 𝑋2 3
3

𝑎 + 𝑏 = 2𝑋ത
𝑎 + 𝑏 = 2𝑋ത
⇒ ൞ 2𝑋ത 2 − 𝑎𝑏 ⇒ቊ
= 𝑋2 𝑎𝑏 = 2𝑋ത 2 − 3𝑋 2
3

14
 .

𝑎 + 𝑏 = 2𝑋ത
ቊ ത 2 2
denklem sistemini çözdüğümüzde 𝑎 ve 𝑏 parametreleri için
𝑎𝑏 = 2𝑋 − 3𝑋

aşağıdaki Tahmin Edicileri elde ederiz:

𝑎ො 𝑛 = 𝑋ത − 3 𝑋 2 − 𝑋ത 2

𝑏෠𝑛 = 𝑋ത + 3 𝑋 2 − 𝑋ത 2

𝑛 𝑛
1 1
𝑋ത = ෍ 𝑥𝑖 ; 𝑋 = ෍ 𝑥𝑖2
1 2
𝑛 𝑛 15
𝑖=1 𝑖=1
 .

Örnek 4. 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 örneklemi 𝜇, 𝜎 2 parametreli Normal

dağılımına sahip bir kitleden çekilmiş olsun. Momentler Yöntemini kullanarak
𝜇 ve 𝜎 2 parametrelerini tahmin ediniz.

16
 .
Çözüm. İlk olarak Normal dağılımına sahip kitle için Olasılık Yoğunluk
Fonksiyonunu yazalım:

1 𝑥−𝜇 2
−
𝑓 𝑥 = 𝑒 2𝜎2 , 𝑥 ∈ −∞, +∞
2𝜋𝜎
𝜇 ve 𝜎 2 parametrelerini tahmin etmek için ilk olarak Normal dağılım için
Birinci ve İkinci Başlangıç Momentleri aşağıdaki gibi yazalım:
𝑚1 = 𝐸 𝑋1 = 𝜇
𝑚2 = 𝐸 𝑋12 = 𝜇 2 + 𝜎 2

17
Şimdi de Birinci ve İkinci Emprik momentleri
. aşağıdaki gibi ifade edelim:
𝑚 ത
ෝ 1𝑛 = 𝑋;
𝑚ෝ 2𝑛 = 𝑋 2
Şimdi aşağıdaki denklemler sistemini yazalım:
𝑚1 = 𝑚 ෝ 1𝑛
ቊ
𝑚2 = 𝑚 ෝ 2𝑛
Şimdi aşağıdaki hesaplamaları yapalım:
𝜇 = 𝑋ത 𝜇 = 𝑋ത
൝ 2 ⇒൝
𝜇 +𝜎 =𝑋2 2 𝑋ത 2 + 𝜎 2 = 𝑋 2
𝜇 = 𝑋ത
𝜇 = 𝑋ത
⇒൝ 2 ⇒൞
𝜎 = 𝑋 2 − 𝑋ത 2
𝜎= 𝑋 2 − 𝑋ത 2

18
 .

Sonuç olarak 𝜇 ve 𝜎 2 parametreleri için aşağıdaki Tahmin Edicileri elde ederiz:

𝜇Ƹ 𝑛 = 𝑋ത
𝜎ො𝑛2 = 𝑋 2 − 𝑋ത 2

19
 .

Örnek 5. 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 örneklemi 𝛼, 𝜆 parametreli Gamma dağılımına

sahip bir kitleden çekilmiş olsun. Momentler Yöntemini kullanarak 𝛼 ve 𝜆
parametrelerini tahmin ediniz.

20
Çözüm. İlk olarak Gamma dağılımına sahip kitle için Olasılık Yoğunluk Fonksiyonunu
yazalım:

𝜆𝛼 𝛼−1 −𝜆𝑥
𝑓 𝑥 = 𝑥 𝑒 , 𝑥 ∈ 0, +∞
Γ 𝛼

𝛼 ve 𝜆 parametrelerini tahmin etmek için ilk olarak Gamma dağılım için Birinci ve İkinci
Başlangıç Momentleri aşağıdaki gibi yazalım:
𝛼
𝑚1 = 𝐸 𝑋1 =
𝜆

𝛼 𝛼+1
𝑚2 = 𝐸 𝑋12 =
𝜆2

21
Şimdi de Birinci ve İkinci Emprik momentleri aşağıdaki gibi ifade edelim:
𝑚 ത
ෝ 1𝑛 = 𝑋;
ෝ 2𝑛 = 𝑋 2
𝑚

Şimdi aşağıdaki denklemler sistemini yazalım:

𝑚1 = 𝑚
ෝ 1𝑛
ቊ
𝑚2 = 𝑚
ෝ 2𝑛

22
Şimdi de aşağıdaki hesaplamaları yapalım:

𝛼 𝛼2
= 𝑋ത = ത 2
𝑋
𝜆 𝜆2
𝛼 𝛼+1 ⇒
2 𝛼2 + 𝛼
= 𝑋 = 𝑋 2
𝜆2 𝜆2

𝛼2 𝑋ത 2
⇒ = 2
𝛼 𝛼+1 𝑋

𝛼 𝑋ത 2 𝑋ത 2
⇒ = 2 ⇒𝛼=
𝛼+1 𝑋 𝑋 2 − 𝑋ത 2

23
 𝛼
Ayrıca, = 𝑋ത eşitlikten yararlanarak, 𝜆 parametresi için aşağıdaki sonucu
𝜆
elde ederiz:
𝑋ത
𝜆=
𝑋 2 − 𝑋ത 2

Sonuç olarak 𝛼 ve 𝜆 parametreleri için aşağıdaki Tahmin Edicileri elde

ederiz:
𝑋ത 2
𝛼ො𝑛 =
𝑋 2 − 𝑋ത 2
𝑋ത
𝜆መ 𝑛 =
𝑋 2 − 𝑋ത 2

24
MOMENTLER YÖNTEMİ-ÖDEV 6
• Örnek 1—5 ‘de Momentler Yöntemi ile elde edilen Noktasal Tahmin
ediciler için Tutarlılık; Yansızlık, Etkinlik ve Asimptotik Normallik
özelliklerini inceleyiniz.

25
DERS-9: EN BÜYÜK (En Çok) OLABİLİRLİK YÖNTEMİ
(EBOB (EÇOB) YÖNTEMİ)-10.02.2023-Cuma.
𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 örneklemi, 𝐹𝜃 𝑥 dağılımına sahip bir kitleden çekilmiş olsun. Amacımız bilinmeyen 𝜃
veya 𝜃Ԧ = 𝜃1 , 𝜃2 , … , 𝜃𝑟 parametresini “en iyi” şekilde tahmin etmektir. Bu amaç için literatürde EBOB
Yöntemi olarak bilinen yöntemi kullanacağız. Bu yöntem R. Fisher tarafından önerilmiştir.

EBOB Yönteminin temel prensibi aşağıdaki gibi açıklanabilir:

Eğer bir deney sonucunda yukarıdaki 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 verileri elde edilmiş ise, bu o demektir ki, (her
zaman doğru olmasa bile) gerçekleşen verilerin olasılıkları maksimum olmuştur. Bunu matematiksel olarak
aşağıdaki gibi ifade edebiliriz:
𝜃
𝐿 𝜃Τ𝑋 = 𝑓𝜃 𝑋1 ∙ 𝑓𝜃 𝑋2 ∙ ⋯ ∙ 𝑓𝜃 𝑋𝑛 ՜ max ‼! 1

26
Burada 𝑓𝜃 𝑥 ile 𝐹𝜃 𝑥 dağılımının Olasılık fonksiyonu (Kesikli durumda) veya Olasılık
Yoğunluk fonksiyonu (sürekli durumda) gösterilmiştir.

(1) formülü ile tanımlanan 𝐿 𝜃Τ𝑋 fonksiyonuna En Büyük Olabilirlik fonksiyonu denir.
Bu fonksiyonu maksimuma ulaştıran 𝜃𝑛∗ değerine (istatistiğine) En Büyük Olabilirlik
Tahmin Edicisi denir.

Dolayısıyla, 𝜃𝑛∗ istatistiği aşağıdaki denklemin çözümü olarak ortaya çıkar (Eğer 𝑓𝜃 𝑥
fonksiyonu 𝜃′ ya göre türevlenebilir bir fonksiyon ise!!!).

𝜕𝐿 𝜃Τ𝑋
=0
𝜕𝜃

27
Veya
𝜕𝐿
=0
𝜕𝜃1
𝜕𝐿
=0
𝜕𝜃2
……….
𝜕𝐿
=0
𝜕𝜃𝑟
Hatırlatma.
′ 𝑓′ 𝑥
𝑓 𝑥 > 0 fonksiyonu türevlenebilir olsun. ⇒ ln 𝑓 𝑥 𝑥
= =0 ⇔ 𝑓′ 𝑥 =
𝑓 𝑥
0 oluyor. Bu nedenle, 𝜃𝑛∗ istatitiği aşağıdaki denklemden de bulunabilir:
𝜕 ln 𝐿 𝜃Τ𝑋
=0 2
𝜕𝜃
∗
⇒ 𝜃𝑛 , EBOB yöntemi ile elde edilen Tahmin Edicidir.

28
Örnek 6. 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 örneklemi, 𝜆 parametreli Poisson dağılımına sahip
bir kitleden çekilmiş olsun. EBOB yöntemini kullanarak, 𝜆 parametresini tahmin
ediniz.

29
Çözüm. İlk olarak Poisson dağılımına sahip kitlenin Olasılık fonksiyonunu
yazalım:
𝜆𝑥 −𝜆
𝑓 𝑥 = 𝑒 ; 𝑥 = 0, 1, 2, …
𝑥!
Şimdi En Büyük Olabilirlik fonksiyonunu yazalım:

𝜆𝑥1 −𝜆 𝜆𝑥2 −𝜆 𝜆𝑥𝑛 −𝜆

𝐿 𝜆Τ𝑋 = 𝑓𝜆 𝑥1 ∙ 𝑓𝜆 𝑥2 ∙ ⋯ ∙ 𝑓𝜆 𝑥𝑛 = 𝑒 ∙ 𝑒 ∙⋯∙ 𝑒
𝑥1 ! 𝑥2 ! 𝑥𝑛 !

σ𝑛
𝑖=1 𝑥𝑖
𝜆
= 𝑒 −𝑛𝜆
𝑥1 ! ∙ 𝑥2 ! ∙ ⋯ ∙ 𝑥𝑛 !

30
Aşağıdaki hesaplamaları yapalım:

ln 𝐿 𝜆Τ𝑋 = ෍ 𝑥𝑖 ln 𝜆 − ln 𝑥1 ! ∙ 𝑥2 ! ∙ ⋯ ∙ 𝑥𝑛 ! − 𝑛𝜆
𝑖=1

𝜕 ln 𝐿 𝜆Τ𝑋 σ𝑛𝑖=1 𝑥𝑖
⇒ = −𝑛 =0
𝜕𝜆 𝜆

𝑛
σ𝑛𝑖=1 𝑥𝑖 1
⇒𝜆= = ෍ 𝑥𝑖 = 𝑋ത
𝑛 𝑛
𝑖=1
Bu durumda, 𝜆∗𝑛 = 𝑋ത elde edilmiş oluyor.
31
Örnek 7. 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 örneklemi, 𝜆 parametreli Üstel dağılımına sahip bir
kitleden çekilmiş olsun. EBOB yöntemini kullanarak, 𝜆 parametresini tahmin ediniz.

32
Çözüm. İlk olarak Üstel dağılımına sahip kitlenin Olasılık Yoğunluk fonksiyonunu
yazalım:
𝑓 𝑥 = 𝜆𝑒 −𝜆𝑥 ; 𝑥 ≥ 0

Şimdi En Büyük Olabilirlik fonksiyonunu yazalım:

𝐿 𝜆Τ𝑋 = 𝑓𝜆 𝑥1 ∙ 𝑓𝜆 𝑥2 ∙ ⋯ ∙ 𝑓𝜆 𝑥𝑛
= 𝜆𝑒 −𝜆𝑥1 ∙ 𝜆𝑒 −𝜆𝑥2 ∙ ⋯ ∙ 𝜆𝑒 −𝜆𝑥𝑛
𝑛 −𝜆 σ𝑛
𝑖=1 𝑥𝑖
= 𝜆 𝑒

33
Aşağıdaki hesaplamaları yapalım:
𝑛

ln 𝐿 𝜆Τ𝑋 = 𝑛 ln 𝜆 − 𝜆 ෍ 𝑥𝑖
𝑖=1

𝑛
𝜕 ln 𝐿 𝜆Τ𝑋 𝑛
⇒ = − ෍ 𝑥𝑖 = 0
𝜕𝜆 𝜆
𝑖=1

𝑛 1 1
⇒𝜆= 𝑛 = 𝑛 =
σ𝑖=1 𝑥𝑖 (1/𝑛) σ𝑖=1 𝑥𝑖 𝑋ത
1
Bu durumda, 𝜆∗𝑛 = 𝑋ത elde edilmiş oluyor.

34
ÖDEV 7: 𝑋 = 𝑋1 , 𝑋2 , … , 𝑋𝑛 örneklemi, temel dağılımlardan birisine sahip
bir kitleden çekilmiş olsun. EBOB ve Momentler Yöntemlerini kullanarak,
bu dağılımların parametrelerini tahmin ediniz ve elde edilen tahmin edicileri
karşılaştırınız. Hangi durumda hangi yöntemin daha «iyi» sonuç verdiğini
araştırınız.
NOT: Temel dağılımlar adı altında aşağıdaki dağılımları kastediyoruz:
Bernoulli; Binom; Geometrik; Poisson; Düzgün; Üstel; Normal ve Gamma
dağılımı.
35
• NOT: Asimptotik Normallık özelliği üzerine bir Teorem.
• TEOREM. 𝑋1 , 𝑋2 , 𝑋3 , … , 𝑋𝑛 , … rastgele değişkenleri bağımsız ve aynı dağılıma
sahip olsunlar. Ayrıca, 𝐸 𝑋1 = 𝜇 ve 𝑉𝑎𝑟 𝑋1 = 𝜎 2 < ∞ olsun. İlaveten, 𝑔: 𝑅 ՜
𝑅’ye ölçülebilir bir fonksiyon olup, 𝑥 = 𝜇 noktasında iki kez türevlene bilsin. Bu
1
durumda, 𝑋ത = 𝑛 σ𝑛𝑖=1 𝑋𝑖 olmak üzere, 𝑔(𝑋) ത rastgele değişkeni 𝒏’nin yeterince
büyük değerlerinde yaklaşık olarak Normal dağılıma sahip olacaktır.
Matematiksel olarak bunu aşağıdaki gibi yazabiliriz:
𝑔 𝑋ത −𝑔 𝜇
• 𝜎 ⇒ 𝑍, 𝑛 ՜ ∞ 𝑖𝑘𝑒𝑛.
𝑔′ 𝜇
𝑛
𝜎2 𝜎
• Veya 𝑔 𝑋ത ∈
෥ 𝑁 (𝑔 𝜇 ;
𝑛
(𝑔 ′
(𝜇)) 2
) veya 𝑔 𝑋ത ≅ 𝑔 𝜇 + 𝑛
. 𝑔′ 𝜇 . 𝑍
• Burada Z, Standart Normal dağılıma sahip bir rastgele değişkendir.
• Alıştırma: Bu Teoremi Üstel dağılımın parametresi lambda için uygulayınız…

36