03 Simple Regression Marginal

Specyfikacja Analiza z rozkładem N-G Rozkład brzegowy Przykład: prawo Okuna Praca domowa 1 z 2
Ekonometria Bayesowska
Wykład 3: Bayesowska analiza modelu regresji liniowej
z 1 zmienną objaśniającą
Andrzej Torój
Instytut Ekonometrii – Zakład Ekonometrii Stosowanej
Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

(3) Ekonometria Bayesowska 1 / 33
Plan wykładu
1 Specyfikacja modelu
2 Gęstość próbkowa, gęstość a priori, gęstość a posteriori
3 Rozkład brzegowy współczynnika regresji
4 Przykład: prawo Okuna
5 Praca domowa 1 z 2

Plan prezentacji

Specyfikacja
Model ze stałą, jedną zmienną i nieznaną wariancją

Rozważmy prosty model regresji liniowej z jedną zmienną
objaśniającą:
ε ∼ N 0, σ 2 i.i.d.

yi = βxi + εi ,
β – nieznany parametr o rozkładzie a priori: β ∼ N β, σ 2 u

Przypomnijmy sobie wzór na macierz wariancji-kowariancji

oszacowań z ekonometrii klasycznej...
1
h= σ2
– odwrotność wariancji składnika losowego o rozkładzie
2

a priori typu gamma: h ∼ Γ β = v2s , α = v2
h nazywamy czasami „parametrem precyzji” (jednoznaczne
przekształcenie do σ 2 )
mówimy, że σ 2 ma rozkład „odwrotny gamma”
Specyfikacja
Rozkład gamma
Dotyczy zmiennych losowych o wartościach

rzeczywistych nieujemnych.
Opisują go dwa parametry: k > 0 i θ > 0
(odpowiednio kształtu i skali – por. ilustracja).
k−1 −x
θ
Funkcja gęstości: f (x) = x k e .
θ Γ(k)
´
Z kolei funkcja gamma: Γ (k) = 0∞ x k−1 e −x dx. Dla
liczb całkowitych zachodzi również: Γ (k) = (k − 1)!.
Znana nam już funkcja beta może zostać wyrażona
Γ(a)Γ(b)
jako: B (a, b) = Γ(a+b) .
Czasami wygodniej posłużyć się parametryzacją

1.
„alfa-beta”: α = k oraz β = θ
Wartość oczekiwana: kθ = α
β
.

Specyfikacja
Rozkład normalny-gamma
Dwuwymiarowy rozkład, w którym

jedna zmienna ma rozkład gamma;
druga zmienna ma rozkład normalny warunkowy
względem wartości pierwszej zmiennej;
nazywamy rozkładem normalnym-gamma.
Druga zmienna może być jednowymiarowa (jak na tych
zajęciach) lub wielowymiarowa, o wielowymiarowym
rozkładzie normalnym (jak na następnych zajęciach).
Umożliwi to analizę regresji wielorakiej.
Zilustrujmy w R dwuwymiarową funkcję gęstości a priori
f (β, h) = NG β, u, s −2 , v po jej wyprowadzeniu

(za chwilę).

Plan prezentacji

Gęstość próbkowa i a priori
Gęstość próbkowa
Przy niezależnych obserwacjach jest to iloczyn funkcji gęstości dla

każdego elementu w próbie:
N N

2
Q 2
1 1 P 2
f y |β, σ = f yi |β, σ = N exp − 2σ2 (yi − βxi )
i=1 (2π) 2 σ N i=1
Zauważmy:
mnożąc gęstości dla poszczególnych informacji, zakładamy

niezależność poszczególnych obserwacji i oraz identyczność
rozkładów (i.i.d.) – to nie obejmie np. autokorelacji i
heteroskedastyczności składnika losowego!
traktujemy xi jako znane i nielosowe

Gęstość próbkowa – podstawienia (1)
Niech β̂ będzie estymatorem OLS parametru β:

N
(yi − βxi )2
P
β̂ = arg min
β i=1
Pochodną sumy kwadratów względem β zrównujemy z 0:

PN N
P
2 yi − β̂xi (−xi ) = 0 xi yi − β̂xi = 0
i=1 i=1
N
P
N N yi xi
xi2 =
P P i=1
β̂ yi xi β̂ = N
xi2
P
i=1 i=1
i=1

Gęstość próbkowa– podstawienia (2)
N N 2
(yi − βxi )2
P P
= yi − βxi +β̂xi − β̂xi =
i=1 i=1
PN h i2
= yi − β̂xi − β − β̂ xi =
i=1
N 2 2
+ β − β̂ xi2 − 2 yi − β̂xi
P
= yi − β̂xi β − β̂ xi =
i=1
N 2 N
2 P N
X
xi2 −2 β − β̂
P
= yi − β̂xi + β − β̂ xi yi − β̂xi =
i=1 i=1 i=1
| {z }
0
N
P 2
yi − β̂xi N
2 X
i=1
= (N − 1) + β − β̂ xi2
| {z } N −1 i=1
v̂
| {z }
ŝ 2
| {z }
ŜX

Gęstość próbkowa– po podstawieniach
YN
f (y |β, h) = f (yi |β, h) =
i=1
N 2
h2 h 2
= N exp − 2 v̂ŝ + β − β̂ ŜX
(2π) 2

Rozkład a priori normalny-gamma
2

√1 (β−β )
f (β|h) = √ exp − 2h−1 u
2π h−1 u
v h 2
h 2 −1 e − 2 v s
f (h) = −2 v
2s 2
v
Γ( v2 )
f (β, h) =
2
v
(β−β ) −1 − h v s 2
= f (β|h) · f (h) = √ −1
√1
exp − 2h−1 u h 2−2 e v 2 =
2π h u 2s 2 v
Γ ( 2 )
v
−2 v −1 2

1 ( β−β ) v −1

1 2s 2 v v s2
= (2π) 2 u 2 v Γ 2 exp − −1
2h u
h 2 exp −
2 h

Gęstość a posteriori
Rozkład a posteriori (1)
f (β, h|y ) ∝
∝ f (y |β, h) · f (β, h) =
N 2
h2

h 2
= N exp − 2 v̂ŝ + β − β̂ ŜX ·
(2π) 2
2
v −1
" #  
1 1 v −1
2s −2 v s2

2 v β−β
· (2π) 2 u 2 v
Γ 2
exp − −1
h 2 exp − 2 h =
2h u
2 
v −1
" # 
N+1 1 2s −2

h β − β̂ 2 Ŝ

2 v
β−β
= (2π) 2 u2 Γ exp − 2  h
X exp − 2
·
v 2 u
N v −1

·h 2 h 2 exp − 2h v̂ŝ 2 exp − h v s 2 =
2
" v −1#
N+1 1 2s −2
2 2
2

v
= (2π) 2 u 2 v
Γ 2 h
exp − 2 β − β̂ ŜX + β − β u −1 ·
v +N−1 h i
·h 2 h v̂ŝ 2 + v s 2
exp − 2 =
= ...

Rozkład a posteriori – podstawienie (1)
2 2
β − β̂ ŜX + β − β u −1 =

= β 2 − 2β β̂ + β̂ 2 ŜX + β 2 − 2ββ + β 2 u −1 =

= β 2 ŜX + u −1 − 2β β̂ ŜX + βu −1 + β̂ 2 ŜX + β 2 u −1 =
β̂ 2 ŜX +β 2 u −1

β̂ Ŝ +βu −1

= ŜX + u −1 β 2 − 2β X −1 + =
ŜX +u ŜX +u −1
" 2 2 #
β̂ 2 ŜX +β 2 u −1
−1
−1
β̂ Ŝ +βu β̂ ŜX +βu β̂ ŜX +βu −1

= ŜX + u −1 β 2 − 2β X −1 + − +
ŜX +u ŜX +u −1 ŜX +u −1 ŜX +u −1
" 2 2 #
−1 −1 2 2 −1
β̂ Ŝ +βu β̂ ŜX +βu β̂ ŜX +β u

= ŜX + u −1 β − X −1 − −1 + −1 = ...
ŜX +u ŜX +u ŜX +u

Rozkład a posteriori – podstawienie (2)
2
β̂ Ŝ +βu −1

β− X −1 β̂ Ŝ +βu −1 2
(β̂ 2 ŜX +β 2 u −1 )(ŜX +u −1 )

( X )

ŜX +u
... = −1 + ŜX + u −1 − −1 2 + −1 2 =
(ŜX +u −1
) (ŜX +u ) (ŜX +u )
2
β̂ Ŝ +βu −1

β− X −1
ŜX +u (β̂ 2 ŜX +β 2 u −1 )(ŜX +u −1 )−(β̂ ŜX +βu −1 )2
= + =
(ŜX +u −1 )−1 ŜX +u −1
2
β̂ Ŝ +βu −1

β− X −1
ŜX +u (β̂ 2 ŜX2 +β 2 u −1 ŜX +β̂ 2 ŜX u −1 +β 2 u −2 )−(β̂ 2 ŜX2 +2β̂ ŜX βu −1 +β 2 u −2 )
= + =
(ŜX +u −1 )−1 ŜX +u −1
2
β̂ Ŝ +βu −1

β− X −1
ŜX +u ŜX u −1 (β 2 −2β̂β+β̂ 2 )
= + =
(ŜX +u −1 )−1 ŜX +u −1
2
β̂ Ŝ +βu −1

β− X −1
ŜX +u (β−β̂ )2
= −1 + −1
(ŜX +u −1 ) u+ŜX

Rozkład a posteriori (2)
f (β, h|y ) ∝ ... =

v −1
" #
N+1 1 v +N−1
2s −2

2 v
= (2π) 2 u2 v
Γ 2
h 2 ·
 !2 
β̂ ŜX +βu −1

 2 
β−

ŜX +u −1
 
  β−β̂  n o
· exp − 2h 
−1 +
 h v̂ŝ 2 + v s 2
exp − 2 =
 −1 



 ŜX +u −1 u+Ŝ
X


 
v −1
" #
N+1 1 v +N−1
2s −2

2 v
= (2π) 2 u2 v
Γ 2
h 2 ·
!2
β̂ ŜX +βu −1
 
  2 
β−

ŜX +u −1 β−β̂
   
· exp − h v̂ŝ 2 + v s 2 +
 exp − 2
  
−1 −1
 2h−1 ŜX +u −1   u+Ŝ
X


Rozkład a posteriori to również rozkład N-G
(β−β )2

v −1
f (β, h) ∝ exp − 2h−1 u · h 2 exp − 2h v s 2
 2 
β̂ ŜX +βu −1
β−
(β−β̂ )2

ŜX +u −1 v +N−1
f (β, h|y ) ∝ exp − h 2 exp − 2h v̂ŝ 2 + v s 2 +
 
−1 −1
2h−1 ŜX +u −1
( )

u+ŜX

Parametry rozkładu N-G a posteriori
β̂ Ŝ +βu −1
β = ŜX +u−1 – średnia ważona oszacowania OLS i wartości
X
oczekiwanej a priori
−1
u = u −1 + ŜX – między u a odwrotną sumą kwadratów x
v = v + N – v powiększone o liczbę obserwacji
2
(β−β̂ )
v s 2 = v s 2 + v̂ŝ 2 + u+Ŝ −1 – informacja a priori plus suma
X
kwadratów reszt plus kara za rozbieżność a priori vs dane
(OLS)

Interpretacja parametrów a priori
Użycie rozkładu a priori NG β, u, s −2 , v jest równoznaczne z

wykorzystaniem wyników z analizy identycznej regresji liniowej dla

innej próby, przy czym:
β – oszacowanie punktowe OLS parametru β w poprzedniej próbie
u – odwrotność sumy kwadratów zmiennej x w poprzedniej próbie
s −2 – odwrotność wariancji składnika losowego w poprzedniej próbie
v – liczba stopni swobody (∼obserwacji) w poprzedniej próbie
Szczegóły: zob. Zellner (1971) lub Koop (2003).

Plan prezentacji

Rozkład brzegowy
Rozkład brzegowy
Na poprzednich wykładach przedmiotem naszej estymacji
bayesowskiej był tylko jeden parametr – p i c. To rzadka
sytuacja w praktyce.
Gęstość a posteriori to na ogół łączna gęstość wielu
parametrów, w obecnym przypadku: β i h.
W analizie regresji interesuje nas głównie β i będziemy
potrzebowali gęstości a posteriori „tylko” dla tego parametru.
Dla rozkładów wielowymiarowych mówimy o rozkładzie
brzegowym ¯jako:
f (x1 ) = f (x1 , x2 , x3 , ...)dx2 dx3 ...
U nas:
´∞
f (β|y ) = f (β, h|y )dh
0
Rozkład brzegowy
Rozkład brzegowy parametru β

´∞
f (β|y ) = f (β, h|y )dh ∝
0
´
∞
2
v −1

∝ exp − 2h ū −1 β − β + v s 2 h 2 dh =
0
 
2
2
 z = 2h ū −1 β − β + v s 2 h = z −1
 
(β−β )2 +v s 2
 

ū
2
 dz = 12 ū −1 β − β + v s 2 dh dh = dz −1 2
 
(β−β )2 +v s 2
 

ū
v −1 ˆ∞
2
2
2
1 v −1
= 2 2 Γ v +1
2
exp (−z) · z 2 dz =
ū −1 (β−β ) +v s 2 ū −1 (β−β ) +v s 2

v +1
0
Γ 2
| {z }
=1 (g e˛ stość gamma)
v +1 2 − v +1
2 v +1
2
2 v +1 v +1 −1 β − β 2
= 2 Γ 2
= 2 2 Γ 2
ū + v s =
ū −1 (β−β ) +v s 2
2
− v +1 2
− v +1
v +1
2 − v +1 (β−β ) 2 (β−β ) 2
= 2 2 Γ v +1 2
vs 2
ūv s 2
+1 ∝ ūv s 2
+1

Rozkład brzegowy
Rozkład t
Dotyczy zmiennych losowych o wartościach

rzeczywistych.
Opisują go trzy parametry: średnia, skala i
liczba stopni swobody: t (µ, σ, v ).
Często (np. w ocenie istotności zmiennych)
spotyka się jego wersję scentrowaną w zerze
i skalowaną; wtedy jedynym parametrem jest
v.
Funkcja gęstości:
− v +1
Γ v +1 (x−µ)2

2 2
f (x) = 1 1+ vσ
(πv ) 2 Γ v
2
Dla v −→ ∞ zbiega do rozkładu
normalnego standardowego. Im niższe v , tym
„grubsze” ogony.
Parametr skali to (delikatnie) co innego niż
v σ
parametr wariancji! Var (x) = v −2

Rozkład brzegowy
Rozkład brzegowy β jest rozkładem t
2
− v +1
2
(β−β )
f (β|y ) ∝ ūv s 2
+1
Wykazaliśmy, że rozkład brzegowy a posteriori β jest rozkładem t:

β|y ∼ t β, s 2 u, v


Plan prezentacji

Prawo Okuna
Prawo Okuna
Głosi istnienie wymienności między wzrostem PKB a zmianami

stopy bezrobocia:
¯

(ut − ū) = β ∆yt − ∆y
Powyższa specyfikacja jest uproszczona i zakłada się w niej, że
tempo wzrostu potencjalnego PKB i oraz naturalna stopa
bezrobocia są stała.
Dowody empiryczne z rynku amerykańskiego mówią, że
β ∈ (−0, 5; −0, 3), o ile bezrobocie i zmiany PKB wyrazimy w
procentach.
Posłużymy się oszacowaniami z USA jako wiedzą a priori,
próbując oszacować parametr β dla Polski.

Prawo Okuna
Prawo Okuna – informacje a priori
https://pl.wikipedia.org/wiki/Prawo_Okuna

Prawo Okuna
Parametry a priori
#środek dostępnego przedziału oszacowań dla USA:
beta.prior <- -0.4
# 0,31 = odchylenie standardowe reszt odczytane graficznie z
wykresu dla USA →
# 0,1 = wariancja składnika losowego (kwadrat odchylenia
standardowego) →
# odwrotność wariancji składnika losowego:
sm2.prior <- 10
# przedział -0.5 do -0.3 ma obejmować obejmuje +/- 2
odchylenia standardowe od średniej a priori →
# 0,05 = odchylenie standardowe bety a priori →
# 0,0025 = wariancja bety a priori →
# ... = wariancji składnika losowego (=0,1) * u_prior,
czyli...
u.prior <- 0.025
#nasza próba liczy ok. 45 obserwacji, fikcyjną próbę dla USA
traktujemy jako liczącą 100 obserwacji (25 lat)
v.prior <- 100
Prawo Okuna
Parametry a priori
beta.prior <- -0.4
wykresu dla USA →
standardowego) →
sm2.prior <- 10
czyli...
u.prior <- 0.025
v.prior <- 100
Prawo Okuna
Parametry a priori
beta.prior <- -0.4
wykresu dla USA →
standardowego) →
sm2.prior <- 10
czyli...
u.prior <- 0.025
v.prior <- 100
Prawo Okuna
Parametry a priori
beta.prior <- -0.4
wykresu dla USA →
standardowego) →
sm2.prior <- 10
czyli...
u.prior <- 0.025
v.prior <- 100
Prawo Okuna
Dane
Wczytujemy dane w formacie CSV, rozdzielane średnikiem:
dane <- read.csv("3_prawo_okuna.csv", header=TRUE,
sep=";", dec = ",")
Centrujemy dane w zerze (odjęcie średnich) i wybieramy podpróbę:
y <- dane$GDP - mean(dane$GDP, na.rm = TRUE)
u <- dane$U - mean(dane$U, na.rm = TRUE)
y <- y[21:length(y)]
u <- u[21:length(u)]
Klasyczna regresja u względem y bez stałej:
lm(u~y -1)
Z danych uzyskujemy statystyki: Sx.data (Ŝx ), beta.ols.data (β̂), v.data
(v̂ ) i N.data (N).
Prawo Okuna
Gęstość łączna a posteriori

Prawo Okuna
Gęstość brzegowa a posteriori dla β

Plan prezentacji

Praca domowa 1 z 2
Praca domowa 1 z 2
Przeprowadź bayesowską analizę wyspecyfikowanego przez siebie
modelu regresji liniowej. Skorzystaj z rozkładu normalnego-gamma i
rozwiązania analitycznego (kod R, ale bez użycia rstan).
1 Przedstaw zagadnienie (zmienna objaśniana i objaśniające, tło
/ teoria / literatura, źródło danych i zakres próby; od 30 do
500 obserwacji (N), od 2 do 0.1 · N zm. objaśniających„ dane
w csv / xlsx) – po W1
2 Przeprowadź elicytację parametrów a priori – po W3 / W4
3 Zaprezentuj wartość oczekiwaną parametrów a posteriori
(tabela) i ich rozkłady brzegowe a posteriori (wykresy) – po

W4
4 Omów znaczenie poszczególnych zmiennych używając HPDI i
czynników Bayesa – po W4 / W5
5 Zaprezentuj prognozę punktową i przedziałową dla wybranej
Andrzej Torój
obserwacji – wewnątrz próby lubInstytut
(3) Ekonometria Bayesowska
Ekonometrii – Zakład Ekonometrii Stosowanej
hipotetycznej
33 / 33
poza nią – po

03 Simple Regression Marginal

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

03 Simple Regression Marginal

Uploaded by

Copyright:

Available Formats

Specyfikacja Analiza z rozkładem N-G Rozkład brzegowy Przykład: prawo Okuna Praca domowa 1 z 2

Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

2 Gęstość próbkowa, gęstość a priori, gęstość a posteriori

3 Rozkład brzegowy współczynnika regresji

4 Przykład: prawo Okuna

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

2 Gęstość próbkowa, gęstość a priori, gęstość a posteriori

3 Rozkład brzegowy współczynnika regresji

4 Przykład: prawo Okuna

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Model ze stałą, jedną zmienną i nieznaną wariancją

β – nieznany parametr o rozkładzie a priori: β ∼ N β, σ 2 u

Przypomnijmy sobie wzór na macierz wariancji-kowariancji

Dotyczy zmiennych losowych o wartościach

Czasami wygodniej posłużyć się parametryzacją

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Dwuwymiarowy rozkład, w którym

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

2 Gęstość próbkowa, gęstość a priori, gęstość a posteriori

3 Rozkład brzegowy współczynnika regresji

4 Przykład: prawo Okuna

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Gęstość próbkowa i a priori

Przy niezależnych obserwacjach jest to iloczyn funkcji gęstości dla

mnożąc gęstości dla poszczególnych informacji, zakładamy

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Gęstość próbkowa i a priori

Gęstość próbkowa – podstawienia (1)

Niech β̂ będzie estymatorem OLS parametru β:

Pochodną sumy kwadratów względem β zrównujemy z 0:

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Gęstość próbkowa i a priori

Gęstość próbkowa– podstawienia (2)

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Gęstość próbkowa i a priori

Gęstość próbkowa– po podstawieniach

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Gęstość próbkowa i a priori

Rozkład a priori normalny-gamma

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Rozkład a posteriori (1)

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Rozkład a posteriori – podstawienie (1)

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Rozkład a posteriori – podstawienie (2)

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Rozkład a posteriori (2)

f (β, h|y ) ∝ ... =

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Rozkład a posteriori to również rozkład N-G

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Parametry rozkładu N-G a posteriori

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

Interpretacja parametrów a priori

Użycie rozkładu a priori NG β, u, s −2 , v jest równoznaczne z

wykorzystaniem wyników z analizy identycznej regresji liniowej dla

Szczegóły: zob. Zellner (1971) lub Koop (2003).

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej

2 Gęstość próbkowa, gęstość a priori, gęstość a posteriori

3 Rozkład brzegowy współczynnika regresji

4 Przykład: prawo Okuna

Andrzej Torój Instytut Ekonometrii – Zakład Ekonometrii Stosowanej