Wykład nr 1 - wprowadzenie do przedmiotu, podstawowe pojęcia, postać analityczna

klasycznego modelu regresji liniowej (KMRL), weryfikacja część I.

Informacje wstępne:

1. Co trzeba powtórzyć? - rachunek macierzowy, zagadnienia ze statystyki, podstawy Excela.

2. Zaliczenie przedmiotu - w formie rozwiązywania zadań, przy czym ok. połowy punktów
przyznaje się za poprawne obliczenia i połowę za interpretację.

3. Literatura - "Wprowadzenie do ekonometrii w przykładach i zadaniach" red. K. Kukuła.

pierwszy rozdział - zagadnienia regresji liniowej i weryfikacji, bądź każdy inny podręcznik w
którym omawia się zagadnienia regresji liniowej dla wielu zmiennych objaśniających.

Podstawowe pojęcia:

Ekonometria - jest częścią ekonomii, która zajmuje się zastosowaniem metod statystyki
matematycznej i narzędzi wnioskowania statystycznego do empirycznej weryfikacji
zależności postulowanych przez teorię ekonomiczną (Greene 2000).

Ekonometria stanowi połączenie narzędzi matematyki, statystyki i teorii ekonomicznej

umożliwiających analizę ilościowych zależności występujących w gospodarkach.

Model (np. ekonomiczny) - uproszczony schemat rzeczywistości ułatwiający wykrycie

najistotniejszych cech i zależności występujących w danym procesie (ekonomicznym).

np. model popytu i podaży: p=f(D,S) ukazuje podstawowy proces ustalania się cen p w
zależności od wielkości popytu D i podaży S.

Model ekonometryczny - pojedyncze równanie (układ równań) stochastyczne (losowe)

reprezentujące relację między zmienną endogeniczną (opisującą zachowanie systemu) a
zmiennymi egzogenicznymi (wpływającymi na system).

Estymator - znana funkcja obserwacji, którą przyjmujemy w miejsce nieznanego parametru.

Estymacja - szacowanie.

Oznaczenia (klasyfikacja) zmiennych:

1
yt - endogeniczna, zależna, objaśniana, jej wartość tworzy się w ramach modelowanego
układu,

xkt - egzogeniczna, niezależna, objaśniająca, ich wartości są kształtowane poza modelowanym

układem i wywierają na niego wpływ.

t=1,...,T indeksuje obserwacje, k=1,...,K indeksuje zmienne egzogeniczne,

T - liczba wszystkich obserwacji, K - liczba wszystkich zmiennych egzogenicznych,

Klasyczny Model Regresji Liniowej (KMRL) - postać analityczna

KMRL jest stosowany w sytuacji kiedy badany obiekt (zjawisko) można opisać
pojedynczą zmienną endogeniczną yt i wyróżnić K zmiennych egzogenicznych xtk
wpływających na kształtowanie się badanego obiektu, (t=1,..,T, k=1,...,K)

Postać analityczna modelu regresji liniowej (dla jednej obserwacji t) jest następująca:

y t =β 1 x t 1 + β 2 x t 2 +.. .+ β K x tK + ε t
w zapisie macierzowym:

y= Xβ+ ε
Objaśnienia:

[y=¿ y1¿][ y2¿][⋮¿]¿¿¿

y – wektor o wymiarach (T´1) możliwych realizacji
zmiennej endogenicznej

y t – pojedyncza obserwacja o numerze t.

2
 [ ]
x11 x 12 ⋯ x 1 K X – Macierz o wymiarach (T´K)
zawierająca wartości wszystkich K
X = x 21 x 22 ⋯ x 2 K
⋮ ⋮ ⋮ ⋮ zmiennych egzogenicznych
x T 1 x T 2 ⋯ x TK ( T ×K )
x t k – wartość k-tej zmiennej
egzogenicznej dla obserwacji t

[ε=¿ ε1 ¿][ε2 ¿][⋮¿]¿¿¿ e – wektor o wymiarach (T´1)

nieobserwowalnych składników losowych

¿
e t – składnik losowy dla obserwacji o numerze t

[β=¿ β1 ¿] [ β2 ¿] [⋮¿]¿¿¿
b – wektor (K´1) nieznanych, ustalonych
parametrów strukturalnych, które określają
daną relację ekonomiczną (parametry regresji,

¿
współczynniki strukturalne)

b k – pojedynczy parametr strukturalny,

opisujący średni wpływ k-tej zmiennej
egzogenicznej xk na zmienną endogeniczną,
ceteris paribus

Założenia Klasycznego Modelu Regresji Liniowej - 5 założeń (następny wykład)

Estymacja wektora parametrów regresji

Twierdzenie Gaussa i Markowa

W Klasycznym Modelu Regresji Liniowej (KMRL) najlepszym nieobciążonym

estymatorem liniowym wektora parametrów strukturalnych jest wektor otrzymany metodą
najmniejszych kwadratów (MNK) postaci:

^ X ' X )−1 X ' y

β=(

3
o macierzy kowariancji danej wzorem:

V ( β^ )=σ 2 ( X ' X )−1

(ang. Best Linear Unbiased Estimator, BLUE).

Twierdzenie o wariancji resztowej

W KMRL (przy spełnieniu 5 założeń i T>K) nieobciążonym estymatorem wariancji

składnika losowego jest wariancja resztowa dana wzorem:

T
1
s2 =
T−K
∑ ^ε 2t
t =1

ε^ = y t − ^y t oznacza resztę MNK,

gdzie: t
^y t to wartość teoretyczna zmiennej endogenicznej.

Alternatywne sposoby obliczania wariancji składnika resztowego:

T
1 1
2
s=
T−K
( y −X β^ )' ( y− X β^ )= ∑ ε^ ' ^ε
T −K t=1

gdzie ^y = X β^ oznacza wektor teoretycznych (obliczonych na podstawie oszacowanego

modelu) wartości zmiennej objaśnianej yt.

ε^ = y− y^oznacza wektor (Tx1) reszt MNK (uzyskany po zastosowaniu do oszacowania

parametrów regresji metody najmniejszych kwadratów).

s2 -wariancja resztowa (wariancja składnika resztowego)

s= √ s2 odchylenie standardowe składnika resztowego

s
V = 100 % współczynnik zmienności resztowej.
y

4
 Wniosek z twierdzenia o wariancji resztowej

^ ( ^β ) macierzy kowariancji V ( ^β ) estymatora MNK:

Nieobciążonym estymatorem V

V ( ^β )=σ 2 ( X ' X )
−1

^ ( ^β )=s2 ( X ' X )−1. (w miejsce nieznanej wariancji σ 2 składników

jest macierz postaci: V
losowych wstawiamy wariancję resztową s2 obliczoną na podstawie obserwacji, po
oszacowaniu modelu regresji liniowej).

Obliczenie błędów średnich szacunku parametrów regresji

Błąd średni szacunku i-tego parametru regresji β i jest dany wzorem:

D ( ^β i ) =√ s 2 aii

gdzie s2 jest wariancją resztową, natomiast aii jest odpowiednim elementem z przekątnej w
macierzy ( X ' X )−1. Błąd średni szacunku i-tego parametru regresji informuje, o ile możemy
średnio mylić się zastępując nieznany parametr β i jego estymatorem MNK ^β i .

REGRESJA LINIOWA Z WYRAZEM WOLNYM

Przyjmujemy założenia KMRL i ustalamy, że pierwsza ze zmiennych egzogenicznych

dla każdej z obserwacji przyjmuje wartość równą 1: x 1 ≡ 1. Model regresji liniowej
przyjmuje wtedy następująca postać:

y t =β 1+ β 2 x t 2+ …+ β k xtK + ε t

gdzie β 1 oznacza stałą regresji (inaczej wyraz wolny w modelu).

W przypadku modelu regresji liniowej z wyrazem wolnym mamy następujące własności:

1. Załóżmy, że wszystkie zmienne objaśniające przyjmują wartość równa zero:

x t 2=...=x tK =0, stąd pozostaje tylko model z wyrazem wolnym postaci:

y t =β 1+ ε t ,

5
 wtedy: E ( y t )=β 1 określa spodziewany poziom zmiennej objaśnianej, przy zerowych
wartościach wszystkich zmiennych objaśniających.

T
2. Suma reszt MNK: ∑ ε^ t =0,
t =1

3. Dekompozycja całkowitej zmienności wartości obserwowanych wokół ich średniej na

zmienność objaśnioną w modelu oraz zmienność resztową (niewyjaśnioną przez model).

T T T

∑ ( y t− y ) =∑ ( y t −^y t ) +∑ ( ^y t − y )2
2 2

t =1 t=1 t =1

miernik całkowitej zmienność resztowa zmienność wyjaśniona

zmienności wartości (niewyjaśniona) przez model
empirycznych przez model

Dzieląc obustronnie powyższą równość przez lewą stronę otrzymujemy dwa

współczynniki: zbieżności i determinacji:
T T

∑ ( y t −^y t )2 ∑ ( ^y t − y )2
1= t=1
T
+ t=1
T

∑ ( y t − y )2 ∑ ( y t − y )2
t=1 t=1

2 2
φ – współczynnik zbieżności R – współczynnik determinacji

2 2
1=φ + R

Współczynnik determinacji R2 informuje jaka część całkowitej zmienności wartości

empirycznych zmiennej endogenicznej została objaśnione w modelu przez kształtowanie się
zmiennych egzogenicznych. ( R2 bliski jedności oznacza dobre dopasowanie modelu do
danych empirycznych).

6
 Współczynnik zbieżności φ 2 informuje jaka część całkowitej zmienności wartości
empirycznych zmiennej endogenicznej nie została objaśniona w modelu przez kształtowanie
się zmiennych egzogenicznych. (φ 2 powinien być jak najbliższy zeru).

φ , R ∈ [ 0 , 1 ] ; φ =0 oraz R =1 ⟹ idealne dopasowanie modelu ekonometrycznego do

2 2 2 2

danych empirycznych, wtedy wartości obserwowane zmiennej endogenicznej pokrywają się z

wartościami teoretycznymi uzyskanymi na podstawie modelu: y t =^y t .

Założenia Klasycznego Modelu Normalnej Regresji Liniowej (KMNRL)

(6 założeń - następny wykład)

ESTYMACJA PRZEDZIAŁOWA POJEDYNCZEGO WSPÓŁCZYNNIKA

REGRESJI

Wyprowadzenie - następny wykład

Interpretacja przedziału ufności dla i-tego parametru regresji β i:

[ ]
Przedział β^ i−t α D ( ^βi ) ; β^ i +t α D ( β^ i ) jest pojedynczą realizacją najkrótszego przedziału
losowego (przedziału ufności), który z prawdopodobieństwem 1 – α zawiera nieznany
współczynnik regresji β i.

Testowanie hipotez o pojedynczym współczynniku regresji

¿
H 0 : β i=β i

¿
H 1 : βi ≠ βi (test dwustronny)

^β − β¿
Statystyka testowa: t i= i i St ( T −K )
D ( ^β )
i

t α – wartość statystyki odczytana z tablic rozkładu t-Studenta, dla T-K stopni swobody oraz poziomu
istotności α.
7
Konkluzja:

| |
^β −β ¿
i i
 Jeżeli >t α ⟹ odrzucamy hipotezę H0.
^
D ( βi )

| ( )|
^β −β ¿
i i
 Jeżeli ≤ t α ⟹ brak podstaw do odrzucenia H0.
D ^β i
......................................................................................................................................................

Związek między testem dwustronnym na poziomie istotności α a estymacją przedziałową na

¿
poziomie 1-α: H0 odrzucamy, jeżeli β i nie należy do przedziału ufności.

......................................................................................................................................................

Szczególny przypadek testu t-Studenta

Badanie istotności ocen poszczególnych współczynników regresji w modelu:

y t = β 1 x t 1 + β 2 x t 2 +.. .+ β K x tK + ε t

Stawiamy następujące hipotezy:

H 0 : β i=0

H 1 : βi ≠ 0

β^ i
Statystyka testowa: t i= St ( T −K )
D ( ^β )
i

Konkluzja:

| |
^β
i
 Jeżeli >t α ⟹ odrzucamy hipotezę H0.
D ( ^β i )

| ( )|
^β
i
 Jeżeli ≤ t α ⟹ brak podstaw do odrzucenia H0.
^
D βi

8
9
Wykład nr 2 - Założenia klasycznego modelu regresji liniowej (KMRL), weryfikacja część II
- łączne testowanie układu współczynników regresji.

TEST F

Łączne testowanie układu współczynników regresji w modelu y= Xβ+ ε .

Rozważamy Klasyczny model Normalnej Regresji Liniowej, który w zapisie macierzowym ma postać:

y= Xβ+ ε .

Zmienne objaśniające i wektor parametrów regresji dzielimy na dwie następujące grupy:

(1 ) (2 )
y= X 1 β + X 2 β + ε

W macierzy obserwacji X o wymiarach (TxK) wyróżniamy odpowiednio dwie podmacierze: X 1 o

wymiarach (TxK1) i X2 o wymiarach (TxK2).

X ( T × K ) =[ X 1 X 2 ]

X (T × K ) – macierz wszystkich obserwacji na zmiennych egzogenicznych,

X1 - macierz obserwacji na zmiennych egzogenicznych, które pozostają w modelu z restrykcjami

("mniejszym")

X2 - macierz obserwacji na zmiennych egzogenicznych, które występują w modelu ogólnym

("większym")

K1, K2 – liczba parametrów strukturalnych odpowiednio w modelu z restrykcjami i bez restrykcji.

Wektor-kolumnę parametrów strukturalnych β ( K ×1 ) dzielimy analogicznie na dwa podwektory:

[ ]
( 1)
β
β=
β( 2 )

(1 )
β to wektor o wymiarach (K1x1) zawierający parametry strukturalne odpowiadające zmiennym
egzogenicznym znajdującym się w macierzy X1.

10
β (2 ) to wektor o wymiarach (K2x1) zawierający parametry strukturalne odpowiadające zmiennym
egzogenicznym znajdującym się w macierzy X2.

Rozważamy następujące hipotezy dotyczące grupy współczynników regresji (do tej pory testowaliśmy
tylko pojedyncze parametry regresji):

( 2)
H 0 : β =0( K ×1 ) – żadna ze zmiennych objaśniających należących do drugiej grupy nie ma wpływu na
1

zmienną objaśnianą i model redukuje się do postaci:

(1 )
y= X 1 β + ε .

Uwaga: zapis 0( K 2 ×1) – oznacza wektor zer o wymiarach (K2x1). (każdy z parametrów regresji w
wektorze β (2 ) jest równy zero)

( 2)
H 1 : β ≠ 0 ( K ×1 ) – co najmniej jedna ze zmiennych objaśniających w testowanej grupie ma wpływ na
2

zmienną objaśnianą i należy pozostawić model ogólny:

(1 ) ( 2)
y= X 1 β + X 2 β +ε .

Oznaczenia:

SSE0 – suma kwadratów reszt MNK przy prawdziwości hipotezy zerowej, tzn. w modelu
zredukowanym.

SSE1 – suma kwadratów reszt MNK w modelu ogólnym.

Statystyka testowa:

( SSE0−SSE1 ) / K 2
F emp=
SSE1 / ( T −K )

Przy prawdziwości H0 statystyka empiryczna F emp F ( K 2 ,T −K ) . (Femp ma rozkład F Fishera-

Snedecora, o K2 oraz (T-K) stopniach swobody)

Konkluzja:

 F emp > F α – odrzucamy H0

 F emp < F α – nie ma podstaw do odrzucenia H0

11
Fα – wartość statystyki odczytana z tablic rozkładu F (Fishera-Snedecora) dla poziomu istotności α
oraz (K2, T-K) stopni swobody.

Przypadek szczególny testu F : Fishera-Snedecora.

Badanie istotności wszystkich współczynników regresji z wyjątkiem wyrazu wolnego.

y t =β 1+ β 2 x t 2+ ...+ β K x tK + ε t

[]
β2
(2 )
(1 )
β =β1 – wyraz wolny, K1 = 1; β = ⋮ – współczynniki przy z. objaśniających, K2 = K – 1;
βK

( 2)
H 0 : β =0((K −1 )× 1) – żadna ze zmiennych objaśniających nie ma wpływu na zmienną objaśnianą i
należy pozostawić model tylko z wyrazem wolnym

y t =β 1+ ε t

( 2)
H 1 : β ≠ 0 ((K−1)× 1) – co najmniej jedna ze zmiennych objaśniających w modelu ma wpływ na zmienną
objaśnianą i należy pozostawić model ogólny:

y= Xβ+ ε .

Przyjmujemy oznaczenia sumy kwadratów reszt (SSE) odpowiednio dla hipotezy zerowej
(SSE0) i alternatywnej (SSE1):

T
1) SSE0=∑ ( y t− y ) , ponieważ ^y t = ^β 1= y ; (wyprowadzenie poniżej w zadaniu)
2

t =1
T
2) SSE1=( y −X ^β ) ' ( y−X ^β )=∑ ( y t− ^y t ) .
2

t =1

SSE 1 2
Stąd: =φ - współczynnik zbieżności.
SSE 0

Statystyka testowa:

12
 F emp=
( SSE0−SSE1 ) / ( K 2)
=
( 1−
SSE 1
SSE 0)/ ( K−1 )
=
( 1−φ2 ) / ( K−1 )
=
2
R / ( K−1 )
SSE1 / ( T −K ) SSE 1
/ ( T −K )
φ2 / ( T −K ) ( 1−R 2) / ( T− K )
SSE 0

Wykład nr 3 - Uzupełnienie zależności występujących w teście F, Estymacja liniowej funkcji

parametrów regresji, Uzupełnienie: Założenia klasycznego modelu regresji liniowej (KMRL),
Założenia klasycznego modelu normalnej regresji liniowej (KMRL), wyprowadzenie wzorów
na przedziały ufności.

Uzupełnienie zależności występujących w teście F

Zadanie: Wyznaczyć ocenę MNK parametru strukturalnego w modelu regresji, w którym występuje
jedynie wyraz wolny.

u’u uu’

[]
3
u= 6
9

13
......................................................................................................................................................

Estymacja liniowej funkcji parametrów regresji w KMRL:

y t =β 1+ β 2 x t 2+ ...+ β K x tK + ε t

Rozważamy następującą liniową funkcję parametrów regresji (oznaczoną g gamma): γ =c ' β

[]
c1
gdzie c ( K × 1)= ⋮ oznacza kolumnę znanych stałych liczbowych, określających daną funkcję, c ' -
cK
wektor transponowany.

[]
β1
β ( K ×1 )= ⋮ jest wektorem parametrów strukturalnych.
βK

Przykład liniowej funkcji parametrów regresji:

1. g= β3 + β 4 , w zapisie macierzowym otrzymujemy:

14
 []
β1
β2
β
γ =c β=[ 0 0 1 1 0 … 0 ] 3
'

β4
⋮
βK

2. g= β1 + β 4 , w zapisie macierzowym otrzymujemy:

[]
β1
β2
β
γ =c β=[ 1 0 0 1 0 … 0 ] 3
'

β4
⋮
βK

Ocena punktowa nieznanej liniowej funkcji parametrów regresji jest dana wzorem:

−1
γ^ =c ' ^β=c ' ( X X ) X ' y
'

Wariancja liniowej funkcji regresji dana jest przez:

2 −1
V ( γ^ )=σ c ' ( X ' X ) c

Estymatorem wariancji liniowej funkcji regresji jest:

^ ( γ^ )=s2 c ' ( X ' X )−1 c

V

Błąd średni szacunku liniowej funkcji parametrów regresji: D ( γ^ )=√ V

^ ( γ^ )

Interpretacja - informuje, o ile średnio mylimy się, zastępując nieznaną wartość liniowej funkcji
regresji jej estymatorem MNK.
15
............................................................................

Założenia klasycznego modelu regresji liniowej (KMRL),

1. Postać analityczna modelu regresji liniowej (dla jednej obserwacji t) jest następująca:

y t =β 1 x t 1 + β 2 x t 2 +.. .+ β K x tK + ε t
w zapisie macierzowym:

y= Xβ+ ε
2. Macierz X jest macierzą nielosową o ustalonych wartościach, co oznacza:

1. zmienne objaśniające nie są zmiennymi losowymi

2. zmienne objaśniające są niezależne od zakłóceń losowych 𝜀t

3. Macierz X posiada pełny rząd kolumnowy, rz(X)=K dla K£T, co oznacza że między
zmiennymi objaśniającymi nie istnieje dokładna zależność liniowa (warunek konieczny
estymacji)

4. Każdy składnik losowy 𝜀t ma wartość oczekiwaną równą zero: E(𝜀t)=0 dla t=1,...,T. W
konsekwencji wartość oczekiwana wektora składników losowych jest równa wektorowi
zerowemu.

5. Macierz kowariancji składników losowych ma postać: V(𝜀)=E(𝜀𝜀')=s2IT, gdzie s2>0 jest

nieznaną wariancją składników losowych 𝜀t. Z tego założenia wynikają dwie własności:

1. stałość wariancji składników losowych (homoskedastyczność) E(𝜀t2)= st2

2.brak skorelowania składników losowych z różnych momentów ( brak autokorelacji) -

E(𝜀t𝜀s)=0 dla t¹s.

Klasyczny Model Normalnej Regresji Liniowej(KMNRL)

Przyjmujemy założenia 1-5 KMRL oraz

założenie (6): ε (T × 1) N ( 0; σ 2 I T ) , o wektorze składników losowych ε (T × 1) zakładamy, że ma T-

wymiarowy rozkład normalny.

16
𝜀 – wektor wszystkich składników losowych o wymiarach T×1

~ (tylda) znaczy: „ma rozkład”

μ=0 wektor wartości oczekiwanych T-wymiarowego rozkładu normalnego

I T – macierz jednostkowa stopnia T

2
σ wariancja poszczególnych składników losowych 𝜀t

Twierdzenie o optymalności estymatora MNK:

W KMNRL estymator MNK: ^β=( X ' X )−1 X ' y jest najlepszym w klasie liniowych i nieobciążonych
estymatorów wektora parametrów regresji β.

ESTYMACJA PRZEDZIAŁOWA POJEDYNCZEGO WSPÓŁCZYNNIKA REGRESJI

^β −β
i i
Jeżeli T>K, to St (T −K ),
^
D (β )
i

gdzie:

T – liczba obserwacji, K – liczba parametrów,

(T – K) – liczba stopni swobody rozkładu t-Studenta,

( ^βi− βi ) – rzeczywisty (nieznany) błąd estymacji parametru regresji β i ,

D ( ^β i ) – obliczony błąd średni szacunku parametru regresji β i .

Konstrukcja przedziału ufności

P {|St ( T −K )|> t α }=α ,

gdzie: α – poziom istotności, ( 1−α ) – poziom ufności.

17
 {| | }
^β −β
i i
P >t α =α
D ( ^β )
i

Prawdopodobieństwo zdarzenia przeciwnego:

{| | }
^β −β
i i
P ≤ t α =1−α
D ( β^ )
i

{ }
^β i−β i
P −t α ≤ ≤t α =1−α
D ( β^ i )

P { β^ i −t α D ( ^β i ) ≤ β i ≤ β^ i +t α D ( ^β i ) }=1−α

Formalny zapis przedziału ufności–interpretacja:

[ ]
Przedział β^ i−t α D ( ^βi ) ; β^ i +t α D ( β^ i ) jest pojedynczą realizacją najkrótszego przedziału losowego
(przedziału ufności), który z prawdopodobieństwem 1 – α zawiera nieznany współczynnik regresji β i
.

18