Econometrics1 2 Indo

Ekonometrika 1
2. Model Regresi Linear Sederhana
Alfa Farah
Department of Economics
Diponegoro University
Updated February 14, 2022

Apa yang akan kita pelajari
Definisi Model Regresi Sederhana
Menderivasi Nilai Perkiraan OLS (OLS Estimates)
Sifat-sifat Aljabar OLS
Nilai Harapan dan Variansi OLS Estimators

Asumsi Gauss-Markov untuk Regresi Cross-Section Sederhana
Alfa Farah Ekonometrika 1 1 / 39

Bahan Bacaan
Wooldridge, Jeffrey M. 2019. Introductory Econometrics: A

Modern Approach, 6ed. (Ch. 2)
Ch.2. The Simple Regression Model

2-1 Definition of the Simple Regression
2-2 Deriving the Ordinary Least Squares Estimates
2-3 Properties of OLS on Any Sample of Data
2-4c The Meaning of “Linear” Regression
2-5 Expected Values and Variances of the OLS Estimators
Example 2.2, 2.4

Terminologi Dasar
Dalam sebuah model regresi linier sederhana, hubungan y dan x
diformulasikan:
y = β0 + β1x + u (1)
▶ y adalah variabel dependen/ variabel LHS (left-hand side/
variabel yang di jelaskan/ variabel yang diprediksikan /
variabel respons/ regressand
▶ x adalah variabel independen/ variabel RHS (right-hand
side)/ variabel penjelas / variabel prediktor/ variabel kontrol/
kovariat/ regressor
▶ u adalah error atau gangguan yang merepresentasikan
faktor-faktor luar selain x yang memengaruhi y
▶ β0 dan β1 adalah parameter yang ingin diestimasi, dengan β0
adalah parameter intersep (constant) dan β1 adalah
parameter kemiringan (slope).
Terminologi Dasar
Example 2.2: A Simple Wage Equation

Terminologi Dasar
Asumsi Dasar
▶ Pada dasarnya, ketika kita melakukan analisis ekonometrika

yang kita lakukan adalah memperkirakan/ menaksir/
mengestimasi parameter-parameter dalam model
ekonometrika; atau dalam persamaan (1) β0 dan β1
▶ Mengapa memperkirakan / mengestimasi? Mengapa tidak
menghitung secara pasti?
▶ Karena data populasi sulit dikumpulkan. Oleh karenanya, kita
hanya mengumpulkan sampel ⇒ Memperkirakan nilai populasi
berdasarkan nilai sampel
▶ Untuk mendapatkan nilai perkiraan/ nilai taksiran (estimates)
β0 dan β1 yang dapat dipercaya (reliable), kita membutuhkan
asumsi-asumsi mengenai hubungan antara u dengan x
▶ Tanpa asumsi-asumsi tersebut, kita tidak bisa mendapatkan
efek ceteris paribus x terhadap y (β1 )

Terminologi Dasar
Asumsi Dasar
A.1 Nilai rata-rata u dalam suatu populasi adalah 0.
E (u) = 0 (2)
Asumsi ini bukanlah asumsi yang ketat karena kita bisa selalu
menggunakan β0 untuk menormalisasikan E (U) menjadi 0.
A.2 Variabel x dan u tidak saling berhubungan atau nilai rata-rata
u tidak bergantung pada nilai x. Dengan kata lain, u secara
rata-rata independen terhadap x (mean independent)
E (u|x) = E (u) (3)

A.3 Dengan menggabungkan (2) dan (3) dapat diperoleh asumsi
zero conditional mean atau exogeneity , yaitu
E (u|x) = E (u) = 0 (4)

Terminologi Dasar
Asumsi Dasar
▶ Dengan menggunakan nilai harapan bersyarat dari (1) dan

mengingat bahwa E (u) = 0 (persamaan (4)), kita
memperoleh:
E (y |x) = β0 + β1 x (5)
▶ Persamaan (5) adalah fungsi regresi populasi (PRF/
population regression function)
▶ Persamaan (5) menunjukkan bahwa E (y |x) merupakan fungsi
linier dari x, di mana distribusi y terpusat pada E (y |x) untuk
setiap nilai x.
▶ Linearitas diartikan sebagai peningkatan satu unit x akan
mengubah nilai harapan y sebesar β1 .

Terminologi Dasar
Asumsi Dasar
E (y |x) adalah fungsi linear x, di mana distribusi y terpusat pada
E (y |x) untuk setiap nilai x.

▶ Ide dasar dari regresi adalah untuk memperkirakan
parameter-parameter populasi (β0 dan β1 ) dari sebuah
sampel.
▶ Parameter populasi jarang diketahui.
▶ Maka dari itu, kita mengambil sampel acak dari suatu
populasi
▶ Sampel ini digunakan untuk memperkirakan parameter
populasi atau untuk memeroleh nilai perkiraan parameter/
parameter estimates.
▶ Jika {(xi , yi ) : i = 1, ...., n} menunjukkan sampel acak
berukuran n dari suatu populasi, maka setiap unit observasi
sampel, kita bisa menuliskan:
yi = β0 + β1 xi + ui (6)
Q1: Bandingkan Eq. (1) dengan (6). Apa perbedaanya?
▶ Untuk mendapatkan nilai perkiraan parameter (parameter

estimates) dibutuhkan asumsi-asumsi A.1, A.2 dan A.3
▶ Asumsi A.3, yaitu E (u|x) = E (u) = 0, juga berarti:
Cov (x, u) = E (xu) = 0 (7)

▶ Kenapa? Ingat kembali teori probabilitas dasar, bahwa
Cov (x, u) = E (xu) − E (x)E (u)
Ketika x independen terhadap u, maka E (xu) = 0.

Menggunakan A.1 dan karena y = β0 + β1 x + u, dan dengan

demikian, u = y − β0 − β1 x, maka:
E (u) = E (y − β0 − β1 x) = 0 (8)
dan
E (xu) = E [x(y − β0 − β1 x)] = 0 (9)

Persamaan (8) dan (9) disebut sebagai population moment
restrictions, yang menyiratkan dua batasan pada distribusi
probabilitas gabungan dari (x, y ) dalam populasi.

▶ Untuk mendapatkan nilai perkiraan parameter (parameter

estimates), kita menerapkan population moment restiction
(persamaan (8) dan (9)) pada sampel kita (sample moments).
▶ Setelah itu, kita memilih nilai perkiraan parameter yang
memastikan bahwa sample moment restrictions benar.

▶ Dalam sebuah populasi, nilai rata-rata dinyatakan dengan
E (X ). Dalam sebuah sampel, nilai perkiraan rata-rata
populasi dinyatakan sebagai nilai mrata-rata sampel ((1/n)).
▶ Oleh karena itu, versi sampel persamaan (8) dan (9) dapat
dinyatakan sebagai:
n
1X
(yi − β̂0 − β̂1 xi ) = 0 (10)
n
i=1
n
1X
xi (yi − β̂0 − β̂1 xi ) = 0 (11)
n
i=1
▶ Dengan menyelesaikan persamaan (8) dan (9), kita akan

mendapatkan nilai perkiraan parameter β0 and β1 , yaitu β̂0
dan β̂1

▶ Mengetahui definisi dari rata-rata sampel (sample mean), dan
sifat-sifat penjumlahan (summation properties), persamaan
(10) dapat ditulis:
ȳ − β̂0 − β̂1 x̄ = 0 ⇔ β̂0 = ȳ − β̂1 x̄ (12)

1
▶ Karena dalam persamaan (11) tidak relevan dalam
n
penyelesaian persamaan, kita dapat menggunakan persamaan
(12) untuk menulis ulang persamaan (11):
n
X
xi (yi − (ȳ − β̂1 x̄) − β̂1 xi ) = 0
i=1

▶ Persamaan (11) diselesaikan sebagai berikut:
n
X
xi (yi − (ȳ − β̂1 x̄) − β̂1 xi ) = 0
i=1
n
X n
X
xi (yi − ȳ ) = β̂1 xi (xi − x̄)
i=1 i=1
n
X Xn
(xi − x̄)(yi − ȳ ) = β̂1 (xi − x̄)2
i=1 i=1
Pn
(x − x̄)(yi − ȳ )
Pn i
β̂1 = i=1 2
(13)
i=1 (xi − x̄)
▶ Persamaan (12) and (13) adalah OLS estimators.

▶ β̂0 adalah nilai perkiraan OLS ( OLS estimates) untuk β0 dan
β̂1 adalah nilai perkiraan OLS ( OLS estimates) untuk β1

Pn
(x − x̄)(yi − ȳ )
β̂1 = Pn i
i=1
2
i=1 (xi − x̄)
▶ β̂1 adalah slope estimate, yang dihitung dengan membagi

kovarian sampel antara x and y dengan varian sampel x.
▶ Jika x dan y berhubungan positif, maka β̂1 akan positif
▶ Jika x dan y berhubungan negatif, maka β̂1 akan negatif
▶ Untuk mendaptkan β̂1 , nilai-nilai x dalam sampel harus
bervariasi.

Deriving the Ordinary Least Squares (OLS) Estimates
Achtung!!
Estimator (Estimators) vs estimate (Estimates)!
▶ Estimator: suatu prosedur (suatu fungsi matematis) untuk

menghitung nilai perkiraan (estimate dari suatu kuantitas
dengan menggunakan data (contoh: persamaan of a given
quantity based on observed data (persamaan (13) adalah
sebuah estimator) ⇒ prosedur pemerkiraan/ penaksiran
▶ Estimate (nilai perkiraan): hasil dari penerapan suatu
estimator dalam data ⇒ hasil dari proses pemerkiraan/
penaksiran

Mengapa disebut Ordinary Least Squares?
▶ Untuk nilai perkiraan intersep (intercept estimate dan slope
(slope estimate) tertentu, terdapat nilai suaian (fitted value)
untuk setiap unit observasi di dalam sampel
▶ Fitted value y ketika x = xi adalah:
ŷi = βˆ0 + βˆ1 xi (14)

ŷi adalah nilai perkiraan y ketika x = xi
▶ Sisaan atau residual dapat dinyatakan sebagai:
ûi = yi − ŷi = yi − βˆ0 − βˆ1 xi (15)

Residual, û, adalah nilai perkiraan dari gangguan (error term),
u. Residual menunjukkan selisih antara fitted line (SRF) dan
titik-titik sampel.

▶ Misalkan kita hendak menemukan βˆ0 dan βˆ1 yang
meminimalkan sum of squared residuals (SSR)
n
X n
X
2
(ûi ) = (yi − β̂0 − β̂i xi )2 (16)
i=1 i=1
▶ Dengan menyelesaikan persamaan (16) akan diperoleh first
order conditions, yaitu persamaan (10) dan (11) yang
dikalikan dengan n
n
X
(yi − β̂0 − β̂1 xi ) = 0 (17)
i=1
n
X
xi (yi − β̂0 − β̂1 xi ) = 0 (18)
i=1
▶ Dengan menggunakan kalkulus, solusi untuk first order

conditions adalah persamaan (12) dan (13).
▶ Lihat Appendix 2A untuk penyelesaiannya.
▶ Pada dasarnya, OLS adalah garis suaian (fitting line) yang
melewati titik-titik observasi yang memastikan bahwa jumlah
kuadarat residual (sum of squared residuals) adalah minimal.
▶ Maka dari itu, prosedur ini dinamakan dengan istilah Ordinary
Least Squares (OLS)


▶ Setelah memperoleh nilai perkiraan OLS (OLS estimates),

kita dapat meformulasikan garis regresi OLS (OLS Regression
Line) atau fungsi regresi sampel (sample regression function
(SRF))
ŷi = βˆ0 + βˆ1 xi (19)

Persamaan (19) merupakan persamaan (5) yang telah
diperkirakan
▶ Karena SRF diperoleh dari data sampel tertentu, nilai β̂1 dan
β̂0 akan berbeda untuk setiap sampel yang berbeda.
Q1: Apa beda PRF and SRF? Bandingkan persamaan (5) and (19)


Sifat-sifat Aljabar:
P.1 Jumlah dari residual OLS (OLS residuals) dan juga rata-rata
sampel residual OLS adalah nol
n Pn
i=1 ûi
X
ûi = 0, =0 (20)
n
i=1
P.2 Kovarians sampel antara regressor dan residual OLS adalah

nol
n
X
xi ûi = 0 (21)
i=1
P.3 Garis regresi OLS selalu melawati rata-rata sampel.

▶ Setiap obervasi yi terdiri dari fitted value ŷi dan residualnya ûi
yi = ŷi + ûi (22)

▶ Bisa dikatakan bahwa ŷi adalah bagian yang dijelaskan dan ûi
bagian yang tidak dapat dijelaskan
Oleh karenya , kita bisa mendefinikan: hitam sebagai warna
▶ (yi − ȳ )2 adalah total sum of squares (SST)
P
▶ (ŷi − ȳ )2 adalah explained sum of squares (SSE)

P
▶ (ûi )2 adalah residual sum of squares (SSR)

P
▶ Maka, SST = SSE + SSR

Bukti bahwa SST = SSE + SSR
X X
(yi − ȳ )2 = [(yi − ŷi ) + (ȳi − ŷ )]2
X
SST = [ûi + (ŷi − ȳ )]2
X X X
SST = ûi2 + 2 ûi (ŷi − ȳ ) + (ŷi − ȳ )2
X
SST =SSR + 2 ūi (ŷi − ȳ ) + SSE
SST =SSR + SSE (23)
P
karena, ûi (ŷi − ȳ ) = 0

Kecocokan Suai (Goodness of Fit)
▶ Seberapa yakinkah kita mengenai ketepatan garis regresi
sampel dalam menggambarkan sampel kita?
▶ Dengan asumsi bahwa total variasi dalam y tidak nol, kita
dapat membagi persamaan (23) dengan SST :
SSR SSE
+ =1
SST SST
▶ Bagian dari total sum of squares (SST ) yang dapat dijelaskan
oleh model disebut R-Kuadrat,
SSE SSR
R2 = =1− (24)
SST SST
▶ dengan 0 ≤ R 2 ≤ 1
▶ Sekarang kita tahu bahwa β̂0 dan β̂1 adalah estimator untuk
parameter populasi β0 dan β1 .
▶ Pertanyaanya : apakah OLS estimator berisifat tidak bias dan
yang terbaik?
▶ Dengan memenuhi asumsi-asumsi berikut, kita dapat
membuktikan bahwa OLS estimator adalah estimator yang
terbaik (best) dan tidak bias (unbiased).
Asumsi Gauss-Markov untuk Regresi Cross-Section Seder-
hana
Assumption SLR.1: Linier dalam parameter

Assumption SLR.2: Sampel bersifat Acak
Assumption SLR.3: Sample variabel penjelas bervariasi
Assumption SLR.4: Exogeneity (Zero Conditional Mean)
Assumption SLR.5: Homoscedasticity

Asumsi SLR.1: Linear dalam Parameter

Dalam model populasi, hubungan variabel dependen, y ter-
hadap variabel independen, x, dan dengan gangguan (error
term/disturbances), u, diformulasikan:
y = β0 + β1 x + u, (25)
dengan β0 adalah intersep populasi (intercept) dan β1 adalah

parameter kemiringan (slope parameter ).

Asumsi SLR.2: Sampel bersifat Acak
Sampel yang digunakan adalah sampel acak untuk jumlah

observasi sebanyak n, {(xi , yi ) : i = 1, 2, . . . , n}

Asumsi SLR.3: Sample variabel penjelas bervariasi
Nilai-nilai dari sampel x, yakni, {xi , i = 1, 2, . . . , n}, bervari-

asi (tidak sama).

Assumption SLR.4: Exogeneity atau Zero Conditional Mean
Unsur gangguan (error ) u memiliki nilai harapan nol untuk

berapapun nilai variabel penjelas, atau bisa dinyatakan:
E (u|x) = 0

Ketakbiasan OLS
Dengan menggunakan asumsi SLR.1 sampai SLR.4,
β̂0 = β0 dan β̂1 = β1 ,
untuk berapapun nilai β0 dan β1 . Ini berarti β̂0 tidak bias

terhadap β0 , dan β̂1 tidak bias terhadap β1 .

▶ Sekarang kita tahu bahwa dengan asumsi SLR.1 sampai

SLR.4, nilai perkiraan OLS tidak bias.
▶ Selain ketidakbiasan, kita perlu mengetahui seberapa β̂1 jauh
dari β1 secara rata-rata (peresebaran dalam distribusi β̂1 )
▶ Variansi digunakan untuk mengukur persebaran dalam suatu
distribusi.
Homoskedastisitas
Unsur gangguan (error ) u memiliki variansi yang sama untuk
berapapun nilai variabel penjelas. Hal ini bisa dinyatakan:
Var (u|x) = σ 2

Variansi Sampel dari OLS Estimator
Menggunakan asumsi SLR.1 sampai SLR.5,
σ2 σ2
Var (βˆ1 ) = Pn 2
= (26)
i=1 (xi − x̄) SSTx
dan
σ 2 n1 ni=1 (xi )2
P
Var (βˆ0 ) = Pn 2
(27)
i=1 (xi − x̄)
Nilai variansi ini tergantung pada sampel {x1 , . . . , xn }

Ketidakbiasan σ 2
Menggunakan asumsi SLR.1 sampai SLR.5,
σ̂ 2 = σ 2 ,

BLUE Estimator
Dengan 5 asumsi Gauss-Markov ini, OLS Estimator bersifat

“BLUE”, yakni
▶ Best (Terbaik)
▶ Linear (Linier)
▶ UUnbiased (Tidak bias)
▶ Estimator (Alat penaksir)

Econometrics1 2 Indo

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Econometrics1 2 Indo

Uploaded by

Copyright:

Available Formats

Ekonometrika 1

2. Model Regresi Linear Sederhana

Updated February 14, 2022

Definisi Model Regresi Sederhana

Menderivasi Nilai Perkiraan OLS (OLS Estimates)

Sifat-sifat Aljabar OLS

Nilai Harapan dan Variansi OLS Estimators

Alfa Farah Ekonometrika 1 1 / 39

Wooldridge, Jeffrey M. 2019. Introductory Econometrics: A

Ch.2. The Simple Regression Model

Example 2.2, 2.4

Alfa Farah Ekonometrika 1 2 / 39

Example 2.2: A Simple Wage Equation

Alfa Farah Ekonometrika 1 4 / 39

▶ Pada dasarnya, ketika kita melakukan analisis ekonometrika

Alfa Farah Ekonometrika 1 5 / 39

E (u|x) = E (u) (3)

E (u|x) = E (u) = 0 (4)

▶ Dengan menggunakan nilai harapan bersyarat dari (1) dan

Alfa Farah Ekonometrika 1 7 / 39

Alfa Farah Ekonometrika 1 8 / 39

▶ Untuk mendapatkan nilai perkiraan parameter (parameter

Cov (x, u) = E (xu) = 0 (7)

Alfa Farah Ekonometrika 1 10 / 39

Menggunakan A.1 dan karena y = β0 + β1 x + u, dan dengan

E (xu) = E [x(y − β0 − β1 x)] = 0 (9)

Alfa Farah Ekonometrika 1 11 / 39

▶ Untuk mendapatkan nilai perkiraan parameter (parameter

Alfa Farah Ekonometrika 1 12 / 39

▶ Dengan menyelesaikan persamaan (8) dan (9), kita akan

Alfa Farah Ekonometrika 1 13 / 39

ȳ − β̂0 − β̂1 x̄ = 0 ⇔ β̂0 = ȳ − β̂1 x̄ (12)

Alfa Farah Ekonometrika 1 14 / 39

▶ Persamaan (12) and (13) adalah OLS estimators.

Alfa Farah Ekonometrika 1 15 / 39

▶ β̂1 adalah slope estimate, yang dihitung dengan membagi

Alfa Farah Ekonometrika 1 16 / 39

Estimator (Estimators) vs estimate (Estimates)!

▶ Estimator: suatu prosedur (suatu fungsi matematis) untuk

Alfa Farah Ekonometrika 1 17 / 39

ŷi = βˆ0 + βˆ1 xi (14)

ûi = yi − ŷi = yi − βˆ0 − βˆ1 xi (15)

Alfa Farah Ekonometrika 1 19 / 39

▶ Dengan menggunakan kalkulus, solusi untuk first order

Alfa Farah Ekonometrika 1 21 / 39

Alfa Farah Ekonometrika 1 22 / 39

▶ Setelah memperoleh nilai perkiraan OLS (OLS estimates),

ŷi = βˆ0 + βˆ1 xi (19)

Alfa Farah Ekonometrika 1 23 / 39

Alfa Farah Ekonometrika 1 24 / 39

P.2 Kovarians sampel antara regressor dan residual OLS adalah

P.3 Garis regresi OLS selalu melawati rata-rata sampel.

Alfa Farah Ekonometrika 1 26 / 39

yi = ŷi + ûi (22)

▶ (ŷi − ȳ )2 adalah explained sum of squares (SSE)

▶ (ûi )2 adalah residual sum of squares (SSR)

▶ Maka, SST = SSE + SSR

Alfa Farah Ekonometrika 1 27 / 39

Alfa Farah Ekonometrika 1 28 / 39

Assumption SLR.1: Linier dalam parameter

Alfa Farah Ekonometrika 1 30 / 39

Asumsi SLR.1: Linear dalam Parameter

dengan β0 adalah intersep populasi (intercept) dan β1 adalah

Alfa Farah Ekonometrika 1 31 / 39