Econometrika 1

3. Analisis Regresi Berganda: Estimasi

Alfa Farah

Department of Economics
Diponegoro University

Updated February 14, 2022

Apa yang akan kita pelajari

Model dengan Beberapa Variabel Penjelas

Mederivasi Nilai Perkiraan OLS

Menginterpretasikan Persamaan Regresi OLS

Nilai Harapan dan Variansi OLS Estimators

Asumsi Gauss-Markov untuk Regresi Cross-Section Berganda

Alfa Farah Econometrika 1 1 / 24

Bacaan

Wooldridge, Jeffrey M. 2019. Introductory Econometrics: A

Modern Approach, 6ed (Ch.3)
▶ Ch.3 (3.1-3.6)
▶ Bagian berikut bisa dibaca saat membahas materi ke-6
▶ Regression through the Origin (3.2i)
▶ Including Irrelevant Variables (3.3a)
▶ Omitted Variable Bias: The Simple Case (3.3b)
▶ Omitted Variable Bias: More General Cases (3.3c)
Example 3.1, 3.4

Alfa Farah Econometrika 1 2 / 24

Model dengan Dua Variabel Penjelas

Berikut adalah model regresi linier y terhadap x1 dan x2 ,

y = β0 + β1x1 + β2x2 + u (1)

▶ β0 adalah intersep
▶ β1 mengukur perubahan y terhadap x1 , ketika variabel lainnya
dikontrol tetap
▶ β2 mengukur perubahan y terhadap x2 , ketika variabel lainnya
dikontrol tetap

Alfa Farah Econometrika 1 3 / 24

Model dengan Dua Variabel Penjelas
▶ Seperti dalam model regresi sederhana, model dengan dua
variabel penjelas juga mengasumsikan bahwa u tidak
berhubungan dengan variabel penjelas:

E (u|x1 , x2 ) = 0 (2)
Pertanyaan 1

Sebuah model berusaha menjelaskan bahwa tingkat pem-

bunuhan di kota (murdrate) dipengaruhi oleh kemungkinan
pelaku pembunuhan terbukti bersalah (prbconv ) dan rata-
rata lama hukuman (avgsen)

murdrate = β0 + β1 prbconv + β2 avgsen + u

Apa saja faktor-faktor dalam u? Menurut Anda, apakah

asumsi dasar dalam persamaan (2) dapat dipenuhi?
Alfa Farah Econometrika 1 4 / 24
Model dengan Variabel Penjelas sebanyak k

▶ Model regresi berganda dengan variabel penjelas sebanyak k

secara umum berbentuk:

y = β0 + β1x1 + · · · + βk xk + u (3)
▶ Oleh karenanya, asumsi utama dapat dituliskan

E (u|x1 , x2 , . . . , xk ) = 0 (4)

Alfa Farah Econometrika 1 5 / 24

Mederivasi Nilai Perkiraan OLS
▶ Dalam model yang memiliki variabel penjelas sebanyak k, kita

melakukan analisis ekonometris untuk mendapatkan nilai

perkiraan (OLS estimates) β̂0 , β̂1 , β̂2 , . . . , β̂k dalam

y = β0 + β1x1 + β2x2 + · · · + βk xk + u
▶ Kita medapatkan nilai estimasi OLS untuk k + 1, dengan cara

meminimalkan jumlah kuadrat residual (sum of squared

residuals)
n
X
(yi − β̂0 − β̂1xi1 − · · · − β̂k xik )2 (5)
i=1
Alfa Farah Econometrika 1 6 / 24
Menderivasi Nilai Perkiraan OLS
Problem minimalisasi dapat diselesaikan menggunakan kalkulus,
yang akan menghasilkan persamaan linier sebanyak k + 1 dengan
parameter yang tidak diketahui sebanyak k + 1 (β̂0 , β̂1 , . . . , β̂k ).
n
X
(yi − β̂0 − β̂1 xi1 − · · · − β̂k xik )2 = 0
i=1
n
X
xi1 (yi − β̂0 − β̂1 xi1 − · · · − β̂k xik )2 = 0
i=1
n
X
xi2 (yi − β̂0 − β̂1 xi1 − · · · − β̂k xik )2 = 0
i=1
..
.
n
X
xik (yi − β̂0 − β̂1 xi1 − · · · − β̂k xik )2 = 0
i=1

Alfa Farah Econometrika 1 7 / 24

Menderivasi Nilai Perkiraan OLS

▶ Seperti dalam model regresi sederhana, sistem persamaan

dalam model regresi berganda dapat diselesaikan dengan
menggunakan metode momen (method of moments).
▶ Menemukan solusi dari sistem persamaan ini secara manual
sangat rumit
▶ Untungnya, perangkat lunak (software) ekonometrika seperti
R membantu kita untuk menyelesaikan sistem persamaan
dengan jumlah n dan k yang banyak

Alfa Farah Econometrika 1 8 / 24

Menginterpretasikan Persamaan Regresi OLS
▶ Kita mulai dengan menginterpretasi model dengan dua
variabel penjelas

ŷ = β̂0 + β̂1 x1 + β̂2 x2

▶ β̂0 adalah nilai perkiraan dari y ketika x1 = 0 dan x2 = 0
▶ β̂1 dan β̂2 diinterpretasikan sebagai efek parsial (partial
effect), atau ceteris paribus.
▶ Dengan demikian, dari persamaan di atas akan diperoleh

∆ŷ = β̂1 ∆x1 + β̂2 ∆x2 (6)

▶ Ketika x2 dikontrol tetap (∆x2 = 0), maka ∆ŷ = β̂1 ∆x1
▶ Ketika x1 dikontrol tetap (∆x1 = 0), maka ∆ŷ = β̂2 ∆x2

Alfa Farah Econometrika 1 9 / 24

Menginterpretasikan Persamaan Regresi OLS
▶ Untuk model dengan variabel penjelas sebanyak k
ŷ = β̂0 + β̂1 x1 + β̂2 x2 + · · · + β̂k xk ,
▶ perubahan y yang disebakan oleh perubahan variabel penjelas
dapat diekspresikan:
∆ŷ = β̂1 ∆x1 + β̂2 ∆x2 + · · · + β̂k ∆xk (7)
▶ Koefisien pada x1 mengukur perubahan pada ŷ akibat
peningkatan x1 sebesar satu unit, dengan mengontrol variabel
penjelas lainnya tetap. Yakni, ∆ŷ = β̂1 ∆x1 , ketika
x1 , x2 , · · · , xk dikontrol tetap.
▶ Maka, variabel x2 , · · · , xk disebut variabel kontrol, atau
variabel yang dikontrol tetap ketika memperkirakan efek x1
terhadap y .
▶ Interpretasi untuk variabel penjelas lainnya bisa dilakukan
dengan cara yang sama
Example 3.1
Alfa Farah Econometrika 1 10 / 24
Alfa Farah Econometrika 1 11 / 24
Menginterpretasikan Persamaan Regresi OLS
Kebaikan Suai (Goodness-of-Fit)

▶ Seperti dapat model regresi sederhana, kita dapat

mendefinisikan:
X
SST ≡ (yi − ȳ )2 , adalah total sum of squares (8)
X
SSE ≡ (ŷi − ȳ )2 , adalah explained sum of squares (9)
X
SSR ≡ (ûi )2 , adalah residual sum of squares (10)

▶ Dengan menggunakan konsep yang sama dengan model

regresi sederhana:

SST = SSE + SSR (11)

Alfa Farah Econometrika 1 12 / 24

Menginterpretasikan Persamaan Regresi OLS
Kebaikan Suai (Goodness-of-Fit)

▶ Seperti dengan model regresi sederhana, R − kuadrat

didefinisikan sebagai
SSR SSE
R2 ≡ =1− (12)
SST SST
▶ R 2 diinterpretasikan sebagai proporsi variasi sampel yi yang
dijelaskan oleh garis regresi OLS.
▶ Nilai R 2 : 0 ≤ R 2 ≤ 1

Example 3.4

Alfa Farah Econometrika 1 13 / 24

Alfa Farah Econometrika 1 14 / 24
Nilai Harapan dan Variansi OLS Estimators
Asumsi Gauss-Markov untuk Regresi Cross-Section Berganda

Seperti dalam regresi sederhana, asumsi-asumsi di bawah ini

memastikan bahwa OLS estimator tidak bias (unbiased) dan
terbaik (best).

Asumsi Gauss-Markov untuk Regresi Cross-Section Berganda

Asumsi MLR.1: Linear dalam Parameter

Asumsi MLR.2: Sampel bersifat Acak
Asumsi MLR.3: Tidak terdapat multikolinearitas sempurna
Asumsi MLR.4: Exogeneity atau Zero Conditional Mean
Asumsi MLR.5: Homoskedastisitas

Alfa Farah Econometrika 1 15 / 24

Nilai Harapan dan Variansi OLS Estimators
Asumsi Gauss-Markov untuk Regresi Cross-Section Berganda

Assumption MLR.1: Linear in Parameter

Model regresi populasi dapat ditulis sebagai

y = β0 + β1 x1 + β2 x2 + · · · + βk xk + u (13)

dengan β0 , β1 , . . . , βk xk , adalah parameter yang tidak dike-

tahui dan u adalah galat/gangguan (error term/disturbance)

Alfa Farah Econometrika 1 16 / 24

Nilai Harapan dan Variansi OLS Estimators
Asumsi Gauss-Markov untuk Regresi Cross-Section Berganda

Assumption MLR.2: Sampel bersifat Acak

Sampel yang digunakan adalah sampel acak untuk jumlah

observasi sebanyak n atau bisa {(xi1 , xi2 , . . . , xik , yi ) : i =
1, 2, . . . , n}

Alfa Farah Econometrika 1 17 / 24

Nilai Harapan dan Variansi OLS Estimators
Asumsi Gauss-Markov untuk Regresi Cross-Section Berganda

Assumption MLR.3: Tidak ada Multikoliniaritas Sempurna

Dalam sebuah sampel, dan juga populasi, tidak ada variabel-

variabel penjelas yang sifatnya konstan, dan tidak ada hubun-
gan linier sempurna di antara variabel penjelas.

Alfa Farah Econometrika 1 18 / 24

Nilai Harapan dan Variansi OLS Estimators
Asumsi Gauss-Markov untuk Regresi Cross-Section Berganda

Assumption MLR.4: Exogeneity atau Zero Conditional Mean

Unsur error u memiliki nilai harapan nol untuk berapapun

nilai variabel penjelas, atau bisa dinyatakan:

E (u|x1 , x2 , . . . , xk ) = 0

Alfa Farah Econometrika 1 19 / 24

Nilai Harapan dan Variansi OLS Estimators
Asumsi Gauss-Markov untuk Regresi Cross-Section Berganda

Teorema 3.1: Ketidakbiasan OLS Estimator

Dengan menggunakan asumsi MLR.1 sampai MLR.4,

β̂j = βj , j = 0, 1, . . . , k

untuk setiap nilai parameter populasi βj . Ini berarti OLS

estimators adalah penaksir (pemerkira) parameter-parameter
populasi yang tidak bias.

Alfa Farah Econometrika 1 20 / 24

Nilai Harapan dan Variansi OLS Estimators
Efisiensi OLS
▶ Sekarang kita tahu bahwa dengan asumsi MLR.1 sampai
MLR.4, OLS Estimators tidak bias.
▶ Namun, ada banyak estimator βj lainnya di bawah asumsi
MLR.1 sampai MLR.4 yang juga tidak bias.
▶ Pertanyaannya: mungkin ada estimator tidak bias lainnya
dengan varians yang lebih kecil dari pada OLS Estimator?
▶ Untuk memastikan bahwa OLS Estimator kita memiliki
variansi yang paling kecil, kita menambahkan satu asumsi lagi

Assumption MLR.5: Homoskedastisitas

Unsur error u memiliki varians yang sama untuk berapapun

nilai yang diberikan variabel eksplanatori. Dapat dinyatakan
sebagai,

Var (u|x1 , . . . , xk ) = σ 2
Alfa Farah Econometrika 1 21 / 24
Nilai Harapan dan Variansi OLS Estimators
Efisiensi OLS

Dengan menggunakan MLR.1 sampai MLR.5, variansi OLS

Estimator adalah sebagai berikut:
Teorema 3.2: Variansi Sampel dari OLS Estimator

Dengan menggunakan asumsi MLR.1 sampai MLR.5, dan

menggunakan nilai-nilai sampel variabel penjelas,

σ2
Var (β̂j ) = (14)
SSTj (1 − Rj2 )

untuk j = 1, 2, . . . , k, SSTj = ni=1 (xij − x̄j )2 adalah vari-

P
asi total sampel dalam xj , dan Rj2 adalah R-Kuadrat dari
meregresikan seluruh xj terhadap semua variabel independen
lainnya (termasuk intersep)

Alfa Farah Econometrika 1 22 / 24

Nilai Harapan dan Variansi OLS Estimators
Efisiensi OLS

Teorema 3.3: Ketidakbiasaan Standard Error OLS EStimator

(σ 2 )

Dengan menggunakan asumsi MLR.1 sampai MLR.5

σ̂ 2 = σ 2 ,

Alfa Farah Econometrika 1 23 / 24

Nilai Harapan dan Variansi OLS Estimators
Efisiensi OLS

▶ Dengan asusmsi MLR.1 sampai MLR.5, OLS Estimator tidak

bias dan memiliki varians terkecil

Teoreme 3.4: Teorema Gauss-Markov

Dengan asumsi MLR.1 sampai MLR.5, β̂0 , β̂1 , β̂2 , . . . , β̂k

adalah estimator dari β0 , β1 , β2 , . . . , βk yang bersifat ter-
baik linier dan tidak bias (best linear unbiased estimators or
BLUEs)

Alfa Farah Econometrika 1 24 / 24