Professional Documents
Culture Documents
Regression - Multiple
Regression - Multiple
∑(𝑦−𝑦̂)2 𝑆𝑆𝐸
o Standard error of estimate: 𝑠𝑦.𝑥 = √ 𝑛−2
= √𝑛−2 = √𝑀𝑆𝐸
𝑆𝑆𝑅 𝑆𝑆𝐸
o Coefficient of determination: 𝑟 2 = 𝑆𝑆𝑇𝑜𝑡𝑎𝑙
= 1 − 𝑆𝑆𝑇𝑜𝑡𝑎𝑙
Contoh Soal:
The owner of Haverty’s Furniture Company was studying the relationship between sales and the
amount spent on advertising. The advertising expense and sales revenue, both in millions of
dollars, for the last 4 months are repeated below.
Penyelesaian:
o 𝑦̂ = 1.5 + 2.2𝑥
o Untuk x = 3 (juta) maka ekspektasi nilai sales: 𝑦̂ = 1.5 + 2.2 × 3 = 8.1 (𝑗𝑢𝑡𝑎)
Penyelesaian:
o Lihat tabel paling bawah kolom “coefficients”: 𝑦̂ = 1.5 + 2.2𝑥 atau 𝑆𝑎𝑙𝑒𝑠 𝑅𝑒𝑣𝑒𝑛𝑢𝑒 =
1.5 + 2.2 × 𝐴𝑑𝑣𝑒𝑟𝑡𝑖𝑠𝑖𝑛𝑔 𝐵𝑢𝑑𝑔𝑒𝑡
What are the decision rules to conclude whether the advertising expense significantly affect
sales?
o Kesimpulan bahwa advertising expense signifikan mempengaruhi sales diambil apabila
Ho ditolak.
o Decision rules untuk menolak Ho adalah salah satu dari beberapa alternatif di bawah ini:
Jika Nilai F di Tabel ANOVA lebih besar dari Fcritical yang ada di tabel F Distribution
pada buku text.
Jika Nilai P-value (Significance F) yang ada di tabel ANOVA lebih kecil daripada α.
Jika Nilai t-stat untuk Advertising Expense yang ada pada tabel paling bawah
lebih besar daripada nilai tcritical yang ada pada Tabel Student’s T di buku text.
Jika Nilai P-value untuk Advertising Expense yang ada pada tabel paling bawah
lebih kecil daripada α
For significance level 0.05, what is the decision regarding the impact of advertising expense to
sales?
o Berdasarkan nilai p-value di tabel ANOVA atau p-value di tabel paling bawah untuk
advertising expense yang besarnya 0.035 < α=0.05, maka Ho (tidak signifikan) ditolak.
o Dengan demikian dapat disimpulkan bahwa Advertising Expense signifikan
mempengaruhi Sales Revenue.
Contoh Soal:
• Assuming a direct relationship between the variables, what is the correlation coefficient?
Penyelesaian:
Contoh soal:
On the first statistics exam, the coefficient of determination between the hours studied and the
grade earned was 80%. The standard error of estimate was 10. There were 20 students in the
class. Develop an ANOVA table for the regression analysis of hours studied as a predictor of the
grade earned on the first statistics exam.
Penyelesaian:
Diketahui:
o 𝑟 2 = 0.8
o 𝑠𝑦.𝑥 = 10
o n = 20
Ditanya: ANOVA Table untuk regresi
Solusi:
𝑆𝑆𝐸 2
o 𝑠𝑦.𝑥 = √𝑛−2 → 𝑆𝑆𝐸 = (𝑠𝑦.𝑥 ) (𝑛 − 2) = 102 × (20 − 2) = 1800
𝑆𝑆𝐸 𝑆𝑆𝐸 1800
o 𝑟 2 = 1 − 𝑆𝑆𝑇𝑜𝑡𝑎𝑙 → 𝑆𝑆𝑇𝑜𝑡𝑎𝑙 = 1−𝑟2 = 1−0.8 = 9000
o Tabel ANOVA
Rumus-rumus:
Multiple linear regression:
o For sample: 𝑦̂ = 𝑎 + 𝑏1 𝑥1 + 𝑏2 𝑥2 + 𝑏3 𝑥3 + ⋯ + 𝑏𝑘 𝑥𝑘
o For population: 𝑦̂ = 𝛼 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + 𝛽3 𝑥3 + ⋯ + 𝛽𝑘 𝑥𝑘
Estimator for 𝛽𝑖 is bi with standard error 𝑠𝑏𝑖
o Global test:
Hypotheses:
𝐻0 : 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑘 = 0 ; Tidak ada variabel x yang signifikan
mempengaruhi variabel y.
𝐻1 : 𝐴𝑑𝑎 𝛽 𝑦𝑎𝑛𝑔 𝑡𝑖𝑑𝑎𝑘 𝑠𝑎𝑚𝑎 𝑑𝑒𝑛𝑔𝑎𝑛 𝑛𝑜𝑙; Ada (satu atau lebih)
variabel x yang signifikan mempengaruhi variabel y
Test statistics
𝑀𝑆𝑅
𝐹 = 𝑀𝑆𝐸 ; 𝑑𝑓𝑀𝑆𝑅 = 𝑘 ; 𝑑𝑓𝑀𝑆𝐸 = 𝑛 − (𝑘 + 1)
Decision rule:
Ho ditolak jika Fsample > Fcritical
Ho ditolak jika p-value < α
o Individual test:
Hypotheses:
𝐻0 : 𝛽𝑖 = 0 ; Variabel xi tidak signifikan mempengaruhi variabel y.
𝐻1 : 𝛽𝑖 ≠ 0 ; Variabel xi signifikan mempengaruhi variabel y
Test statistics:
𝑏𝑖 −0
𝑡𝑖 = 𝑠𝑏 𝑖
; 𝑑𝑓 = 𝑛 − (𝑘 + 1) = 𝑛 − 𝑘 − 1
Decision rule:
Ho ditolak jika 𝑡𝑠𝑎𝑚𝑝𝑙𝑒 > 𝑡𝑐𝑟𝑖𝑡𝑖𝑐𝑎𝑙 𝑎𝑡𝑎𝑢 𝑡𝑠𝑎𝑚𝑝𝑙𝑒 <
𝑡𝑐𝑟𝑖𝑡𝑖𝑐𝑎𝑙 (𝑏𝑖𝑙𝑎 𝑛𝑒𝑔𝑎𝑡𝑖𝑓)
Ho ditolak jika p-value < α
∑(𝑦−𝑦̂)2 𝑆𝑆𝐸
o Multiple Standard Error of Estimate: 𝑆𝑦.𝑥 = √ 𝑛−𝑘−1 = √𝑛−𝑘−1 = √𝑀𝑆𝐸
𝑆𝑆𝑅 𝑆𝑆𝐸
o Coefficient of Multiple Determination: 𝑅 2 = =1−
𝑆𝑆𝑇𝑜𝑡𝑎𝑙 𝑆𝑆𝑇𝑜𝑡𝑎𝑙
𝑆𝑆𝐸/(𝑛−𝑘−1)
o Adjusted Coefficient of Determination: 𝑅 2 𝑎𝑑𝑗 = 1 − 𝑆𝑆𝑇𝑜𝑡𝑎𝑙/(𝑛−1)
Contoh Soal:
Hasil olah data di bawah ini menunjukkan faktor-faktor yang diperkirakan mempengaruhi nilai tahunan
penjualan mobil di suatu area.
Ada berapa independent variables?
Faktor-faktor apa saja yang menjadi independent variables?
Ada berapa jumlah data yang digunakan (ukuran sampel)?
Tuliskan persamaan regresinya
Berapa nilai coefficient of multiple determination?
Berapa nilai adjusted coefficient of determination?
Tuliskan rumusan hipotesis untuk tabel ANOVA di atas
Lakukan global test dengan significance level 5% untuk menyimpulkan apakah ada sebagian dari
faktor-faktor yang diteliti yang mempengaruhi nilai tahunan penjualan mobil?
Lakukan individual test dengan significance level 5% untuk menyimpulkan apakah faktor
“personal income” mempengaruhi nilai tahunan penjualan mobil?
Penyelesaian: