12/18/2017

Regresi
Linear

Statistik

1
 12/18/2017

REGRESI LEAST SQUARES

Ada dua pendekatan curve fitting:
Regresi: pendekatan “terbaik” di sekitar data yang ada tidak harus
melalui semua data.

REGRESI LINEAR
Tinjauan kasus: n-pasangan data (xi,yi) didekati dengan garis lurus
y = ao + alx + e.
Dalam pers tsb, e = kesalahan/residu = penyimpangan antara harga
yang sebenarnya dengan harga pendekatan pers garis lurus tsb.

Fitting Terbaik

2
 12/18/2017

Kesalahan Pendekatan, ERROR

Transformasi
Linearisasi hubungan tak linear

3
 12/18/2017

4
 12/18/2017

Linear Regression
Assume n points, with each point having values of both an independent
variable x and a dependent variable y.

The values of x are x1 , x2 , x3 ,...., xn .

The values of y are y1 , y2 , y3 ,...., yn .
A best-fitting straight line equation
will have the form
y = a1 x + a0
9

Preliminary Computations
1 n
x = sample mean of the x values = ∑ xk
n k =0
1 n
y = sample mean of the y values = ∑ yk
n k =0
1 n 2
x = sample mean-square of the x values = ∑ xk
2

n k =1
1 n
xy = sample mean of the product xy = ∑ xk yk
n k =1
10

5
 12/18/2017

Best-Fitting Straight Line

a1 =
( xy ) − ( x )( y )
( )
x 2
− ( x )
2

a0 =
( x ) ( y ) − ( x )( xy )
2

(x )−(x)2 2

Alternately, a0 = y − a1 x
y = a1 x + a0
11

Example 13-1. Find best fitting straight

line equation for the data shown below.
x 0 1 2 3 4 5 6 7 8 9
y 4.00 6.10 8.30 9.90 12.40 14.30 15.70 17.40 19.80 22.30

1 10 0 + 1 + 2 + 3 + 4 + 5 + 6 + 7 + 8 + 9 45
x = ∑ xk = = = 4.50
10 k =1 10 10

1 10 4 + 6.1 + 8.3 + 9.9 + 12.4 + 14.3 + 15.7 + 17.4 + 19.8 + 22.3

y= ∑
10 k =1
yk =
10
130.2
= = 13.02
10

12

6
 12/18/2017

Example 13-1. Continuation.

1 10 2
x2 = ∑ xk
10 k =1
(0) 2 + (1) 2 + (2)2 + (3)2 + (4) 2 + (5) 2 + (6) 2 + (7) 2 + (8) 2 + (9)2
=
10
285
= = 28.50
10
1 10
xy = ∑ xk yk
10 k =1
0 + 6.1 + 16.6 + 29.7 + 49.6 + 71.5 + 94.2 + 121.8 + 158.4 + 200.7
=
10
748.6
= = 74.86
10
13

Example 13-1. Continuation.

a1 =
( xy ) − ( x )( y ) = 74.86 − (4.50)(13.02)
( )
x 2
− ( x )
2
28.50 − (4.50) 2

16.27
= =1.9721
8.250
a0 = y − a1 x = 13.02 − 1.972 × 4.50 = 4.1455

y = 1.9721x + 4.1455

14

7
 12/18/2017

y
25

y = 1.9721x + 4.1455
R² = 0.9973

20

15

y
Linear (y)

10

0
0 1 2 3 4 5 6 7 8 9 10
15

Example 13-1. Continuation.

>> x = 0:9;
>> yapp = 1.9721*x + 4.1455;
>> y = [the 10 values of y];
>> plot(x, yapp, x, y, 'o')

The best-fit plot and the actual points are shown on the next slide.

16

8
 12/18/2017

17

18

9
 12/18/2017

Koefisien determinasi

Koefisien determinasi (R 2 ) pada intinya mengukur seberapa jauh

kemampuan model dalam menerangkan variasi variabel dependen. Nilai
koefisien determinasi adalah antara nol dan satu. Nilai R2 = yang kecil
berarti kemampuan variabel-variabel independen dalam menjelaskan
variasi variabel dependen amat terbatas. Nilai yang mendekati satu
berarti variabel-variabel independen memberikan hampir semua
informasi yang dibutuhkan untuk memprediksi variasi variabel dependen.
Secara umum koefisien determinasi untuk data silang (crossection) relatif
rendah karena adanya variasi yang besar antara masing-rnasing
pengamatan, sedangkan untuk data runtun waktu (time series) biasanya
mempunyai nilai koefisien determinasi yang tinggi.

19

Kelemahan mendasar penggunaan koefisien determinasi adalah bias

terhadap jumlah variabel independen yang dimasukkan kedalam model.
Setiap tambahan satu variabel independen, maka R2 pasti meningkat
tidak perduli apakah variabel tersebut berpengaruh secara signifikan
terhadap variabel dependen. Oleh karena itu banyak peneliti
menganjurkan untuk menggunakan nilai Adjusted R2 pada saat
mengevaluasi mana model regresi terbaik. Tidak seperti R2 , nilai Adjusted
R 2 dapat naik atau turun apabila satu variabel independen ditambahkan
kedalam model. Dalam kenyataan nilai adjusted R 2 dapat bernilai negatif,
walaupun yang dikehendaki harus bernilai positif. Menurut Gujarati (2003)
jika dalam uji empiris didapat nilai adjusted R 2 negatif, maka nilai
adjusted R 2 dianggap bernilai nol. Secara matematis jika nilai R2 = 1,
maka Adjusted R2 = R2 = I sedangkan jika nilai R 2 = 0, maka adjusted R 2 =
(1 - k)/(n - k). Jika k > 1 , maka adjusted R= akan bernilai negative.

20

10