Regression Analysis
 

  !  "#$
          
 

)
     % )
 * 
&'  %
  (
     %
2 &+ !%  .)
  !  "#$ ,-   $ . /  0
+ 
)
   &+ (
 
 )
  !  "#$ 3 4
$ 4 $ 
+
   (
 !  7   4 "#$ !%  * .6
&5
Simple 9 +  9&   : + 
   9+     !84 0
  %
 !
;% 
+  )
  * !%  * 0Linear Regression
.Multiple Regression $ 
   : +   !84

Simple Linear regression 9 +
  

 %
  !  9
  "#$
      9 +
  
   ! .  .+ 
  
&'  %
 ( (
   

    "
  !
  !  "#$
+< = &+ !%  9&   $
:    7 "#$ >  !%  .+ 
   " 4
$ * (

y i = β 0 + β1x i + ε i

 β 0  @$ A9&  ε i  + 
   x i  (
   y i / 

9&  !*
$ β1 
< B+ x  " !%  * y  " !*
$ ;  "
."#$ ,- B  + 

x   9
 9+  $ 9 ( D ( @*
 y !   C
< 

. ε i ∼ N ( 0, σ 2 ) !84 +  -
<
 F$ G84  . x  " E#& :
* ); ! 
.6
 )$
 
9 &+   $
 !% 
  <
&    
 Cars.sav )
 + )  &+ 
 4  +

 + " !  "#$
 4 >
   ! C
< .   ) -
<
&

   &+  +  0+
 % )9+ $+ (
 % !

 " :5 9& !  .  $
& ; !
  !  "#$
 9 +

1
. 9&
>   9& "#$ !% ! %A
 F   !
  !  "#$ H4   

=I  Graphs  " ! Scatter
5
 & ) 
@ +
!%   

:
 (

:
 (

=I Define :

*
 ; Simple
5 3
 &

.. C
* @@ :

*  +

=I OK :
*


2
  !84  0 J  "#*   + 9& "#$  ;  !% G +
 ! I# 

5 &+ 9&  
 ."#$ 2= K+ !% + 9&



 (

=I 

3
 .  .
=I OK :
*


! 9&  
+< 
 ,- B ANOVA J :

* . B
)  !
% DJ
+< 9&
   ! F  
%  
@ 0) 
( D &+    $ ANOVA J
&  .

"  @$ )4#& !
   -
<
& /  0F
H 0 : β1 = 0
H a : β1 ≠ 0

& F
& !84   4 .-4
$  -
4 !84 L+ J :
* 
  D
 . 
 
$ % β1 
$   $
&  !
  !  "#$  $
 2 4 F
& !84 0 +
 !
;%   4 J  * F
&
. $4   $ ( J  $
&
H 0 : β1 = 0; β 2 = 0;… ; β k = 0
H a : β1 ≠ 0; β 2 ≠ 0;…; β k ≠ 0

%  $
&  /   $
& :  $  -
4 C4
 4
N
4 0$  -
4 C4
     0
&M !* 
< 
   $ ! 
$
% .K+
> &+    ! :
@    $
& J 
B+ B  
    $ K+ !% G84
SSR 461270.9
R2 = = = 0.807
SST 571435.9

4
! 19.3 !  4 0(
   " 4 )4#& ! %80.7
+<   !84 
9&  @$ A9& )@ 6 4
$  . @*  * ! J )4#&
:B+ B Residuals "
 L
< )$
3 J 9+ &+ 0

110165
MSE = = 283.20
389
 =  ! KJ G  0
 9&  )  D%
 : 
 MSE  "
@
.@$ A9& !  :
* 
% (
   "
;A
0  $  $  T )
& (   $  )
 :
* ; J B 

    !84  :
*  0 ( β1 = 0.329 )  " ( β0 = 40.434 )  " )% / 
:

y = 40.434 + 0.329x

& /  0C$ =-$ !* 

< 
   $  $ ; J
& 
:!   !  -
<
H 0 : β0 = 0
:5  -
<
H a : β0 ≠ 0
H 0 : β1 = 0
 ;  -
<
H a : β1 ≠ 0

 -
< , :5  -
< 4 $  -
4 C4
!% G84 J . :
* 
:B+ T
& +    ! /  

b0
t* = = 22.52
s (b 0 )
 ;  -
< 4 $  -
4 C4
!% G84 % .
< B+ P-Value  "
:B+ T
& +    ! /  
  -
< ,
b1
t* = = 40.36
s (b1 )
 :5  -
<
& ! :  
@7
J G  .
< B+ P-Value  "
!% !   ! 4  4 K+ . ;  -
< C4
! !%    @ $
.5   4 "#$
 K+
+
:
* D 
  L+
@ +
( P  
 9& C
* !% 

5
 & ; ) +


 9 @ L+
@

5
 :
 (

=I 

@ +
:

*
 9&
=I 

( B
 $  @$ A9&
@ 4
$ 
 

 4 

- )9& ! 
.(

 N  
;A 4# 
 $    &+   0
 $  (
   "

 (

=I  Linear Regression
 (
4 Plots
D :
*
   
:

6
 :  .
=I OK ; Continue :
*


  ! :
*   0
< 9&   J %@
@ 
 $  " ! I# 
Histogram &+ F   " ( D
& L+
 (
! % !%  0 J
.$ 9 ( D ( =A %A Normal probability plot 

7
 Multiple Linear Regression $ 
 

=  0F &+ 7 
 )
;% ! $ 
 
  
$
 % )
 * (
    %
 !  "#$
 $ 
  
!% G84 0!
+ !
  (
 J C
4 .
+  )
   6
&
:  :
*   > 

y i = β 0 + β1x 1i + β 2 x 2i + ε i

 @$ A9&  ε i  
+  )
   ( x 1i ; x 2i )  (
   y i / 
( β1; β 2 ) 
< B+ ( x 1 ; x 2 )  " !%  * y  " !*
$ ;  "  β 0
9&
   ) -
4 : .
+  )


 )# $ !*
$
)
   !  9
 J *  -
4 : 4-7 $ 
   :
* 
+
.
+ 
(
  % ! 
 + " !  "#* ! % )
 + )  &+  +

5 &+  
 .
 + !D )9+ $+   !
+  !
 

) 7   9&     G#& ! !% B 
 (

=I 
.
9  ) +


8
 .  .
=I OK :
*
 9&    

0  $  $
& ; J ! !  4    $ 5 J
& 
!%  .
< !* E
& =$ J $  !  J 9&   ! + !% 
:
*
 % J 
;A G !%  9 + 9&  
  J
 4- ! I#
4 E#&
+< 4  J + 
   <   L
< )$
3 J

+  )
  !  B" 9
 J  = ++5 K+ !% " .(
 
!  9
 J ! %A !%  .Multicollinearity  9& $ : +  
.F   =
;  
+  )
 

9
!% G :
@  
+  )
  !  B 9
   +
 ,- 

 9& $ 
%@ N " !%  .
  <% !
   !*  +
.9& $
&   ; Linear Regression
 (
! Statistics
D :
*


 . ! - 9& $
& .
=I 0OK ; Continue :
*

.


10
  5 E 9
/  0)
  4<  9
)+ L+ J ; 
+ 
  /; E 9
 5 + 
  ; E 9
 ;
Condition Index     " )%  
;Q 9& $ %@
$ .! ;
.9& $ 
%@ J :
*
@Q =4 15 !*   )D 84 0
%


:
I 021.454 B+ ;

     " !84 L+ J :
I

 + !D  ; + 
  ! J 0;
  = +  )
 
.)9+ $+  5 + 
  !  ! %88 + +

11