Professional Documents
Culture Documents
02 - Modelo de Regresión Simple
02 - Modelo de Regresión Simple
Basurto Clase 02 1 / 39
Introducción
Basurto Clase 02 2 / 39
El Modelo bivariado
y = β0 + β1 x + µi (1)
Basurto Clase 02 3 / 39
El Modelo bivariado
Basurto Clase 02 4 / 39
El Modelo bivariado
Basurto Clase 02 5 / 39
El Modelo bivariado
Basurto Clase 02 6 / 39
Ejemplo
Basurto Clase 02 7 / 39
Repaso
Basurto Clase 02 8 / 39
Regresión como esperanza condicional
y = β0 + β1 x + µ (5)
E[y |x] = E[β0 + β1 x + µ] (6)
E[y |x] = β0 + β1 x (7)
Basurto Clase 02 9 / 39
Regresión como esperanza condicional
Desarrollo en la pizarra
Basurto Clase 02 11 / 39
Derivación de MCO
y i = β 0 + β 1 x i + µi
Noten el subíndice i, define valores para cada individuo i de la
muestra
Para poder estimar β0 y β1 se necesita una muestra aleatoria de
la población
Utilizamos supuestos E[µ|x] = E[µ] = 0
reemplazamos µ = y − β0 − β1 x; y establecemos:
Basurto Clase 02 12 / 39
Derivación de MCO
Basurto Clase 02 13 / 39
Derivación de MCO
Entonces,
β̂0 = ȳ − β̂1 x̄ (14)
Basurto Clase 02 14 / 39
Derivación de MCO
Basurto Clase 02 15 / 39
Derivación de MCO
Vemos que para poder estimar β̂1 necesitamos que var (x) > 0
Basurto Clase 02 16 / 39
Derivación de MCO
Basurto Clase 02 18 / 39
Derivación de MCO
n
X n
X
min µ̂2i = (yi − β0 − β1 xi )2 (20)
β0 ,β1
i=1 i=1
n
X
β1 : −2 (yi − β̂0 − β̂1 xi )xi = 0 (22)
i=1
Basurto Clase 02 19 / 39
Propiedades algebraicas de MCO
Pn
1
i=1 µ̂i =0
De las condiciones de primer orden sabemos que los estimadores
β̂0 y β̂1 fueron escogidos para que la suma de errores sea cero
No nos dice nada sobre el residuo para una observación i en
particular
Pn
i=1 xi µ̂i =0
2
Basurto Clase 02 20 / 39
Unidades de medida
¿Qué sucede si cambiamos las unidades de medida de una
variable?
¿Cómo se afectan los coeficientes?
Calculemos β10 como el efecto cuando x es multiplicado por una
constante k :
Cov(kx, y )
β̂10 = (23)
Var(kx, kx)
k Cov(x, y )
= 2 (24)
k Var(x, x)
Cov(x, y )
= (25)
k Var(x, x)
β̂1
= (26)
k
Basurto Clase 02 21 / 39
Unidades de medida
Alternativamente
Pn
kxi (yi − ȳ )
β̂10 = Pn i=1 (27)
i=1 kxi (kxi − k x̄)
k n xi (yi − ȳ )
P
= 2 Pi=1n (28)
k xi (xi − x̄)
Pn i=1
xi (yi − ȳ )
= Pi=1n (29)
k i=1 xi (xi − x̄)
β̂1
= (30)
k
(31)
yi = β0 + β1 ln xi + µi (32)
ln yi = β0 + β1 ln xi + µi (33)
ln yi = β0 + β1 xi + µi (34)
√
yi = β0 + β1 xi + µi (35)
xi
yi = β0 + β1 e + µi (36)
yi = β0 + β1 xi + β2 xi2 + µi (37)
Basurto Clase 02 23 / 39
Forma Funcional
Basurto Clase 02 24 / 39
Supuestos MCO
y = β0 + β1 x + µ (38)
Basurto Clase 02 25 / 39
Supuestos MCO
Basurto Clase 02 26 / 39
Supuestos MCO
Basurto Clase 02 27 / 39
Supuestos MCO
Basurto Clase 02 28 / 39
Supuestos MCO
Basurto Clase 02 29 / 39
Supuestos MCO
Basurto Clase 02 30 / 39
Supuestos MCO
Basurto Clase 02 31 / 39
Supuestos MCO
Basurto Clase 02 32 / 39
Supuestos MCO
5 S5. Homocedasticidad
La varianza del término de perturbación es constante:
V [µ|X ] = σ 2 .
Queremos saber qué tan lejos de β1 debemos esperar que se
encuentre β̂1 en promedio (o β̂0 respecto de β0 )
Vamos a trabajar bastante con la raíz cuadrada de la varianza del
estimador que es la desviación estándar
Recordemos que S5 no es necesario para que estimadores MCO
sean insesgados.
S5 simplifica cálculo de varianza del estimador y permite que el
estimador MCO tenga propiedades de eficiencia
Basurto Clase 02 33 / 39
Supuestos MCO
Demostración. Partimos de la expresión conocida:
P
(xi − x̄)µi
β̂1 = β1 + P (53)
(xi − x̄)2
Tomamos la varianza de β̂1 condicional a x.
P
(xi − x̄)µi
Var [β̂1 |x] = Var β1 + P x (54)
(xi − x̄)2
P
(xi − x̄)µi
= Var P x (55)
(xi − x̄)2
1 X
(xi − x̄)2 Var [µ x]
= P 2 2
(56)
( (xi − x̄) )
1 X
= P (xi − x̄)2 σ 2 (57)
( (xi − x̄)2 )2
σ2
=P (58)
(xi − x̄)2
Basurto Clase 02 34 / 39
Estimando la varianza del término de perturbación
El estimador de la varianza de los residuos es:
n
1 X 2
σ̂ 2 = µ̂i (59)
n−2
i=1
Por lo tanto:
µ̂2i = (µi − µ̄)2 + (β̂1 − β1 )2 (xi − x̄)2 − 2(µi − µ̄)(β̂1 − β1 )(xi − x̄)
(64)
X X X
µ̂2i = (µi − µ̄)2 + (β̂1 − β1 )2 (xi − x̄)2 (65)
X
− 2(β̂1 − β1 ) (µi − µ̄)(xi − x̄) (66)
X X X
µ̂2i = (µi − µ̄)2 + (β̂1 − β1 )2 (xi − x̄)2 (67)
X
− 2(β̂1 − β1 ) (µi )(xi − x̄) (68)
Basurto Clase 02 36 / 39
Estimando la varianza del término de perturbación
Basurto Clase 02 37 / 39
Estimando la varianza del término de perturbación
Reemplazando A, B y C:
hX i
E µ̂2i x = (n − 1)σ 2 + σ 2 − 2σ 2 (75)
= (n − 2)σ 2 (76)
Basurto Clase 02 38 / 39
Regresión sin intercepto
El modelo a estimar es ahora: y = βx + µ
X
min (yi − β̃1 xi )2 (78)