Contents

Vector Spaces and Subspaces

1.1 Preliminaries . . . . . . .
1.2 Vector Spaces . . . . . .
1.3 Basis and Dimension . .
1.4 Exercises . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

1
1
3
4
7

Rank, Inner Product and Nonsingularity

2.1 Rank . . . . . . . . . . . . . . . . .
2.2 Inner Product . . . . . . . . . . . . .
2.3 Nonsingularity . . . . . . . . . . . .
2.4 Frobenius Inequality . . . . . . . . .
2.5 Exercises . . . . . . . . . . . . . . .

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

9
9
11
14
15
17

Eigenvalues and Positive Definite Matrices

3.1 Preliminaries . . . . . . . . . . . . . .
3.2 The Spectral Theorem . . . . . . . . .
3.3 Schur Complement . . . . . . . . . .
3.4 Exercises . . . . . . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

21
21
22
25
27

Generalized Inverses . . . . . . . . . . . . . . .
4.1 Preliminaries . . . . . . . . . . . . . . . . .
4.2 Minimum Norm and Least Squares g-Inverse
4.3 MoorePenrose Inverse . . . . . . . . . . .
4.4 Exercises . . . . . . . . . . . . . . . . . . .

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

31
31
33
34
35

Inequalities for Eigenvalues and Singular Values

5.1 Eigenvalues of a Symmetric Matrix . . . . . .
5.2 Singular Values . . . . . . . . . . . . . . . .
5.3 Minimax Principle and Interlacing . . . . . .
5.4 Majorization . . . . . . . . . . . . . . . . . .
5.5 Volume of a Matrix . . . . . . . . . . . . . .
5.6 Exercises . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

37
37
39
41
43
45
48
vii

viii

Contents

Rank Additivity and Matrix Partial Orders

6.1 Characterizations of Rank Additivity . .
6.2 The Star Order . . . . . . . . . . . . . .
6.3 Exercises . . . . . . . . . . . . . . . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

51
51
56
58

Linear Estimation . . . . . .
7.1 Linear Model . . . . . . .
7.2 Estimability . . . . . . .
7.3 Residual Sum of Squares
7.4 General Linear Model . .
7.5 Exercises . . . . . . . . .

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

61
61
62
66
72
76

Tests of Linear Hypotheses . . . . . . . . . .

8.1 Multivariate Normal Distribution . . . .
8.2 Quadratic Forms and Cochrans Theorem
8.3 One-Way and Two-Way Classifications .
8.4 Linear Hypotheses . . . . . . . . . . . .
8.5 Multiple Correlation . . . . . . . . . . .
8.6 Exercises . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

79
79
83
86
90
92
95

Linear Mixed Models . . . . . . . . . .

9.1 Fixed Effects and Random Effects .
9.2 ML and REML Estimators . . . .
9.3 ANOVA Estimators . . . . . . . .
9.4 Prediction of Random Effects . . .
9.5 Exercises . . . . . . . . . . . . . .

.
.
.
.
.
.

10 Miscellaneous Topics . . . . . .
10.1 Principal Components . . .
10.2 Canonical Correlations . . .
10.3 Reduced Normal Equations
10.4 The C-Matrix . . . . . . .
10.5 E-, A- and D-Optimality . .
10.6 Exercises . . . . . . . . . .

.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

99
99
102
107
112
113

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

115
115
116
117
119
120
126

11 Additional Exercises on Rank . . . . . . . . . . . . . . . . . . . . . . 129

12 Hints and Solutions to Selected Exercises . . . . . . . . . . . . . . . . 135
13 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

http://www.springer.com/978-1-4471-2738-3