机器学习期中复习提纲（已讲完部分）

注：课件中所有红色部分需要认真复习！
Lecture 2
1. 霍夫丁不等式（Hoeffding inequality）含义，与欠拟合和过拟合的关联（Lecture
4）
2. In-sample error 和 out-of-sample error 概念
3. 复杂度（complexity）和数据规模对机器学习效果的影响
4. 线性回归（Linear regression）
 定 义 （ 自 变 量 ， 因 变 量 ， 公 式 ， 参 数 β ， 残 差 residual ， 成 本 函 数 cost
function）
 假设（弱外生性、线性、方差齐性）
 最小二乘法（OLS）计算验证过程
 判定系数（coefficient of determination）定义
5. 多元线性回归（Multiple linear regression）
 概念和假设（新增假设 No perfect multicollinearity）
 ^β 的解的表达
6. 极大似然估计（Maximum likelihood estimation）
 概念和假设
 目标函数
 多元线性回归问题中 ^β 和σ^ 2的解的表达
7. 梯度下降（Gradient desent）
 目标、具体实现流程
 参数更新方式
 步长（learning step）以及其影响

Lecture 3
1. 线搜索（Line search）
 目标和具体实现流程
 优化步长的方法
2. 牛顿法（Newton’s method）
 目标和具体实现流程
 参数更新方式（一维和多维）
3. 随机梯度下降（Stochastic gradient descent）
 目标和具体实现流程
 参数更新方式
4. 小批量梯度下降（Mini-batch gradient descent）
 目标和具体实现流程
 参数更新方式
5. 动量梯度下降法 & Nesterov 加速梯度下降法（Gradient descent with momentum &
Nesterov’s accelerated Gradient descent）
 了解基础概念
6. AdaGrad/RMSprop/Adam
 了解上述三种方法的特点
7. 基函数回归（Basis function regression）
  定义（自变量，因变量，公式，参数，成本函数 cost function）
8. 归纳偏置（Inductive bias）概念
9. No Free lunch theorem 概念
10. 欠拟合和过拟合（Overfitting and underfitting）概念和过拟合原因.
11. 训练损失和测试损失（Training loss & testing loss）概念和变化原因
12. 交叉验证（Cross-validation）
 了解基础概念
 N-fold cross-validation 具体流程

Lecture 4
1. 偏差和方差（Bias and variance）
 了解 bias-variance trade-off（权衡）
 No free lunch 了解含义
2. 正则化（Regularization）
 正则化的目的
 Ridge regression 相关概念
 Lasso 相关概念
3. 逻辑回归（Logistic Regression）
 定 义 （ 自 变 量 ， 因 变 量 ， 参 数 β ， sigmoid 函 数 ， 似 然 函 数 Likelihood
function）
 随机梯度下降法/梯度下降法(stochastic gradient descent/gradient descent)
具体实现流程和下降公式

Lecture 5
1. 感知机(Perceptron)
 了解基本概念
2. 决策树（Decision tree）
 基本概念（理清课件上的例子和 code 中例子的区别）和具体实现流程
 拆分标准（Splitting criteria）
 分类错误（classification error）的几种度量标准（metrics）
 终止条件（Stopping condition）
 Using decision tree for regression 了解基本概念
3. Regression tree 了解基本概念
4. Bagging
 了解基本概念
 优势（Advantages）和局限（Limitation）
5. 随机森林（Random forests）
 了解基本概念和实现流程
 调整随机森林的方法
6. Boosting
 了解基本概念和实现流程

Lecture 6
1. KNN（K-nearest neighbours）
  基本概念和具体实现流程
 Parzen Windows and soft boundary 了解概念
 了解 K-D tree 和 LSH 的目的
2. 分层聚类（Hierarchical clustering）
 了解基本概念和实现流程
 组间距离定义
3. K-means
 概念和具体实现流程
4. BFR
 了解基本概念和实现流程
 Meta-data 的使用
5. Mixture of Gaussians
 隐藏变量和正态假设的概念
 似然函数
 能简述 EM 算法流程
 Jensen’s inequality

别的注意点：
1. 非参数方法和含参数方法的区别
2. 监督学习和无监督学习的区别
3. 需要具备书写伪代码的能力
4. 在算法实现过程中哪些因素会影响最终结果