复

载
禁

转
严

制
，
Chapter 7 -IV

复
习

载
禁
学

转
深度神经网络模型—

严
部

制
，
网络优化与正则化
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
1
仅

1
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
2

载
 复
3. 机器学习的三个基本要素

载
禁

转
严
p机器学习方法分为三个基本要素：模型、学习准则、优化算法。

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学 Review
仅

严
部

，
内

模型、学习准则、 优化算法 基本概念

习
供

  arg min J ( )


学
2023-11-13 3
仅


 仅
供
例如：
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
Review

转
载
 仅

2023-11-13
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
复
3. 1 机器学习---模型

， 制
严 转
禁 载
复
Review

制
转
载
5
 仅

2023-11-13
供
内
仅 部
供 学
内 习
，
3.1

部 严
学 禁
习 复
，
学 严
习 禁
复
基本概念 – 假设空间

， 制
严 转
禁 载
复
制
Review

转
载
6
 3. 1 机器学习---模型

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部
Do you remember?

，
内

习
供

学
2023-11-13 7
仅
 3. 1 机器学习---模型

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
Do you remember? 非线性SVM 核函数

，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

Review
学
2023-11-13 8
仅
 3. 2 机器学习---学习准则

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
2023-11-13 9
仅

2023-11-13 9
 仅

2023-11-13
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
3. 2 机器学习---学习准则

严 制
禁 转
复 载
制
转
载
10
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
Do you remember? ， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
11
 复

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

统计学意义上的KL散度

习
供

学
12
仅

Do you remember? 特征类别可分离性判据？

 3. 2 机器学习---学习准则 – 期望风险

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
2023-11-13 13
仅
 复
3. 2 机器学习---学习准则—风险最小化原则

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学 Review
2023-11-13 14
仅
 复
3. 2 机器学习---学习准则—风险最小化原则

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学 Review
2023-11-13 15
仅
 机器学习---学习准则 – 损失函数

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部
使用不同的损失函数以及相应的优化方法，

，
内

导致它们之间在实际任务上的表现存在一定的差异。

习
供

Review
学
16
仅
 仅
供
内

2023-11-13
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
 机器学习---学习准则 – 损失函数

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
补充内容
仅

2023-11-13 18
 复

载
禁

转
3. 2 机器学习---学习准则---损失函数

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
2023-11-13 19
仅
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
补充内容

转
载
2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
复
机器学习---学习准则---损失函数

，
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
21
 机器学习---学习准则 – 损失函数

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
2023-11-13
仅

2023-11-13
补充内容
 3. 2 机器学习---学习准则 – 损失函数

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学 Review
2023-11-13 23
仅
 仅
供
内

2023-11-13
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
补充内容

转
载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
25
 复

载
禁

转
1. 1 机器学习---学习准则---损失函数

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学 损失函数补充内容
仅

2023-11-13 26
2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
损失函数补充内容

载
27
 2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
损失函数补充内容

习 禁
， 复
严 制
禁 转
复 载
制
转
损失函数补充内容

载
28
 2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
损失函数补充内容

习 禁
， 复
严 制
禁 转
复 载
制
补充内容

转
载
29
 2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
损失函数补充内容

习 禁
， 复
严 制
禁 转
复 载
制
转
载
补充内容
30
 2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
损失函数补充内容

习 禁
， 复
严 制
禁 转
复 载
制
补充内容

转
载
31
 2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
严
损失函数补充内容

学 禁
习 复
， 制
严 转
禁 载
复
制
补充内容

转
载
32
 2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
严
损失函数补充内容

学 禁
习 复
， 制
严 转
禁 载
复
制
补充内容

转
载
33
 2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
严
损失函数补充内容

学 禁
习 复
， 制
严 转
禁 载
复
制
补充内容

转
载
34
 2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
严
损失函数补充内容

学 禁
习 复
， 制
严 转
禁 载
复
制
补充内容

转
载
35
 复
损失函数补充内容

载
禁

转
1. 1 机器学习---学习准则---损失函数

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学 补充内容
仅

2023-11-13 36
 2023-11-13
仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
严
损失函数补充内容

学 禁
习 复
， 制
严 转
禁 载
复
制
补充内容

转
载
37
 损失函数对比

复
损失函数，用于

载
计算真实值和预

禁
使用不同的损失函数以及相应的优化方法，导 测值之间差异的

转
致它们之间在实际任务上的表现存在一定的差异。 函数

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
仅

48
 复
损失函数，用于
使用不同的损失函数以及相应的优化方法，导

载
计算真实值和预
致它们之间在实际任务上的表现存在一定的差异。

禁
测值之间差异的

转
函数

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
仅

48
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
补充内容

制
转
载
 仅
供
内

2023-11-13
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
41

转
载
41
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
损失函数对比

学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
48

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
函数

复 载
制
测值之间差异的
计算真实值和预
损失函数，用于

转
48

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
更多的正则讨论！

学 严
习 禁
， 复
严 制
转
复习

禁 载
复
制
Review

转
载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
Review

转
载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
Review

转
载
 复

载
禁

转
严

制
，

复
习

载
禁
学

转
p机器学习方法分为三个基本要素：模型、学习准则、优化算法。

严
部

制
，
内

复
习
供

禁
学   arg min J ( )

仅

严
部


，
内

习
供

学
仅

50
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
转
p 网络优化与正则化！

禁 载
复
制
转
51

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
在机器学习应用神经网络模型的难点

禁 转
复 载
制
转
载
52
 复
在机器学习应用神经网络模型的难点

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
模型、学习准则、 优化算法 基本概念
部

，
   arg min J ( )
内

2023-11-13

习

供

学
53
仅
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
MIT

学 严
习 禁
， 复
制
Applying Neural Networks

严 转
禁 载
复
制
转
54

载
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
55

载
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
56

载
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
57

载
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
58

载
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
59

载
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
60

载
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
61

载
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
62

载
 仅
供
内
举例

仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
63

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
MIT

学 严
习 禁
， 复
制
Training Neural Networks

严 转
禁 载
复
制
转
64

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
65

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
66

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
67

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
68

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
69

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
70

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
71

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
72

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
73

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
74

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
75

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
76

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
77

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
78

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
79

载
 复
在机器学习应用神经网络模型的难点

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
模型、学习准则、 优化算法 基本概念
部

，
   arg min J ( )
内

2023-11-13

习

供

学
80
仅
 复
在机器学习应用神经网络模型的难点

载
禁

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
模型、学习准则、 优化算法 基本概念
部

，
   arg min J ( )
内

2023-11-13

习

供

学
81
仅
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
82

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
83

载
 Neural Networks in Practice: Optimization

载
MIT

转
严

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
仅

84
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
85

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
86

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
87

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
88

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
89

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
p 深度神经网络 网络优化与正则化！

制
转
90

载
 仅
供
内
仅 部
总结文档

供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
91

载
 仅
供
内
仅 部
总结文档

供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
92

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
93

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
94

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
95

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
96

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
97

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
98

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
99

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
100

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
101

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
102

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
103

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
104

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
105

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
106

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
107

载
 仅
供
内
仅 部
总结文档

供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
108

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
109

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
110

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
111

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
112

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
113

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
114

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
115

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
116

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
117

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
118

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
119

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
120

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
121

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
122

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
124

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
125

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
126

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
127

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
128

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
129

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
130

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
131

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
132

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
133

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
想想在基于SVM课程设计中如何调参？

134

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
135

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
136

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
137

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
在机器学习应用神经网络模型的难点

禁 转
复 载
制
转
载
138
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
139

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
140

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
141

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
142

载
 仅
供
内
仅 部
总结文档

供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
143

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
144

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
145

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
146

载
 复
正则

载
禁

转
严

制
，

复
习

载
禁
学

转
L0，L1范数可以实现稀疏化，

严
部

制
而L1系数因为有比L0更好的特性而被广泛应用。

，
内

复
L2范数在回归里就是岭回归，也叫均值衰减，常用于解决过拟合，通过对向量各元素

习
供

禁
平方和再求平方根，使得L2范数最小，从而使得参数W的各个元素都接近于0。

学
L2范数与L1范数不同，其正则后w的值会接近于0但不到0。 L2范数在参数正则化时经
仅

严
部
常用到。

，
L1范数正则后则可能令w的一些值为0，所以L1范数正则在特征选择中经常用到（稀疏
内

性）。

习
供

学
在回归模型中，通过添加L1,L2范数引入正则化项，得到了LASSO回归和岭回归： 147
仅
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
制
正则化 Regularization

严 转
禁 载
复
制
转
148

载
 复
L0范数并不是一

载
个真正的范数，

禁
它主要被用来度
量向量中非零元

转
素的个数

制
，

复
习

载
禁
学

转
严
部

制
，
内

复
习
供

禁
学
仅

严
部

，
内

习
供

学
仅

149
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
150

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
152

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
153

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
154

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
155

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
156

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
157

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
158

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
159

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
160

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
161

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
162

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
163

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
164

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
165

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
166

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
168

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
169

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
170

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
171

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
172

载
 仅
供
内
仅 部
供 学
内 习
部 ，
学 严
习 禁
， 复
学 严
习 禁
， 复
严 制
禁 转
复 载
制
转
173

载
 复

载
致谢与说明

转
严

制
，
• 本章课件标有“南京大学机器学习导论课程专用

复
习

载
所有权保留”的页面所有权属南京大学，在此致

禁
学

转
谢！

严
部

制
，
• 深度学习部分内容来自邱锡鹏教授的教科书，在
内

复
习
此致谢！
供

禁
学
• 部分课件内容攫取自MIT深度学习课程，在此致
仅

严
部
谢！

，
内

习
• 课件仅供学习使用，不用商业用途。
供

学
仅