深度学习基础知识

第 6 部分：高级架构
 第 1 部分：深度学习简介

第 2 部分：神经网络是如何训练的

课程议题 第 3 部分：卷积神经网络

第 4 部分：数据增强与模型部署

第 5 部分：预训练的模型

第 6 部分：更高级的模型结构
课程议题 – 第 6 部分
• 继续学习
• 自然语言处理
• 循环神经网络
• 其它网络结构
• 结束语
继续学习
 AI 领域
计算机视觉
• 光学

自然语言处理
• 语言学

强化学习
• 博弈论
• 心理学

异常检测
• 安全
• 医学
 AI 领域
计算机视觉
• 视光学

自然语言处理
• 语言学

强化学习
• 博弈论
• 心理学

异常检测
• 安全
• 医学
 AI 领域
计算机视觉
• 视光学

自然语言处理
• 语言学

强化学习
• 博弈论
• 心理学

异常检测
• 安全
• 医学
自然语言处理
 将单词转换为数字

1. A
2. An 字典
“A dog barked at a cat.” 3. And
4. At
5. Ate
[1, 10, 7, 4, 1, 8] 6. Bark
7. Barked
8. Cat
9. Cats
10. Dog
11. Dogs
12. Eat
 将单词转换为数字
输入 输出

1. A
2. An 字典
3. And
4. At
5. Ate
6. Bark
7. Barked
8. Cat
9. Cats
10. Dog
11. Dogs
12. Eat
 将单词转换为数字
输入 输出

0 0%
1. A
0 0%
2. An 字典
0 10%
3. And
0 5%
0 35%
4. At
0 0%
5. Ate
0 50%
6. Bark
0 0%
7. Barked
0 0%
8. Cat
1 0% 9. Cats
0 0% 10. Dog
0 0% 11. Dogs
12. Eat
 将单词转换为数字 1.
2.
3.
4.
A
An
And
At
5. Ate
6. Bark
7. Barked
8. Cat
9. Cats
10. Dog
11. Dogs
12. Eat
13. Eaten
14. A
大型 15. An
长颈鹿 16.
17.
And
At

(.9, .9) 18.

19.
Ate
Bark
20. Barked
21. Cat

美洲驼
22.
23.
24.
25.
Cats
Dog
Dogs
Eat
更大的字典
26. Eaten

(-.9, .1) 27.

28.
A
An
29. And
30. At
31. Ate
32. Bark
33. Barked
34. Cat
35. Cats
36. Dog
37. Dogs
驯养 野生 38. Eat
39. Eaten
40. A
41. An
42. And
43. At
44. Ate
45. Bark

隼 46.
47.
Barked
Cat

(.15, -.4)
48. Cats
49. Dog
50. Dogs
51. Eat

小猫 海鹦 52.
53.
Eaten
A
54. An

(-.75, -.8) (.85, -.65) 55.

56.
And
At

小型 57.
58.
Ate
Bark
59. Barked
60. Cat
61. Cats
62. Dog
63. Dogs
64. Eat
65. Eaten
66. A
67. An
68. And
69. At
70. Ate
71. Bark
 将单词转换为数字
输入 输出
嵌入层
A A
1. A
An An
2. An 字典
And And
3. And
At At
Ate Ate
4. At
Bark Bark
5. Ate
Barked Barked
6. Bark
Cat Cat
7. Barked
Cats Cats
8. Cat
Dog Dog 9. Cats
Dogs Dogs 10. Dog
Eat Eat 11. Dogs
12. Eat
循环神经网络
循环神经网络

“Cats say ___.”

“Dogs say ___.” 字典

1. Cats
2. Dogs
3. Meow
4. Say
5. Woof
 循环神经网络

“Cats say ___.”

Cats “Dogs say ___.” 字典

Dogs
Meow
Cats 1. Cats
Dogs
Say 2. Dogs
RNN 3. Meow
Meow Woof
4. Say
Say 输出 5. Woof
Woof 嵌入层

输入
 循环神经网络
0
“Cats say ___.”
0
0% “Dogs say ___.” 字典
0
0%
50%
1 1. Cats
50% 2. Dogs
0
RNN 0% 3. Meow
0 4. Say
0 输出 5. Woof
嵌入层
0

输入
 循环神经网络
0
“Cats say ___.”
0
0% “Dogs say ___.” 字典
0 .1
0%
-.5
50%
1 1. Cats
.6
50% 2. Dogs
0
RNN 0% 3. Meow
0 4. Say
0 输出 5. Woof
嵌入层
0

输入
 循环神经网络
0
“Cats say ___.”
0
“Dogs say ___.” 字典
0 .1

-.5
1 1. Cats
.6
2. Dogs
0
RNN 3. Meow
0 4. Say
0 输出 5. Woof
嵌入层
0

输入
 循环神经网络
.1
“Cats say ___.”
-.5
“Dogs say ___.” 字典
.6

0 1. Cats
0
2. Dogs
RNN 3. Meow
0 4. Say
1 输出 5. Woof
嵌入层
0

输入
 循环神经网络
.1
“Cats say ___.”
-.5
0% “Dogs say ___.” 字典
.6 -.3
0%
.2
100% 1. Cats
0
.5
0% 2. Dogs
0
RNN 0%
3. Meow
0 4. Say
1 输出 5. Woof
嵌入层
0

输入
 循环神经网络

输入 输入

RNN LSTM

输出 输出
其他架构
 自编码器

输入 输出
 自编码器

输入 输出
 自编码器

-.3 -.3

.6 .6

编码器 解码器
 生成式对抗网络 (GAN)

预测

真实图像 判别器
真实

生成器
虚假

噪音 虚假图像
强化学习

智能体 (Agent) 环境
下一步
 利用 NGC 容器实现可移植
范围广 NGC 深度学习容器
― 多种类型的工作负载和针对不同行业的应用
优化
― DL 容器每月更新一次
― 具备最新功能和卓越性能
安全可靠
― 漏洞扫描和加密
― 在工作站，服务器和云实例上进行了测试
可扩展
― 支持多 GPU 和多节点系统
― 专为企业和 HPC 设计
― 支持 Docker ， Singularity 和其他运行库
在任何地方运行
― 裸机，虚拟机， Kubernetes
― x86 ， ARM ， Power 系统
RIVA
― 多云，本地，混合，边缘

了解更多有关 NGC Containers的信息

下一步
Step 1 设置 Docker
https://www.docker.com/

Step 2 访问 NGC 目录
https://ngc.nvidia.com/catalo
g/containers/nvidia:dli-dl-fund
amentals

调取并运行
Step 3 Container
访问在 localhost:8888 的本
地 JupyterLab 环境，这里提供
了与“下一步”有关的项目。

31
思维实验和结束语
模仿火箭科学
现在开始做最后一个练习！
www.nvidia.com/dli
学习更多 DLI 课程，请访问 nvidia.cn/DLI