KIẾN TRÚC AMPERE TRÊN GPU A100 TENSOR CORE CỦA NVIDIA

Lê Đức Lộc và Đặng Minh Quang

Lớp CNTT21B, Trường Công nghệ thông tin & Truyền thông, Trường Đại học Bách Khoa Hà Nội
Loc.LD211033M@sis.hust.edu.vn, Quang.DM211034M@sis.hust.edu.vn

Tóm tắt: NVIDIA GPU là công cụ tính toán hàng đầu trong công cuộc cách mạng AI, cung
cấp khả năng tăng tốc đáng kể cho quá trình huấn luyện và suy luận AI. Ngoài ra, GPU
NVIDIA tăng tốc nhiều loại ứng dụng và hệ thống phân tích dữ liệu, siêu máy tính một cách
hiệu quả. Nền tảng tính toán của NVIDA là trung tâm xử lý của nhiều ngành công nghiệp
quan trọng và phát triển trên thế giới hiện nay. GPU NVIDIA A100 Tensor Core được thiết
kế dựa trên dòng GPU V100 với nhiều tính năng được bổ sung và cải tiến. Được thiết kế với
kiến trúc Ampere, GPU A100 Tensor Core cho tốc độ tính toán vượt trội và khả năng mở
rộng hệ thống rất tốt.
Từ khóa: GPU, NVIDIA, Ampere, Tensor Core

I Mở đầu đám mây. Các ứng dụng đòi hỏi khối

GPU là từ viết tắt của cụm
Graphics Processing Unit, là một bộ xử
lý chuyên dùng để giải quyết những
vấn đề liên quan tới khả năng hiển thị
hình ảnh của máy tính. GPU được thiết
kế theo kiến trúc song song mức dữ
liệu, giúp thực hiện khối lượng tính
toán lớn trong thời gian ngắn, đảm bảo
các tác vụ liên quan tới hình ảnh hay đồ
họa, video. Năm 1999, bộ xử lý hình
ảnh GPU lần đầu tiên được NVIDIA
đưa ra thị trường. Cho đến nay,
NVIDIA đã cho ra đời nhiều thế hệ
GPU với kiến trúc khác nhau, có thể
liệt kê ra như sau: kiến trúc Kelvin
(2001), kiến trúc Rankine (2003), Curie
(2004), Tesla (2006), Fermi (2010),
Kepler (2012), Maxwell (2014), Pascal
(2016), Volta (2017), Turing (2018),
Ampere (2020) và mới nhất là kiến trúc
Hopper (2022). Từ mức chỉ tập trung
xử lý hình ảnh, các GPU đã được phát
triển để trở thành một bộ vi xử lý cho
các ứng dụng yêu cầu tính toán khối
lượng lớn và phức tạp như: học sâu, mô
phỏng…
Sự đa dạng của các ứng dụng
tính toán lớn chạy trên nền tảng cloud
đã thúc đẩy các hãng trong việc phát
triển các dòng GPU hỗ trợ điện toán
lượng tính toán lớn bao gồm huấn
luyện học sâu và học máy, phân tích dữ
liệu, tính toán khoa học, xử lý video tại
biên, dịch vụ 5G, xử lý ảnh, các cloud
gaming… Từ mở rộng quy mô đào tạo
AI và tính toán khoa học, mở rộng các
ứng dụng suy luận, cho phép xử lý AI
theo thời gian thực, NVIDIA đã phát
triển GPU A100 Tensor Core trên nền
tảng kiến trúc Ampere, cung cấp khả
năng tính toán cần thiết để tăng tốc
nhiều khối lượng công việc phức tạp và
không thể đoán trước đang chạy trong
các trung tâm dữ liệu đám mây ngày
nay.
GPU A100 bao gồm nhiều cải
tiến về kiến trúc cốt lõi mang lại tốc độ
đáng kể cho khối lượng công việc phân
tích dữ liệu AI, HPC như: tính năng
Sparsity mới tăng tốc hơn nữa các phép
toán lên đến gấp 2 lần, bộ nhớ băng
thông cao HBM2 và bộ nhớ đệm lớn
hơn, nhanh hơn, cung cấp dữ liệu cho
số lượng ngày càng tăng của CUDA
core và Tensor core, NVLink thế hệ thứ
ba và PCIe thế hệ 4 mới tăng tốc cấu
hình hệ thống đa GPU. Nhiều cải tiến
khác cho phép mở rộng quy mô mạnh
mẽ cho các trung tâm dữ liệu siêu cấp
và tính năng ảo hóa MultiInstance GPU
1
(MIG) hỗ trợ mạnh mẽ cho các hệ
thống của Nhà cung cấp dịch vụ đám
mây (CSP) và khách hàng. Kiến trúc
NVIDIA Ampere cũng cải thiện tính dễ
lập trình, đồng thời hạ thấp độ trễ và
giảm độ phức tạp của phần mềm AI và
HPC. GPU kiến trúc NVIDIA Ampere
cung cấp tất cả các tính năng mới này
với hiệu suất trên mỗi watt cao hơn thế
hệ trước GPU NVIDIA Volta.
GPU NVIDIA A100 được kiến
trúc để không chỉ tăng tốc khối lượng
công việc phức tạp lớn mà còn tăng tốc
hiệu quả nhiều khối lượng công việc
nhỏ hơn. A100 cho phép xây dựng các
trung tâm dữ liệu có thể đáp ứng nhu
cầu khối lượng công việc không thể
đoán trước, đồng thời tối ưu hóa việc
cân bằng tải giữa các GPU, tối ưu hiệu
quả tài nguyên GPU.
Kiến trúc Ampere đánh dấu một
cột mốc quan trọng cho NVIDIA – đó
là GPU 7nm đầu tiên của công ty.
Trong báo cáo này, nhóm sẽ tập trung
đi vào giới thiệu và phân tích kiến trúc
Ampere của GPU NVIDIA A100
Tensor Core. Phần trình bày của báo
cáo sẽ gồm có 2 phần: phần đầu tiên là
giới thiệu mở đầu về GPU A100
Tensor Core của NVIDIA. Tiếp theo,
báo cáo sẽ phân tích kiến trúc Ampere,
đưa ra các đặc điểm, nâng cấp nổi bật
trên kiến trúc Ampere.
Hình 1: GPU NVIDIA A100
II Kiến trúc Ampere trên GPU
A100 Tensor Core của NVIDIA
1 Tổng quan kiến trúc Ampere
trên GPU A100 Tensor Core
Kiến trúc của GPU NVIDIA
A100 Tensor Core được biểu diễn như
Hình 2, thành phần tính toán của GPU
gồm 6912 nhân xử lý tính toán FP32
(gọi là FP32 CUDA Core hoặc là FP32
Streaming processor, SP) 3456 FP64
CUDA Core, 6912 INT32 CUDA Core,
432 Tensor Core, được chia thành 108
đơn vị nhỏ gọi là streaming
Multiprocessor (SM). Kiến trúc
Ampere được thiết kế với bộ nhớ đệm
L2 cache có kích thước 40 MB có thể
được truy cập bởi tất cả các SM trên
GPU. Ngoài ra, để tăng tốc độ truy cập
dữ liệu từ ổ cứng, A100 còn được thiết
kế cùng với bộ nhớ DRAM tốc độ cao
HBM2 có kích thước 40GB với băng
thông đọc/ghi lên đến 1555GB/s, nằm
bên ngoài chip.
Thành phần Giga thread Engine
với chức năng MIG Control là bộ điều
khiển chung của GPI và tính năng MIG
trên A100, cho phép chia GPU A100
thành các GPU ảo nhỏ hơn với chức
năng và thành phần hoàn chỉnh, chạy
song song trên A100. Tính năng này
giúp nhiều người dùng có thể cùng sử
dụng A100 mà không làm ảnh hưởng
đến ứng dụng của nhau.
Hình 2: Kiến trúc phần cứng của GPU A100
với 108 SM
Đường kết nối GPU tốc độ cao
thế hệ thứ 3 do NVIDIA thiết kế -
2
NVLink được sử dụng trên kiến trúc một chương trình CUDA sẽ bao gồm
Ampere của A100 hỗ trợ tính năng thiết các bước:
kế hệ thống gồm nhiều GPU hoạt động
- Copy dữ liệu từ bộ nhớ host vào
song song. NVLink3 cho tốc độ truyền
bộ nhớ thiết bị DRAM.
dữ liệu lên đến 50 GB/s trên mỗi đường
- Nạp chương trình GPU và thực
kết nối, có tổng cộng 12 đường kết nối
thi, nạp dữ liệu từ bộ nhớ thiết bị
trên A100, cho tốc độ lên đến 600GB/s.
(GPU) vào bộ nhớ đệm trên
Đường truyền dữ liệu PCIe Gen chip.
4 phục vụ giao tiếp giữa CPU máy chủ - Sao chép kết quả tính toán từ bộ
với GPU cho tốc độ lên đến 31.5 GB/s nhớ thiết bị vào bộ nhớ host.
gấp đôi PCIe Gen 3.
Một chương trình khi thực thi
Thông số kỹ thuật Chi tiết trên GPU – CUDA Kernel gọi là một
của GPU Grid, được chia thành nhiều thread
GPU Codename GA100 block thự thi song song. Mỗi Thread
GPU Architecture NVIDIA block sẽ chỉ được phụ trách bởi một
Ampere SM, không có trường hợp 2 SM cùng
GPU Board Form SXM4 điều khiển 1 thread block. Ngược lại,
Factor một SM lại có thể điều khiển cùng lúc
SMs 108 nhiều Thread block tùy thuộc vào tài
FP32 Cores / SM 64 nguyên mà thread block yêu cầu.
FP32 Cores / GPU 6912
FP64 Cores / SM 32
(excl. Tensor)
FP64 Cores / GPU 3456
(excl. Tensor)
INT32 Cores / SM 64
INT32 Cores / GPU 6912
Tensor Cores / SM 4
Tensor Cores / GPU 432
GPU Boost Clock 1410 MHz
Texture Units 432 Hình 3: Thực thi chương trình trên GPU
Memory Interface 5120bit
Mỗi CUDA Thread được thực
HBM2
hiện trên CUDA Core, mỗi GPU sẽ có
Memory Size 40 GB
hàng trăm đến hàng nghìn CUDA core.
Memory Data Rate 1215 GB
Mỗi CUDA core có bộ thanh ghi riêng
2 Thực hiện chương trình trên và ID định danh thread. Số ID có thể là
GPU 1D, 2D hoặc 3D dựa trên Block mà nó
Mô hình lập trình CUDA cung thuộc về
cấp một cấu trúc GPU trừu tượng đóng
vai trò là cầu nối giữa một ứng dụng và Thread Block – CUDA block là
khả năng triển khai của nó trên phần tập hợp của nhiều CUDA core có thể
cứng GPU. Mô hình lập trình của phối hợp với nhau để tính toán một
CUDA gồm có 2 thành phần là host cách song song hoặc tuần tự. Mỗi
(CPU) và thiết bị (GPU). Để thực thi thread block được thiết kế một vùng

3
nhớ dùng chung - shared memory, cho
phép các Core trong cùng một block có
thể truy cập dữ liệu. Hiện nay, mỗi
block được sẽ bao gồm 1024 Core.
Giữa các CUDA block sẽ không thể sử
dụng core của nhau mà chỉ có thể sử
dụng các core của chính nó.
Kernel Grid – là tập hợp của
nhiều Thread Block, Grid được dùng để
thực hiện các tính toán song song cho
các phép tính lớn (ví dụ: những loại
yêu cầu nhiều hơn 1024 luồng), một
GPU có chưa nhiều Grid, và cho phép
ghép nối nhiều GPU với nhau để tăng
năng lực tính toán, tuy nhiên không cho
phép các GPU chia sẻ Grid với nhau.
3 Phân cấp bộ nhớ trong kiến
trúc
Phân cấp bộ nhớ trong kiến trúc
Ampere bao gồm các thành phần: bộ
nhớ DRAM HBM2, bộ nhớ đệm L2
Cache, bộ nhớ L1 cache, thanh ghi
(Hình 4)
Hình 4: Tổ chức bộ nhớ bên trong A100
Tầng đầu tiên là các thanh ghi
nằm bên trong multiprocessor (SM) có
chức năng nạp và lưu các câu lệnh, các
toán tử trong quá trình thực hiện tính
toán của GPU. Thanh ghi trong 1 SM
có kích thước 256 KB, tổng cộng toàn
bộ GPU có kích thước 27648 KB. Mỗi
CUDA core tính toán trong SM được
gán với một thanh ghi riêng và không
chia sẻ với các CUDA core khác.
L1 / Bộ nhớ dùng chung
(SMEM): Mỗi SM trên A100 đều được
thiết kế với bộ nhớ trong 192KB, sử
dụng làm bộ nhớ đệm L1 và bộ nhớ
dùng chung. Trong quá trình tính toán,
tất cả các CUDA Core trong một
CUDA block có thể chia sẻ bộ nhớ
dùng chung, trao đổi dữ liệu với nhau
và tất cả các khối CUDA chạy trên một
SM nhất định có thể chia sẻ tài nguyên
bộ nhớ vật lý do SM cung cấp. Điều
này giúp lưu dữ liệu gần với bộ tính
toán hơn, giảm thời gian truy cập dữ
liệu toàn cục. A100 được thiết kế bộ
nhớ đệm L1 có kích thước 192 KB lớn
hơn so với 128 KB trên kiến trúc Volta,
giúp tăng khả năng thực hiện phép toán
phức tạp cao.
Bộ nhớ chỉ đọc (Read-only
Memory): Mỗi SM đều có bộ nhớ đệm
câu lệnh, bộ nhớ biến cố định và bộ
nhớ texture, bộ nhớ này chỉ cho phép
đọc.
L2 cache: Bộ nhớ đệm L2 cache
cho phép tất cả các SM bên trong GPU
được truy cập, dùng để lưu dữ liệu, chia
sẻ thông tin giữa các SM trong quá
trình xử lý tính toán. Trên GPU A100,
bộ nhớ L2 có kích thước 40MB. Tốc độ
đọc trên bộ nhớ đệm L2 của A100 là
5120 Byte/clk. Ngoài ra, kiến trúc
Ampere cung cấp chức năng điều khiển
bộ nhớ đệm L2, cho phép lập trình viên
có thể xóa hoặc giữ lại dữ liệu bên
trong bọ nhớ đệm L2.
Bộ nhớ toàn cục: là vùng nhớ
đệm của GPU, các vùng bộ nhớ toàn
cục được truy cập bởi các chương trình
CUDA nằm trong không gian bộ nhớ
HBM2, và được gọi là bộ nhớ thiết bị
theo cách nói CUDA. Chip A100 hỗ trợ
DRAM lên đến 40 GB. Đây là bộ nhớ
để chia sẻ dữ liệu, thông tin giữa GPU
và CPU.
4
4 Kiến trúc của Streaming
Multiprocessor trên GPU A100
Tensor Core
Streaming Multiprocessor (SM)
là một đơn vị thực thi một hoặc nhiều
thread block bên trong GPU. Mỗi kiến
trúc của GPU bao gồm nhiều SM. Mỗi
SM có một vi xử lý có tốc độ xung nhịp
thấp và bộ nhớ cache nhỏ để lấy và nạp
lệnh để thực thi các lệnh trên các thread
block một cách song song. Kiến trúc
của một SM được biểu diễn như Hình
5:
Hình 5: Kiến trúc của một Streaming
Multiprocessor (SM) trên GPU A100
Trong đó, thành phần trực tiếp
thực thi các câu lệnh toán học và logic
là 32 CUDA Core, thường được thiết
kế thành 32 làn vì các CUDA Core làm
việc một cách song song. CUDA core
bao gồm FP32 CUDA Core bộ tính
toán số nhân – cộng dấu phẩy động 32-
bit và FP/INT32 CUDA một thành
phần tính toán số nguyên 32-bit ALU. 2
CUDA Core cạnh nhau có thể cùng làm
việc như một bộ tính toán dấu phẩy
động 64-bit. CUDA Core đọc và ghi dữ
liệu vào các thanh ghi. Một SM trên
A100 có 128 CUDA Core trong đó 64
FP32 CUDA Core và 64 FP/IN32
CUDA Core. Tại 1 thời điểm chỉ có 1
trong 2 loại CUDA Core được thực thi.
Một SM trên A100 được thiết kế
với 4 bộ Tensor Core: là thành phần
tính toán nhân ma trận nhiều chiều, hỗ
trợ dấu phẩy động chuyên dụng cho các
ứng dụng AI, học sâu và suy luận.
Tensor Core bắt đầu xuất hiện trên kiến
trúc Volta của NVIDIA (2017), đối với
kiến trúc Ampere, Tensor core đã phát
triển đến phiên bản thứ ba. Ngoài ra,
trên SM còn có 32 các thành phần nạp
và lưu cho tính toán các địa chỉ -
LD/ST.
Bộ tính toán hàm đặc biệt SFU
trên mỗi SM có chức thực thi các chức
năng đặc biệt như hàm nhân, bộ tính
toán logic cho các hàm siêu việt, phép
nội suy, hàm tam giác…
Các CUDA Core trên NVIDIA
A100 được tổ chức thành 4 warp, đon
vị cơ bản nhất thực thi các chương trình
của GPU. Các CUDA Core trên cùng 1
warp thực thi cùng 1 câu lệnh. Trong
mỗi câu lệnh, SM nạp các câu lệnh vào
bộ nhớ đệm câu lệnh (Instruction
Cache) và lưu ở trong bộ nhớ đệm. Sau
đó 4 bộ lập lịch cho warp (Warp
scheduler) bên trong SM sẽ nạp vào 4
bộ Instruction dispatch 4 câu lệnh. Các
câu lệnh sẽ được truyền xuống các bộ
phần cứng (CUDA Core, LD/ST,
Tensor Core, SFU) để thực hiện.
Streaming multiprocessor có
nhiệm vụ giữ cho các warp luôn làm
việc và cân bằng tải giữa các warp để
giảm độ trễ trong thực thi chương trình.
Khi một warp đang ở trạng thái chờ, bộ
lập lịch sẽ chuyển câu lệnh tiếp cho
một warp khác thực thi. Khi một câu
lệnh không bị phụ thuộc vào dữ liệu,
các toán hạng bên trong phép tính đều
đã sẵn sàng, warp tương ứng với câu
5
lệnh đó sẽ được coi là đã sẵn sàng thực
thi. Việc ưu tiên các warp ứng với câu
lệnh có thời gian tính toán ngắn thực
thi trước sẽ giảm thiểu thời gian trễ
trong thực hiện lệnh. Nếu tại một thời
điểm, có nhiều warp cùng ở trạng thái
sẵn sàng, bộ lập lịch trên SM ưu tiên
các warp theo luật đã được cài đặt.
Hình 6: SM điều khiển việc lập lịch cho các
warp
5 Tensor Core thế hệ thứ 3 SM
của GPU A100
Tensor Core là Core máy tính
hiệu suất cao chuyên dụng cho các
phép toán ma trận cung cấp hiệu suất
đột phá cho các ứng dụng AI và HPC.
Tensor Core thực hiện phép tính nhân
và tích lũy (MMA) ma trận. Hàng trăm
Tensor Core hoạt động song song trong
một GPU NVIDIA cho phép tăng đáng
kể thông lượng và hiệu quả, đặc biệt
cho các ứng dụng học sâu và siêu máy
tính (HPC).
Mật độ Tensor trên GPU A100
gấp đôi so với thế hệ trước V100, hỗ
trợ nhiều kiểu dữ liệu và tăng tốc độ
tính toán ma trận thưa lên 2 lần. Mỗi
SM trên A100 được thiết kế với 4
Tensor Core, tổng số lượng Tensore
Core trên A100 là 432.
Trong đào tạo học máy, kỹ thuật
độ chính xác hỗn hợp FP16/FP32 là kỹ
thuật sử dụng cả số thực có dấu phẩy
động 16-bit và 32-bit trong một mô
hình, trong đó, các tham số ít quan
trọng đến độ chính xác của quá trình
huấn luyện sẽ được lưu bằng kiểu dữ
liệu FP16. Kỹ thuật này làm cho quá
trình đào tạo nhanh hơn, tốn ít bộ nhớ
hơn. Kỹ thuật hợp nhất nhân - cộng
(FMA) là kỹ thuật thực hiện phép nhân
và phép cộng số thực trong cùng một
bước tính toán.
Tensor Core thế hệ thứ 3 tăng
tốc độ tính toán các phép hợp nhất nhân
– cộng ma trận một cách đáng kể so với
thế hệ trước đó. Cụ thể, đối với phép
tính có độ chính xác hỗn hợp
FP16/FP32, Tensor Core thế hệ thứ 3
có thể thực hiện 256 phép tính FMA
trên 1 xung nhịp trong khi Tensor Core
thế hệ trước chỉ thực hiện được 64 phép
tính FMA với số FP16. Tính trên tổng
thể khả năng tính toán của GPU, quá
trình thực hiện với kỹ thuật độ chính
xác hỗn hợp FP16/FP32 của A100
nhanh gấp 2.5 lần so với GPU V100
khi so sánh với Tensor Core thế hệ thứ
2 và 20 lần khi so với việc sử dụng
CUDA Core FP32 thông thường.
Tensor Core trên A100 hỗ trợ
cho các kiểu dữ liệu chuyên dụng cho
học sâu và siêu máy tính như
TensorFloat-32(TF32), BF16 và FP64.
Trong đó BF16 là một một dạng của
kiểu dữ liệu FP16, bao gồm 1-bit dấu,
7-bit mantisa và 8-bit exponent, kiểu
dữ liệu này được dùng trong quá trình
huấn luyện với độ chính xác hỗn hợp,
giúp tăng băng thông lên 16 lần so với
FP32. Kiểu dữ liệu TF32 là một dạng
của FP32, dành riêng cho huấn luyện
học máy trên Tensor Core, giúp tăng
tốc độ quá trình học máy lên 8 lần so
với FP32.
Kiểu Khả năng tính
dữ liệu toán (TFLOPS)
Peak FP64 9.7 TFLOPS
6
 Peak FP64 19.5 TFLOPS lượng cao để truyền dữ liệu trực tuyến
Tensor Core đồng thời cung cấp khả năng truy cập
Peak FP32 19.5 TFLOPS với băng thông cao và độ trễ thấp tới
Peak FP16 78 TFLOPS dữ liệu được tái sử dụng thường xuyên.
Peak BF16 39 TFLOPS Hệ thống tích hợp L1 / bộ nhớ chia sẻ
Peak TF32 156 TFLOPS | lớn hơn trên A100 giúp khuếch đại hiệu
Tensor Core 312 TFLOPS2 suất của các ứng dụng sử dụng bộ đệm
Peak FP16 312 TFLOPS | L1 khi truy cập.
Tensor Core 624 TFLOPS2 7 Thực hiện đồng thời các phép
Peak BF16 312 TFLOPS | tính với số FP32 và INT32
Tensor Core 624 TFLOPS2 A100 SM bao gồm lõi CUDA
Peak INT8 624 TOPS | FP32 và INT32 riêng biệt, cho phép
Tensor Core 1,248 TOPS2 thực hiện đồng thời các phép toán với
Peak INT4 1,248 TOPS | số FP32 và INT32 với thông lượng tối
Tensor Core 2,496 TOPS2 đa, đồng thời cũng làm tăng thông
- FLOPS: tera floating point lượng câu lệnh. Nhiều ứng dụng có các
operation per second – nghìn vòng lặp bên trong thực hiện tính toán
tỷ phép tính trong một giây địa chỉ bộ nhớ số nguyên kết hợp với
- TOPS: tera operation per các phép tính dấu phẩy động sẽ được
second (int, float, …) hưởng lợi từ việc thực thi đồng thời các
Tính năng hỗ trợ ma trận thưa lệnh FP32 và INT32. Mỗi vòng lặp,
sparsity trên A100 cho khả năng pipelined có thể đồng thời cập nhật địa
tăng gấp đôi băng thông tính toán chỉ số học INT32 và tải dữ liệu cho lần
trên Tensor Core. lặp tiếp theo trong khi xử lý đồng thời
thực thi phép lặp với số FP32.
6 Kết hợp bộ nhớ đệm L1 và bộ
nhớ chia sẻ (Shared Memory) 8 Ma trận thưa có cấu trúc mịn
Lần đầu tiên được giới thiệu (Fine-Grained structured
trong Volta V100, kiến trúc kết hợp bộ Sparsity)
nhớ đệm L1 và bộ nhớ chia sẻ trên Với GPU A100, NVIDIA giới
A100 cải thiện đáng kể hiệu suất, đồng thiệu một cách tiếp cận mới trong tính
thời đơn giản hóa việc lập trình và giảm toán cho các mạng học sâu giúp tăng
mức điều chỉnh cần thiết để đạt được gấp đôi thông lượng, đó là ma trận thưa
hiệu suất ứng dụng ở mức cao nhất. Kết có cấu trúc mịn.
hợp bộ nhớ đệm và chức năng bộ nhớ Trong quá trình đào tạo học
được chia sẻ thành một khối bộ nhớ máy, các trong số không quan trọng, ít
duy nhất cung cấp hiệu suất tổng thể tốt ảnh hưởng đến độ chính xác của model
nhất cho cả hai loại truy cập bộ nhớ. sẽ được gán là 0 để giảm thiểu khối
Dung lượng tổng hợp của L1 và bộ nhớ lượng tính toán. Tính năng ma trận thưa
chia sẻ là 192 KB / SM trong A100 so cấu trúc mịn trên A100 cho phép phần
với 128 KB / SM trong V100. cứng có thể loại bỏ các thành phần
Tích hợp bộ đệm L1 trong khối trọng số không quan trọng trong mô
bộ nhớ được chia sẻ đảm bảo bộ đệm hình giúp tăng hiệu suất tính toán của
L1 có độ trễ thấp và băng thông cao. L1 GPU.
hoạt động như một ống dẫn thông

7
9 Bộ nhớ HBM2 và L2 Cache
Thiết kế cấu trúc và phân cấp bộ
nhớ của GPU rất quan trọng đối với
hiệu suất ứng dụng và ảnh hưởng đến
kích thước GPU, chi phí, mức sử dụng
điện năng và khả năng lập trình. Nhiều
bộ nhớ con khác nhau tồn tại trong
GPU, bộ nhớ DRAM, đến các loại bộ
nhớ trên chip khác nhau, đến các thanh
ghi được sử dụng trong tính toán trên
SM. Bộ nhớ HBM2 hiệu suất cao là
công nghệ DRAM được sử dụng trong
GPU A100.
Để đáp ứng khả năng tính toán
lớn, NVIDIA GPU A100 được thiết kế
với bộ nhớ tốc đô cao HBM2 có dung
lượng 40GB. Với một Tốc độ dữ liệu
1215 MHz (DDR) A100 HBM2 cung
cấp băng thông bộ nhớ 1555 GB / giây,
cao hơn 1,7 lần so với băng thông bộ
nhớ Tesla V100.
GPU A100 trong GPU A100
Tensor Core bao gồm 40 MB bộ nhớ
đệm L2, lớn hơn 6,7 lần hơn bộ đệm
Tesla V100 L2. Sự gia tăng đáng kể về
kích thước bộ nhớ cache L2 cải thiện
đáng kể hiệu suất của nhiều khối lượng
công việc HPC và AI vì cho phép lưu
nhiều dữ liệu training và mô hình trên
bộ nhớ đệm, do đó, được truy cập nhiều
lần với tốc độ cao hơn nhiều so với việc
đọc và ghi vào bộ nhớ HBM2. Một số
khối lượng công việc bị giới hạn bởi
băng thông DRAM sẽ được hưởng lợi
từ bộ đệm L2 lớn, chẳng hạn như mạng
nơ-ron sâu sử dụng kích thước batch
nhỏ.
Tốc độ đọc trên bộ nhớ đệm L2
của A100 là 5120 Byte/clk. Ngoài ra,
kiến trúc Ampere cung cấp chức năng
điều khiển bộ nhớ đệm L2, cho phép
lập trình viên có thể xóa hoặc giữ lại dữ
liệu bên trong bọ nhớ đệm L2. Kiến
trúc Ampere còn bổ sung tính năng tính
toán nén dữ liệu (Compute Data
Compression) để tăng tốc độ xử lý ma
trận sparsity và các dữ liệu ở dạng có
thể nén được. Chức năng nén dữ liệu ở
L2 cho phép tăng tốc 4 lần băng thông
đọc/ghi trên DRAM và 4 lần đối với
băng thông quá trình đọc trên L2, tăng
dung lượng L2 lên 2 lần.
10 Kiến trúc Multi-Instance GPU
Đối với những ứng dụng không
đòi hỏi tài nguyên xử lý lớn, ví dụ như
những ứng dụng đang ở giai đoạn đầu
của quá trình phát triển, hoặc các mô
hình đơn giản với batch size nhỏ, việc
chạy nhiều ứng dụng trên cùng một
GPU sẽ giúp tối ưu hiệu suất sử dụng
của GPU. Kiến trúc MIG (multi –
instance GPU) được NVIDIA phát triển
để giúp GPU có thể phục vụ nhiều user
khác nhau với môi trường chạy ứng
dụng khác nhau (VM, container, tiến
trình) trên cùng một phần cứng, một
cách riêng biệt, tối ưu hóa khả năng
truy cập dữ liệu từ bộ nhớ, giảm độ trễ
khi có nhiều ứng dụng chạy song song.
MIG cho phép chia tài nguyên
của A100 thành tối đa 7 GPU ảo (GPU
instance) để phục vụ 7 user khác nhau.
Mỗi GPU Instance có đầy đủ các thành
phần như một GPU hoàn chỉnh: SM,
đường truyền đến bộ nhớ được cách ly
hoàn toàn với các GPU instance khác,
bộ nhớ đệm L2, bộ điều khiển bộ nhớ,
DRAM bus riêng. MIG hỗ trợ chất
lượng dịch vụ (QoS) và sự cách ly giữa
các client, để chúng không bị ảnh
hưởng đến nhau khi chạy song song
nhiều client.
8

Hình 7: Tính năng MIG trên GPU A100
Mỗi GPU instance được tạo nên
từ các GPU slice, mỗi GPU Slide bao
gồm các thành phần: Sys pipe, GPC, bộ
nhớ đệm L2 cache, bộ nhớ buffer.
Hình 8: Cấu trúc của GPU Slide
Trên mỗi đơn vị phần cứng GPU
Instance, có thể chia nhỏ phần cứng
cho các tác vụ tính toán khác nhau.
Hình 9: Một GPU Instance có thể chia làm
nhiều GPU Compute nhằm phục vụ cho việc tính toán
nhiều tác vụ khác nhau
11 NVLink thế hệ thứ 3
NVLink là đường kết nối tốc độ
cao, băng thông rộng, độ trễ thấp giữa
các bộ nhớ của GPU. NVLink thế hệ
thứ 3 được thiết kế trên A100 cho phép
tăng cường khả năng mở rộng GPU,
giao tiếp giữa GPU – GPU nhanh hơn,
ổn định hơn. GPU A100 có thể sử dụng
NVLink để truy cập vào bộ nhớ của
GPU ngang hàng với tốc độ nhanh hơn
so với chuẩn PCIe.
Mối đường kết nối của NVLink
thế hệ thứ ba bao gồm 4 làn tín hiệu
cho mỗi chiều truyền/nhận, cho tốc độ
băng thông lên đến 25GB/s. A100 được
thiết kế với 12 đường kết nối, cho tốc
độ tổng cộng lên tới 600GB/s, cho phép
đa dạng hóa cấu hình kết nối giữa các
GPU và bộ chuyển đổi. Để đáp ứng các
hệ thống mạng noron phức tạp hay các
mô phỏng trên các siêu máy tính, nhiều
A100 được sử dụng để kết nối với nhau
thông qua NVLink.
Hình 10: Các GPU được nối với nhau thông
qua NVLink
12 PCIe Gen 4 với SR-IOV
GPU A100 hỗ trợ PCI Express
Gen 4 (PCIe Gen 4) cung cấp băng
thông 31,5 GB/giây mỗi chiều dữ liệu
cho 16 kết nối, gấp đôi băng thông của
PCIe 3.0. Tốc độ càng nhanh càng đặc
biệt có lợi cho khi kết nối với CPU hỗ
trợ PCIe 4.0 hoặc các giao diện mạng
tốc độ cao, chẳng hạn như hỗ trợ
InfiniBand 200 Gbit / giây để cải thiện
khả năng của cụm GPU (GPU Cluster).
A100 cũng hỗ trợ chức năng SR-IOV
cho phép chia sẻ và ảo hóa một GPU
cho nhiều quá trình xử lý hoặc nhiều
máy ảo (VM). A100 cũng cho phép 1
chức năng ảo hoặc chức năng vật lý
trên 1 GPU đang kết nối PCIE truy cập
đến GPU khác thông qua NVLink.
13 Phát hiện, cô lập và cách ly lỗi
Thay vì khởi động lại GPU mỗi
khi gặp lỗi, việc phát hiện các lỗi, cách
9
ly và sửa lỗi sẽ tốt hơn cho tính sẵn
sàng và tăng thời gian hoạt động của
GPU, đặc biệt trong các hệ nhiều GPU,
hoặc chạy nhiều client trên cùng một
GPU. Kiến trúc Ampere của NVIDIA
A100 bao gồm các công nghệ mới để
cải thiện khả năng phát hiện lỗi, cô lập
và cách ly các lỗi, không để lỗi lan sang Hình 11: So sánh quy trình nạp dữ liệu khi có
và không có chức năng sao chép không đồng bộ
các ứng dụng khác.
Các công nghệ xử lý lỗi kiến III Tài liệu tham khảo
trúc NVIDIA Ampere mới đặc biệt [1]
quan trọng đối với môi trường MIG để
đảm bảo cách ly và bảo mật thích hợp
giữa các máy khách chia sẻ một GPU.
Các GPU được kết nối với NVLink giờ
đây cũng có khả năng phát hiện và khôi
phục lỗi mạnh mẽ hơn các tính năng
như được mô tả trong phần NVLink ở
trên. Lỗi trang ở GPU từ xa được gửi
quay lại GPU nguồn thông qua
NVLink. Giao tiếp lỗi truy cập từ xa là
một yếu tố quan trọng tính năng phục
hồi cho các cụm tính toán GPU lớn để
giúp đảm bảo các lỗi trong một quy
trình hoặc máy ảo không làm hỏng các
quy trình hoặc máy ảo khác.
14 Lệnh sao chép không đồng bộ
GPU A100 bao gồm lệnh sao
chép không đồng bộ mới tải dữ liệu
trực tiếp từ bộ nhớ chung L2 vào bộ
nhớ dùng chia sẻ trên SM, loại bỏ nhu
cầu sử dụng tệp thanh ghi trung gian
(RF). Async-copy làm giảm băng thông
thanh ghi, sử dụng băng thông bộ nhớ
hiệu quả hơn và giảm tiêu thụ điện
năng. Sao chép không đồng bộ có thể
được thực hiện ở chế độ background
trong khi SM đang thực hiện các tính
toán khác.

IV Deng, Y. (2013). A Survey on GPU Based Electronic Design Automation

Computing. Foundations and Trends in Electronic Design Automation.
[2] Evanson, N. (2020, July 27). Explainer: What Are Tensor Cores? Retrieved from
Techspot: https://www.techspot.com/article/2049-what-are-tensor-cores/

10
[3] Gupta, P. (2020, June). NVIDIA Developer. Retrieved from
https://developer.nvidia.com/blog/cuda-refresher-cuda-programming-model/
[4] Jayshree Ghorpade, J. P. (2012). GPGPU PROCESSING IN CUDA
ARCHITECTURE. Advanced Computing: An International Journal.
[5] KHARYA, P. (2020, May 14). TensorFloat-32 in the A100 GPU Accelerates AI
Training, HPC up to 20x. Retrieved from NVIDIA Developer:
https://blogs.nvidia.com/blog/2020/05/14/tensorfloat-32-precision-format/
#:~:text=TensorFloat%2D32%20is%20the%20new,(FP32)%20on%20Volta
%20GPUs.
[6] NVIDIA. (2020). NVIDIA A100 Tensor Core GPU Architecture. NVIDIA.
[7] NVIDIA. (2020, May 14). NVIDIA Ampere Architecture In-Depth. Retrieved from
NVIDIA Developer: https://developer.nvidia.com/blog/nvidia-ampere-
architecture-in-depth/
[8] NVIDIA. (2020). NVIDIA Ampere GA102 GPU Architecture. NVIDIA.
[9] Pool, J. (2021, July 20). Accelerating Inference with Sparsity Using the NVIDIA
Ampere Architecture and NVIDIA TensorRT. Retrieved from NVIDIA
Developer: https://developer.nvidia.com/blog/accelerating-inference-with-
sparsity-using-ampere-and-tensorrt/

11