TỔNG LIÊN ĐOÀN LAO ĐỘNG VIỆT NAM

TRƯỜNG ĐẠI HỌC TÔN ĐỨC THẮNG

KHOA CÔNG NGHỆ THÔNG TIN

Đồ Án Môn Học:

MÁY HỌC
ĐỀ TÀI:

GVGD : TS. TRẦN THÁI SƠN

HVTH : Nguyễn Hùng An - 1511001
: Nguyễn Ngọc Tâm - 1511034

Tp. Hồ Chí Minh, tháng 07/ 2018

 MỤC LỤC TÙY CHỈNH
A. GIỚI THIỆU---------------------------------------------------------------------------------------- 4

1 Tổng quan về đề tài----------------------------------------------------------------------------- 4

2 Các khái niệm liên quan------------------------------------------------------------------------6

2.1 Deep Learning-------------------------------------------------------------------------------------------6

2.2 Convolutional Neural Network---------------------------------------------------------------------6

B. NỘI DUNG----------------------------------------------------------------------------------------- 7

1 Cơ sở lý thuyết liên quan----------------------------------------------------------------------7

1.1 Random Graph Theory--------------------------------------------------------------------------------7

1.2 Deep Neural Networks như là một thể hiện của đồ thị ngẫu nhiên---------------------7

C. KẾT LUẬN----------------------------------------------------------------------------------------- 11

Trang
 DANH MỤC HÌNH

Hình 1: Đồ thị ngẫu nhiên..............................................................................7

Hình 2: Các biến thể của đồ thị ngẫu nhiên.Error! Bookmark not defined.

Trang
 Phần Giới

A. GIỚI THIỆU

1 Tổng quan về đề tài

DNN1 là một nhánh của máy học, thành công vượt trội của DNN thể hiện ở khả
năng mạnh mẽ trong việc thể hiện và mô hình hóa một cách trừu tượng ở mức cao
trong việc xử lý dữ liệu phức tạp. DNN đã đưa ra kết quả vượt qua kết quả tốt nhất
(state-of- the-art) trong việc xử lý những công việc phức tạp từ nhận dạng giọng nói, và
xử lý ngôn ngữ tự nhiên, đến nhận dạng các đối tượng [1]. Trong những năm gần đây,
DNN tập trung đáng kể về tăng hiệu suất và sức mạnh thông qua các chiến lược như
kiến trúc sâu hơn, các quy tắc xây dựng mạng, và cải tiến hàm kích hoạt (activation
function). Tuy nhiên, cách mà hình thành các kết nối giữa các nơron trong DNN không
được nghiên cứu một cách tích cực trong những năm gần đây. Do đó, nghiên cứu sâu
vào các chiến lược khác nhau để hình thành kết nối giữa các nơron trong DNN có thể
mang lại kết quả đầy hứa hẹn.

Để khám phá về sự hình thành kết nối trong DNN, tác giả lấy cảm hứng từ tự
nhiên bằng cách nhìn vào cách thức bộ não phát triển kết nối giữa các khớp thần kinh
nơron. Đặc biệt, tác giả được thúc đẩy cao bởi những phát hiện gần đây đã trình bày
trong bài báo khoa học về thần kinh quan trọng của Hill2, nơi mà họ đã thu thập dữ liệu
đáng kể từ mô não của chuột Wistar và sử dụng dữ liệu này để tái tạo một phần sơ đồ
của một bộ não chuột. Sau khi phân tích kỹ lưỡng các bản đồ tái tạo não, Hill et al. đi
đến kết luận sâu sắc rất đáng ngạc nhiên liên quan đến sự hình thành kết nối thần kinh
trong não chuột. Những gì họ thấy được là sự hình thành khớp thần kinh, kết nối chức

1
(Deep Neural Network)
2
Initials of the author S. L. Hill

Trang
 Phần Giới

năng cụ thể trong mạch thần kinh, có thể mô hình hóa và dự đoán là hình thành ngẫu
nhiên. Điều này đi ngược lại với suy nghĩ thông thường rằng kết nối thần kinh được kết
nối một cách có tổ chức. Trong khi đó, để xây dựng DNN, sự hình thành kết nối của
các nơron chủ yếu là xác định và được định nghĩa một cách có tổ chức tương tự như
giả định thông thường về kết nối thần kinh trước khi có nghiên cứu quan trọng này. Vì
vậy, nó đặt ra câu hỏi là liệu có một chiến lược ngẫu nhiên cho sự hình thành kết nối
giữa các nơron, cái mà có tính sinh học hơn và tương thích với cách hình thành kết nối
nơron của bộ não để có thể tạo ra một DNN có lợi ích tiềm năng về hiệu suất và hiệu
quả cao.

Mặc dù DNN rất mạnh, nhưng nó rất khó khả thi để nhúng vào các thiết bị như
camera giám sát, điện thoại thông minh và các thiết bị đeo được do tính phức tạp tính
toán của DNN. Do vậy, người ta thường sử dụng GPU trong xử lý DNN, các CPU
công suất thấp thường được sử dụng trong các hệ thống nhúng không có khả năng tính
toán để hiện thực DNN.

Dựa vào phát hiện tuyệt vời của Hill et al về sự hình thành kết nối ngẫu nhiên
của các nơron, và nghiên cứu chi tiết hơn về mặt sinh học của quá trình hình thành kết
nối giữa các nơron có thể có lợi cho DNN, bài viết này nhằm mục đích để điều tra tính
khả thi và hiệu quả của việc đưa ra mô hình kết nối ngẫu nhiên giữa các nơron trong
DNN. Để đạt được mục tiêu này, tác giả giới thiệu khái niệm về StochasticNet, ý tưởng
chính là để tận dụng lợi thế của những ý tưởng trong lý thuyết đồ thị ngẫu nhiên
(random graph theory) để tạo thành mạng lưới DNN thông qua kết nối ngẫu nhiên giữa
các nơron. Như vậy, tác giả xử lý cách hình thành kết nối giữa các nơron trong DNN
như là một trường hợp đặc biệt của một đồ thị ngẫu nhiên. Việc hình thành kết nối theo
cách như vậy trong DNN có khả năng cho phép sử dụng hiệu quả các nơron để thực
hiện các nhiệm vụ cụ thể. Hơn nữa, kể từ khi tập trung vào kết nối nơron, kiến trúc
StochasticNet có thể được sử dụng trực tiếp như một mạng lưới DNN thông thường và
hưởng lợi từ tất cả các phương pháp được sử dụng cho các mạng thông thường như
tăng thêm dữ liệu, tổng hợp

Trang
 Phần Giới

ngẫu nhiên, và dropout (hiện tượng mà một số nơron được bỏ qua ngẫu nhiên từ các lớp
ẩn trong quá trình huấn luyện).

2 Các khái niệm liên quan

2.1 Deep Learning

Học sâub là một nhánh của ngành máy học dựa trên một tập hợp các thuật toán
để cố gắng mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử
lý với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến.

2.2 Convolutional Neural Network

Convolutional Neural Network (CNN) là một trong những mô hình Deep

Learning tiên tiến giúp cho chúng ta xây dựng được những hệ thống thông minh với độ
chính xác cao như hiện nay.

Trang
 Phần Nội

B. NỘI DUNG

1 Cơ sở lý thuyết liên quan

1.1 Random Graph Theory

Trong bài báo này, mục tiêu là để tận dụng lợi thế của những ý tưởng trong lý
thuyết đồ thị ngẫu nhiên để tạo các kết nối nơron của DNN một cách ngẫu nhiên. Vì
vậy, đầu tiên tác giả trình bày một bài đánh giá ngắn gọn về lý thuyết đồ thị ngẫu
nhiên, để chúng ta có một cái nhìn sâu sắc hơn vào cách nó có thể được khai thác để
đạt được kết nối nơron ngẫu nhiên trong một DNN.

Hình 1: Đồ thị ngẫu nhiên

1.2 Deep Neural Networks như là một thể hiện của đồ thị ngẫu nhiên

Với những ý tưởng thú vị về việc hình thành các kết nối giữa các nơron trong
DNN như thể hiện của đồ thị ngẫu nhiên, bây giờ chúng ta chính thức hóa chiến lược

Trang 7
 Phần Nội

này. Tác giả có một cái nhìn sâu hơn là cách tiếp cận này có thể được áp dụng cho các
hình thức khác nhau của DNN.

Kiến trúc mạng đầy đủ của một DNN có thể được biểu diễn như là một đồ thị
ngẫu nhiên 𝐺 = (𝑉, 𝑝[𝑖→𝑗 ]), trong đó:
𝑘

V được biểu thị tập hợp các nơron V={vi,k|1 ≤ i ≤ nl, 1 ≤ k ≤ mi };

vi,k đại diện cho nơron thứ k tại layer thứ i;

nl thể hiện cho số lượng layer;

mi thể hiện cho số lượng nơron tại layer thứ i;
𝑖→𝑗

𝑝[ ] đại diện cho xác suất xảy ra kết nối giữa nơron vj,h và vi,k.
𝑘

Do đó, để đảm bảo rằng các đặc điểm kiến trúc mạng cơ bản của các loại DNN
khác nhau khi thể hiện như một đồ thị ngẫu nhiên hoạt động đúng thì xác suất 𝑝[𝑖→𝑗 ]
𝑘
được thiết kế theo một cách mà những đặc điểm này được thực thi một cách thích hợp.
Trong bài báo này, tác giả tìm hiểu việc thiết kế 𝑝[𝑖→𝑗 ] sử dụng trong các DNN deep
𝑘
feed-forward.

1.2.1 Deep Convolutional Neural Networks

Với mô hình đồ thị ngẫu nhiên nói trên đại diện chung cho mạng nơron deep
feed- forward, bây giờ chúng ta tiếp tục khám phá những cân nhắc thiết kế bổ sung
phải được đưa vào cho sự hình thành của mạng deep convolutional neural networks.
DCNN có thể được coi là một trong những loại phổ biến nhất của mạng deep feed-
forward trong những năm gần đây, nó có khả năng mạnh mẽ trong việc giải quyết các
vấn đề về thị giác máy tính. Một đặc tính cơ bản quan trọng của DCNN là các kết nối
nơron trong các lớp tích chập được sắp xếp sao cho một tập hợp nhỏ các nơron trong
không gian cục bộ được kết nối với cùng nơron đầu ra ở layer kế tiếp trong mạng.
Ngoài ra, trọng số kết nối giữa các nơron cũng được chia sẻ giữa các tập hợp nơron nhỏ
khác nhau. Một trong những lợi ích quan trọng của mạng DCNN là nó xây dựng các
kết nối nơron ở các lớp tích chập rất

Trang 8
 Phần Nội

hiệu quả bằng một tập các local receptive field (tương tự như filter được mô tả ở A-
2.2), quá trình này sẽ làm giảm đáng kể yêu cầu bộ nhớ và tính toán phức tạp cho huấn
luyện và sử dụng mạng.

1.2.2 Mối liên hệ với Stochastic chính quy

StochasticNet không phải là một kỹ thuật chính quy, nó là một mạng DNN thưa.
Kỹ thuật chính quy sử dụng kết nối ngẫu nhiên trong huấn luyện nhưng bắt đầu với
một mạng lưới dày đặc và kết thúc với một mạng lưới dày đặc. StochasticNets ở bài
này bắt đầu với một mạng lưới thưa thớt và kết thúc với một mạng lưới thưa thớt, kỹ
thuật này chưa được khám phá trước đây. Chiến lược ngẫu nhiên trước kia làm việc với
các mạng nơron hiện có dựa trên kết nối nơron một cách thưa thớt rõ rang (HashNet),
hoặc là bỏ bớt kết nối trong quá trình huấn luyện. Cụ thể hơn, StochasticNets là một
hiện thực của một đồ thị ngẫu nhiên được hình thành trước khi huấn luyện và như vậy
các kết nối trong mạng vốn đã thưa thớt, và là cố định và không thay đổi trong quá
trình huấn luyện. Điều

Trang 9
 Phần Nội

này thể hiện rất khác từ Dropout và DropConnect, nơi mà các hàm kích hoạt và các kết
nối được tạm thời loại bỏ trong quá trình huấn luyện và được đưa trở lại trong quá trình
thử nghiệm, và kết quả là kết nối giữa các nơron trong mạng vẫn còn dày đặc. Không
có khái niệm về dropping trong StochasticNets, các kết nối nơron có thể được hình
thành từ thời điểm đầu tiên trước khi huấn luyện, và kết quả là kết nối trong mạng là
thưa thớt.

Trang
 Phần Kết

C. KẾT LUẬN
Trong nghiên cứu này, tác giả giới thiệu một cách tiếp cận mới để hình thành
DNN lấy cảm hứng từ các kết nối ngẫu nhiên dựa vào kết nối khớp thần kinh giữa các
nơron. Các StochasticNet đươc đề xuất là một DNN được hình thành như là một thể
hiện của một đồ thị ngẫu nhiên, nơi kết nối giữa các nơron được hình thành một cách
ngẫu nhiên dựa trên một phân phối xác suất. Sử dụng phương pháp này, các kết nối
nơron trong các DNN có thể được hình thành một cách tối ưu hiệu quả, dẫn đến mạng
DNN có ít kết nối nơron hơn trong khi đạt được độ chính xác tương tự.

Hiệu quả của StochasticNet được đề xuất được đánh giá với bốn bộ dữ liệu hình
ảnh chuẩn phổ biến và so sánh với một CNN thông thường (ConvNet). Kết quả thí
nghiệm chứng minh rằng StochasticNet đề xuất cung cấp độ chính xác tương đương
như các ConvNet thông thường với ít hơn nhiều về số lượng các kết nối nơron trong
khi giảm các vấn đề overfitting so với các ConvNet thông thường trên bộ dữ liệu
CIFAR-10, MNIST, và SVHN. Thêm một thú vị, một StochasticNet với ít hơn nhiều
số lượng các kết nối nơron đã được tìm thấy để đạt được độ chính xác cao hơn khi so
sánh với các DCNN thông thường cho tập dữ liệu STL-10. Như vậy, các StochasticNet
đề xuất có tiềm năng rất lớn để cho phép hình thành DNN hiệu quả hơn, có tốc độ hoạt
động nhanh trong khi vẫn đạt được độ chính xác mạnh mẽ.

Trang
 TÀI LIỆU THAM KHẢO

2 Works Cited

[1] I. Goodfellow, Deep Learning, MIT Press, 2016.

[2] M. J. Shafiee, "StochasticNet: Forming DNN via Stochastic

Connectivity," IEEE, pp. 1-10, 2017.

b
Deep Learning

Trang