Trí tuệ nhân tạo

Tuần 7

Giảng viên: Trần Đức Minh

 Nội dung trình bày

●
Giới thiệu mạng nơron
●
Nơron sinh học
●
Nơron nhân tạo
●
Perceptron
●
Quy tắc học Perceptron
 Sơ lược về mạng Nơron

●
Mạng nơron là 1 họ các quá trình xử lý thông tin dựa trên mô
hình các nơ-ron thần kinh của con người.
●
Kết hợp một số lượng lớn các thành phần đơn giản (nơron)
nên cấu trúc sẽ phức tạp nhằm giải quyết 1 vấn đề cụ thể
nào đó.
●
Giống như con người, mạng nơron học bằng các ví dụ (mẫu)
●
Các lĩnh vực ứng dụng:
●
Nhận dạng mẫu
●
Chẩn đoán bệnh
●
Dự báo thị trường
●
….
Nơron sinh học
 Nơron sinh học

●
Dendrites: Sợi dây thần kinh mang tín hiệu điện
đến tế bào.
●
Cell body (thân tế bào): Được dùng để tính toán
hàm phi tuyến dựa trên các đầu vào của nó.
●
Axon (Sợi trục): Một sợi đơn dài để mang tín hiệu
điện từ thân tế bào đến các nơron khác.
●
Synapse (khớp nối thần kinh): Điểm tiếp xúc giữa
sợi trục của một tế bào và dendrite của một nơron
khác, điều chỉnh một kết nối hóa học mà sức mạnh
của nó ảnh hưởng đến một đầu vào của tế bào.
 Nơron nhân tạo

●
Nhận các tín hiệu từ các nơron khác (hay từ
đầu vào). Nếu giá trị (tổng các tín hiệu có nhân
hệ số) nhận được vượt quá một ngưỡng nào
đó, nơ-ron này sẽ kích hoạt (nó sẽ gửi tín hiệu
đến các nơ-ron khác nữa)
 Nơron nhân tạo

p0= +1
bi :Bias
p1
wi1
p2

p3  f ai

pm Neuroni Activation Output

wim function

Input Synaptic
Weights
 Mô hình nơron nhân tạo

ai = f (ni) = f (wijpj + bi)

j=1

●
Tính đầu ra cho một nơron nhân tạo:
– Tính tổng các đầu vào đã được nhân với trọng số.
– Cộng với độ dịch (bias)
– Gửi giá trị này đến một hàm kích hoạt (hàm f)
●
Ta nói rằng nơron được kích hoạt nếu đầu ra
của nó có giá trị lớn hơn 0.
 Bias (độ dịch)

●
Ta coi Bias như một trọng số với đầu vào luôn
cố định bằng +1.0
●
Mô hình nơron có Bias sẽ mạnh hơn so với mô
hình nơron không có Bias.

ai = f (ni) = f (wijpj) = f(wi.pj)

j=0
 Hàm kích hoạt

●
Hàm kích hoạt được sử dụng để hạn chế đầu
ra của nơron.
●
Có rất nhiều hàm kích hoạt được sử dụng:
Hàm kích hoạt
 Bài tập

●
Cho một nơron đơn có một đầu vào mang giá
trị là 2, trọng số của nó là 2.3 và bias của nó là
-3
– Tính giá trị đầu ra chưa sử dụng hàm kích hoạt.
– Tính đầu ra cho nơron thông qua các hàm kích
hoạt sau:
●
Hard Limit
●
Linear
●
Log-sigmoid
 Bài tập

●
Cho một nơron có hai đầu vào với các tham số đi theo
như sau: Bias = 1.2; W = [3 2]; p = [-5 6]T
– Tính đầu ra cho nơron thông qua các hàm kích
hoạt sau:
●
Symmetrical Hard Limit
●
Saturating Linear
●
Hyperbolic Tangent Sigmoid
Kiến trúc Perceptron

a = hardlim (Wp + b)
 Kiến trúc Perceptron

●
Ta định nghĩa một véctơ chứa dòng thứ i của W
là:

●
Vậy W sẽ được viết lại là:

●
Do đó ta có:
 Perceptron đơn lớp một đầu ra

●
Ta xét Perceptron có hai đầu vào và một đầu ra
như sau:

●
Vậy đầu ra của mạng có thể viết như sau:
 Đường biên quyết định

●
Đường biên quyết định được xác định bởi các
véctơ đầu vào và cho đầu ra chưa kích hoạt
bằng 0.

●
Giả sử ta cho w1,1 = 1; w1,2 = 1; b = -1
 Đường biên quyết định

●
Ta thấy rằng các điểm nằm phía trên
đường biên quyết định đều cho đầu ra =
1 (a = 1) và các điểm nằm phía dưới
đường biên quyết định đều cho đầu ra =
0 (a = 0).
●
Lý do vì véctơ trọng số 1w trỏ về hướng
màu xám nên tại vùng đó đầu ra luôn =
1.
●
Chú ý:
– Hướng của véctơ trọng số sẽ xác định đầu
ra chính xác cho perceptron.
– Véctơ trọng số luôn trực giao với đường
biên quyết định.
 Ví dụ

●
Thiết kế một mạng Perceptron để thực hiện các
chức năng logic đơn giản sau (cổng logic AND):

●
Minh hoạ trên hình vẽ:
 Ví dụ

●
Ta kẻ một đường thẳng chia đồ thị làm hai phần sao
cho một bên chỉ chứa điểm đen, một bên chỉ chứa
điểm trắng. Đây chính là đường biên quyết định.
●
Tiếp theo ta chọn véctơ trọng số trực giao với
đường biên quyết định ở trên. Giả sử ở đây ta chọn

●
Cuối cùng ta tìm b bằng cách lấy 1 điểm trên đường
biên quyết định thỏa mãn 1wTp + b = 0
 Ví dụ

●
Ta thử đầu vào của mạng xem kết quả có chính
xác không:
 Bài tập

●
Bài 1: Tìm trọng số và bias của các vấn đề
phân loại đơn giản sau:

●
Bài 2: Thiết kế một mạng Perceptron để thực
hiện các chức năng logic đơn giản của cổng
logic OR.
 Quy tắc học Perceptron

●
Quy tắc học Perceptron là loại đào tạo có giám
sát. Trong đó các quy tắc học được cung cấp
bởi một tập hợp các mẫu đầu vào và đầu ra
mục tiêu tương ứng với mỗi đầu vào.

●
Quy tắc học sẽ điều chỉnh trọng số và bias của
mạng để đầu ra của mạng gần với mục tiêu
hơn.
 Quy tắc học Perceptron

●
Giả sử ta có tập đầu vào và đầu ra mục tiêu
như sau:

Để đơn giản quy tắc

học ta sẽ xây dựng
mạng không có bias
 Quy tắc học Perceptron

●
Do không có bias nên đường
biên quyết định sẽ phải đi qua
gốc tọa độ.
●
Ta cần phải xây dựng đường
biên quyết định để p2 với p3
nằm khác bên với p1.
●
Để xây dựng đường biên quyết
định ta cần tìm véctơ trọng số
 Quy tắc học Perceptron

●
Để đào tạo cho mạng này, đầu tiên ta chỉ cần
chọn các giá trị ngẫu nhiên cho 1w. Giả sử ta
có: 1w = [1.0 -0.8]
T

●
Ta bắt đầu thử với giá trị p1

●
Mạng trả về giá trị đầu ra không chính xác. Đầu
ra của mạng là 0 trong khi đó t1 = 1
 Quy tắc học Perceptron

● Ta cần phải điều chỉnh 1w. Có hai cách tiếp cận

để điều chỉnh:
● Cách 1: Đặt 1w = p1 => Cách này không ra
được kết quả.
● Cách 2: Do a = 0 trong khi đó t1 = 1, ta sẽ điều
chỉnh véctơ trọng số trỏ gần về hướng của p1
hơn bằng cách
 Quy tắc học Perceptron

●
Áp dụng quy tắc trên ta có:

● Ta áp dụng véctơ trọng số mới với p2

●
Mạng trả về giá trị đầu ra không chính xác. Đầu
ra của mạng là 1 trong khi đó t2 = 0
 Quy tắc học Perceptron

● Do a = 1 trong khi đó t2 = 0, ta sẽ điều chỉnh

véctơ trọng số trỏ gần về hướng ngược lại với
p2 hơn bằng cách

●
Áp dụng quy tắc trên ta có:
 Quy tắc học Perceptron

● Ta áp dụng véctơ trọng số mới với p3

● Do a = 1 trong khi đó t3 = 0, ta sẽ điều chỉnh

véctơ trọng số như sau:
 Quy tắc học Perceptron

●
Ta cứ tiếp tục quay vòng thay lần lượt các mẫu
đầu vào để xác định đầu ra a cho đến khi tất cả
các đầu ra a đều có giá trị bằng với đầu ra mục
tiêu. Áp dụng theo đúng công thức sau:
 Quy tắc học Perceptron tổng quát

●
Ta xây dựng biến lỗi e = t – a
●
Vậy ta có thể viết lại 3 quy tắc trên như sau:

●
Kết hợp lại ta có công thức tổng quát sau:
 Hết Tuần 7

Cảm ơn các bạn đã chú ý lắng nghe !!!