Hãy khởi động với một bài toán phân loại hình ảnh đơn giản.

Ở đây, mỗi đầu vào là

một ảnh xám có kích thước 2×2
. Bằng cách biểu diễn mỗi giá trị điểm ảnh bởi một số vô hướng, ta thu được bốn
đặc trưng x1,x2,x3,x4
. Hơn nữa, giả sử rằng mỗi hình ảnh đều thuộc về một trong các danh mục “mèo”,
“gà” và “chó”.

Tiếp theo, ta cần phải chọn cách biểu diễn nhãn. Ta có hai cách làm hiển nhiên.
Cách tự nhiên nhất có lẽ là chọn y∈{1,2,3}
lần lượt ứng với {chó, mèo, gà}. Đây là một cách lưu trữ thông tin tuyệt vời trên
máy tính. Nếu các danh mục có một thứ tự tự nhiên giữa chúng, chẳng hạn như {trẻ sơ
sinh, trẻ tập đi, thiếu niên, thanh niên, người trưởng thành, người cao tuổi}, sẽ
là tự nhiên hơn nếu coi bài toán này là một bài toán hồi quy và nhãn sẽ được giữ
nguyên dưới dạng số.

Nhưng nhìn chung các lớp của bài toán phân loại không tuân theo một trật tự tự
nhiên nào. May mắn thay, các nhà thông kê từ lâu đã tìm ra một cách đơn giản để có
thể biểu diễn dữ liệu danh mục: biểu diễn one-hot. Biểu diễn one-hot là một vector
với số lượng thành phần bằng số danh mục mà ta có. Thành phần tương ứng với từng
danh mục cụ thể sẽ được gán giá trị 1 và tất cả các thành phần khác sẽ được gán giá
trị 0.

(3.4.1)
y∈{(1,0,0),(0,1,0),(0,0,1)}.

Trong trường hợp này, y

sẽ là một vector 3 chiều, với (1,0,0)
tương ứng với “mèo”, (0,1,0)
ứng với “gà” và (0,0,1)
ứng với “chó”.