Trong tầng thứ nhất của AlexNet, kích thước cửa sổ tích chập là 11×11

. Vì hầu hết các ảnh trong ImageNet đều có chiều cao và chiều rộng lớn gấp hơn
mười lần so với các ảnh trong MNIST, các vật thể trong dữ liệu ImageNet thường có
xu hướng chiếm nhiều điểm ảnh hơn. Do đó, ta cần sử dụng một cửa sổ tích chập lớn
hơn để xác định được các vật thể này. Kích thước cửa sổ tích chập trong tầng thứ
hai được giảm xuống còn 5×5
và sau đó là 3×3
. Ngoài ra, theo sau các tầng chập thứ nhất, thứ hai và thứ năm là các tầng gộp
cực đại với kích thước cửa sổ là 3×3
và sải bước bằng 2. Hơn nữa, số lượng các kênh tích chập trong AlexNet nhiều hơn
gấp mười lần so với LeNet.

Sau tầng tích chập cuối cùng là hai tầng kết nối đầy đủ với 4096 đầu ra. Hai tầng
này tạo ra tới gần 1 GB các tham số mô hình. Do các GPU thế hệ trước bị giới hạn về
bộ nhớ, phiên bản gốc của AlexNet sử dụng thiết kế luồng dữ liệu kép cho hai GPU,
trong đó mỗi GPU chỉ phải chịu trách nhiệm lưu trữ và tính toán cho một nửa mô
hình. May mắn thay, hiện nay các GPU có bộ nhớ tương đối dồi dào, vì vậy ta hiếm
khi cần phải chia nhỏ mô hình trên các GPU (phiên bản mô hình AlexNet của ta khác
với bài báo ban đầu ở khía cạnh này).