TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VIỆN VẬT LÝ KỸ THUẬT

BÁO CÁO THỰC TẬP TỐT NGHIỆP

ĐỀ TÀI: NHẬN DIỆN BIỂN SỐ XE Ô TÔ HAI DÒNG

GVHD : TS.NGUYỄN HOÀNG THOAN

SINH VIÊN : NGUYỄN VĂN ĐỊNH
LỚP : VLKT K58

Hà Nội tháng 6 năm 2018

1
 Nội dung báo cáo

I. Mở đầu

II. Cơ sở lý thuyết
+ Các loại biển số xe ô tô ở VN
+ Các bước nhận diện biển số
+ Lý thuyết về LBP

III.Quy trình thực nghiệm

IV.Kết quả và thảo luận

V. Kết luận

2
 Mở đầu

 Nhu cầu đi lại ngày càng tăng số lượng phương tiện giao
thông trên đường ngày càng nhiều
 Áp dụng các hệ thống tự động để kiểm soát và quản lý hiệu
quả
 Vấn đề quan trọng nhất mang tính quyết định hiệu quả của
hệ thống xử lý ảnh là phần mềm xử lý ảnh
 Yêu cầu của bài toán là tìm vùng chứa biển số, trích vùng
biển số, cách li các ký tự trên biển số, từ đó máy tính sẽ xử lý
và nhận dạng
=> Em quyết định lựa chọn đề tài “Nhận diện biển số xe ô tô
hai dòng”

3
 Các loại biển số xe ô tô ở Việt Nam
Ở Việt Nam, biển số xe được quy định tại điều 27 Thông tư 36/2010/TT-
BCA
Phân loại theo kích thước:
• Loại biển số dài có chiều cao 110 mm, chiều dài 470 mm
• Loại biển số ngắn có chiều cao 200 mm, chiều dài 280 mm

4
 Các loại biển số xe ô tô ở Việt Nam

Phân loại theo màu sắc: biển số thường được in với nền trắng và
chữ màu đen, tuy nhiên một số biển đặc biệt lại có biển nền màu xanh
chữ màu trắng và nền màu đỏ chữ màu trắng…

5
 Các bước nhận diện biển số xe

Khớp mẫu
Ảnh đầu đơn giản
vào Nhận diện
vùng chứa Hình thái học
biển số
Dùng thuật
toán LBP

Cách li ký tự Chiếu
histogram

Phương pháp
Nhận diện ký svm
tự
Khớp mẫu
đơn giản Kết quả
6
 Đặc trưng LBP

 LBP là viết tắt của Local Binary Pattern hay là mẫu nhị phân địa
phương

 Phiên bản đầu tiên của LBP được dùng với 8 điểm ảnh xung
quanh và sử dụng giá trị của điểm ảnh ở trung tâm làm ngưỡng

7
Ví dụ về trích rút đặc trưng LBP trên ảnh số

8
Ví dụ về trích rút đặc trưng LBP trên ảnh số

9
 QUY TRÌNH THỰC NGHIỆM

Tách ảnh Tách biển số

Thu thập dữ liệu Ảnh âm, tạo chỉ
(tạo chỉ mục .txt,
huấn luyện mục .txt
tạo file vecto)

Ghi
Tập tin Học với opencv_traincascade
cascade.xml ( trong OpenCV )

Đọc
Kết quả Khoanh
Chương trình vùng biển
số xe

Ảnh chứa biển số

xe
10
 Tag ảnh và cắt ảnh

Dùng phần mềm OpenALPR Training Utility để tag ảnh

11
 Tag ảnh và cắt ảnh
Cắt ảnh:
• Copy ảnh đã tag vào trong một folder khác

• Dùng code để cắt ảnh

12
 Quá trình tập huấn vùng biển số
Để tập huấn cần những bức ảnh positive và negative:

• Ảnh Positive là ảnh chứa vùng biển số xe (là bộ ảnh đã qua các bước tiền xử lí ở
phía trên)

• Ảnh negative là ảnh đen trắng không chứa biển số xe. Mục đích là để giúp phần
mềm loại bỏ những vùng không phải biển số xe.

Sau khi đã thu thập được các ảnh positive, bước tiếp theo sẽ tập huấn
(opencv_traincascade).

Từ màn hình cmd:

• Chạy lệnh python prepw.py neg
• Chạy lệnh python prepw.py pos
• Chạy lệnh python prepw.py train
• Chạy lệnh sinh ra ở bước trên: C:\opencv-3.0.0\bin/opencv_traincascade -data C:\openalpr\train-
detector\out// -vec C:\openalpr\train-detector\positive\vecfile.vec -bg C:\openalpr\train-
detector\negative\negative.txt -w 28 -h 20 -numPos 1178 -numNeg 4705 -maxFalseAlarmRate 0.45
-featureType LBP -numStages 13.
13
14
 Quá trình tập huấn vùng biển số
• Kết thúc quá trình huấn luyện thu được các tập tin định dạng *xml gồm: params.xml,
stages0.xml, stages1.xml,…, cascade.xml. Tập tin cascade là tập lưu trữ toàn bộ đặc
trưng LBP của bộ sưu tập mẫu
• Chương trình sẽ quét qua toàn bộ ảnh để so sánh với tập dữ liệu, từ đó tìm ra được
vùng chứa biển số.

15
 KẾT QUẢ VÀ THẢO LUẬN

Dùng chương trình openalprnet-windemo.exe để test

16
17
 KẾT QUẢ VÀ THẢO LUẬN

Kết quả test sơ bộ :

Bộ biển số ô tô Việt Nam 2 dòng:

- Số lượng ảnh đã train: 1137
- Số ảnh đã test: 137

Nhận diện vùng biển số:

• 96/137 ảnh (70.1%) nhận diện được vùng biển số.
• 41/137 ảnh (29.9% ) nhận diện thiếu vùng biển số hoặc không nhận diện
được.

Nhận diện kí tự: chưa nhận điện được chính xác tất cả các ký tự trong biển

18
 KẾT QUẢ VÀ THẢO LUẬN

Nguyên nhân nhận diện ảnh không chính xác:

• Góc nghiêng của ảnh đầu vào quá lớn
• Số lượng ảnh dùng để train còn ít
• Độ phân giải của ảnh đầu vào thấp
• Ảnh hưởng của đèn pha oto khi chụp ảnh gây lóa ảnh.
• Biển số xe quá cũ vướng bụi bẩn hoặc đã bị độ thay đổi hình
dạng

Biện pháp khắc phục:

• Thu thập thêm ảnh để training
• Tăng chất lượng ảnh
• Hạn chế ảnh chụp khi đèn pha oto còn bật để tránh lóe sáng
• Thiết kế khu vực chụp biển số tối ưu.

19
 Kết Luận
Kết luận:
• Kết quả nhận diện được vùng biển số nhưng độ chính xác chưa
cao ( 70% )

• Quá trình nhận dạng kí tự cần phải nghiên cứu thêm để nhận
dạng đúng kí tự khi ứng dụng nhận dạng biển số ở Việt Nam.

Hướng phát triển trong thời gian tới:

• Hoàn thiện cơ sở diện liệu và nâng cao độ chính xác khi nhận
dạng biển số việt nam

• Nghiên cứu luyện tập để nhận diện đúng ký tự trong biển số xe.

• Thiết kế giao diện phần mềm đầy đủ để tạo thành sản phẩm hoàn
chỉnh (kết hợp nhận diện được cả biển 1 dòng và biển 2 dòng).
20
CẢM ƠN CÁC THẦY CÔ ĐÃ THEO DÕI

21