HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY

SCHOOL OF ELECTRICAL AND

ELECTRONIC ENGINEERING

-----□□□□-----

BÁO CÁO THỰC TẬP KỸ THUẬT

Nguyễn Minh Quân 20207984 ET-LUH K65

Đơn vị tiếp nhận: Công ty Cổ phần Công nghệ Công nghiệp Bưu
chính Viễn thông (VNPT Technology)

Hanoi, 8-2023
Project I

Đánh giá quyển báo cáo

Họ và tên Sinh viên:................................................ MSSV:…………………

Tên báo cáo: ................................... ................................... ...................................

ET-LUH K65
Project I

LƯỢC SỬ HIỆU CHỈNH

Version Thực hiện bởi Ngày hiệu Đươc Ngày thông Lý do

# chỉnh thông qua qua

bởi

1.0 <mm/dd/yy> Bản nháp thiết kế đầu tiên

1.1

1.2

1.3

ET-LUH K65
Project I

Lời nói đầu

Trong kỳ thực tập kỹ thuật của học kỳ 2022, em đã có cơ hội tiếp xúc với một
loạt công nghệ đa dạng, bao gồm máy chủ, phần mềm, thuật toán Machine Learning
và Deep Learning, hệ thống IP Camera, cùng với kỹ thuật xử lý dữ liệu trên hệ điều
hành Linux CentOS. Thời gian này đã mở ra một tầm nhìn mới về thực tế doanh
nghiệp, giúp em áp dụng kỹ năng xử lý tình huống, tìm kiếm thông tin và kiến thức
từ trường học vào thực tế. Kỳ thực tập này đã đem lại cho em không chỉ những kỹ
năng mới mà còn một cách suy nghĩ sáng tạo hơn, cùng với việc rèn luyện sự kỷ
luật để đối mặt với các thách thức trong quá trình học và làm việc. Trong vòng hai
tháng thực tập tại VNPT Technology, em đã hưởng ứng sự hỗ trợ chân thành từ
đồng nghiệp cùng các cán bộ của VNPT Technology. Nhờ sự hỗ trợ này, em đã
nhanh chóng làm quen với tài liệu kỹ thuật, cải thiện hoạt động phần mềm với ít lỗi
hơn và nắm vững phương pháp tìm kiếm thông tin. Thêm vào đó, hướng dẫn chi tiết
từ các anh chị nhân viên đã giúp em hiểu rõ hơn về các công nghệ, công cụ kỹ thuật
cần thiết và vai trò của chúng trong bối cảnh làm việc thực tế. Nhờ đó, em đã biết
cách tập trung vào những công nghệ thực sự quan trọng. Sự đồng đội tốt của nhóm
thực tập cũng đã chung tay hỗ trợ em, tạo điều kiện cho sự tiến bộ chung của tất cả.

ET-LUH K65
Project I

Contents
Chương 1. Giới thiệu về Công ty................................................................................7
1.1 Giới thiệu chung................................................................................................7
1.2. Lĩnh vực hoạt động...........................................................................................7
1.3. Sứ mệnh............................................................................................................8
1.4. Giá trị cốt lõi.....................................................................................................8
1.5. Triết lý kinh doanh...........................................................................................9
1.6. Cơ cấu tổ chức..................................................................................................9
Chương 2. Nội dung thực tập....................................................................................12
2.1 Các vị trí công việc trong công ty...................................................................12
2.1.1 Vị trí Phát triển phần mềm hệ thống nhúng.............................................12
2.2.2 Backend Developer..................................................................................13
2.2.3 Fresher......................................................................................................13
Chương 3. Phân tích và triển khai dự án...................................................................15
3.1 Mục đích và đối tượng sản phẩm....................................................................15
3.1.1 Mục đích đề tài.........................................................................................15
3.1.2 Đối tượng sử dụng....................................................................................15
3.1.3 Yêu cầu chức năng và phi chức năng.......................................................15
3.1.4 Phạm vi đề tài...........................................................................................16
3.2 Yêu cầu bài toán..............................................................................................16
3.3 Tìm hiểu và lựa chọn mô hình.........................................................................17
3.3.1 So sánh Machine Learning và Deep Learning.........................................17
3.3.2 Tìm hiểu và so sánh một số model Deep Learning..................................18
3.3.3 Edge AI và Tiny Machine Learning.........................................................19
3.3.4 Giới thiệu thuật toán FOMO....................................................................20
3.3.5 Lựa chọn dataset...........................................................................................23
Chương 4. Thử nghiệm và kết quả............................................................................24

ET-LUH K65
Project I

4.1. Chọn lọc ảnh phù hợp trong dataset và triển khai model trên PC..................24
4.1.1 Chọn lọc ảnh trong dataset.......................................................................24
4.1.2 Kết quả.....................................................................................................24
Chương 5. Nhận xét, đề xuất.....................................................................................27
5.1 Ưu điểm...........................................................................................................27
5.2 Nhược điểm.....................................................................................................27
5.3 Đề xuất............................................................................................................27

ET-LUH K65
Project I

Chương 1. Giới thiệu về Công ty

1.1 Giới thiệu chung

VNPT Technology là đơn vị chủ lực của Tập đoàn VNPT trong lĩnh vực Công
nghệ; Công nghiệp Điện tử Viễn thông; Công nghệ thông tin; Truyền thông và Công
nghiệp nội dung số.
Tính đến thời điểm hiện nay, VNPT Technology đã cho ra thị trường trên 10 triệu
sản phẩm bao gồm các thiết bị viễn thông, thiết bị điện tử tiêu dùng. Bên cạnh đó,
thị trường quốc tế cũng được đẩy mạnh với việc xuất khẩu sản phẩm sang một số thị
trường tiềm năng như Lào, Campuchia, Myanmar, Indonesia, Nepal…
1.2. Lĩnh vực hoạt động
VNPT Technology hoạt động trong các lĩnh vực: Nghiên cứu phát triển, Sản
xuất Công nghệ Công nghiệp; Kinh doanh quốc tế; Thương mại & Dịch vụ kỹ thuật.

 Nghiên cứu phát triển sản phẩm công nghệ & ODM: Là hoạt động cốt lõi
của Công ty nhằm tạo ra những giá trị từ tri thức, tạo ra tài sản trí tuệ và hàng
hóa dịch vụ với hàm lượng công nghệ cao. Nghiên cứu và phát triển các công
nghệ lõi trong 5 lĩnh vực: Băng rộng cố định, băng rộng không dây, IoT, công
nghệ 5G và Chuyển đổi số nhằm tạo ra những sản phẩm toàn diện từ Phần

ET-LUH K65
Project I

cứng/Thiết bị, nền tảng cho tới các ứng dụng người dùng. Mục tiêu 2025, trở
thành nhà nghiên cứu phát triển thiết kế gốc.
 Sản xuất thiết bị công nghệ công nghiệp & EMS: Các sản phẩm tạo ra từ
quá trình nghiên cứu và phát triển, được sản xuất hàng loạt qua hoạt động sản
xuất công nghiệp điện tử đáp ứng nhu cầu thị trường trong và ngoài nước. Bên
cạnh đó dịch vụ sản xuất điện tử - EMS được mở rộng giúp Công ty tận dụng
được năng lực và hạ tầng sẵn có đồng thời tham gia sâu rộng hơn vào chuỗi
cung ứng toàn cầu.
 Tích hợp hệ thống mạng viễn thông, Công nghệ thông tin: Với gần 30 năm
kinh nghiệm tích hợp các hệ thống lớn như mạng Viễn thông, Công ty xác
định trở thành đơn vị dẫn đầu trong lĩnh vực tích hợp hệ thống mạng Viễn
thông và Công nghệ thông tin. Hoạt động tích hợp hệ thống toàn diện từ Phân
tich, Xây dựng giải pháp tổng thể, Thiết kế, Triển khai và Đào tạo chuyển
giao.
 Thương mại, dịch vụ kỹ thuật ICT trong nước và quốc tế: Hoạt động kinh
doanh phát triển thị trường nhằm cung cấp các sản phẩm phẩm công nghệ, các
giải pháp tích hợp, dịch vụ kỹ thuật ICT trong nước và quốc tế với các mảng
thị trường bao gồm: Kinh doanh phát triển thị trường truyền thống/các nhà
mạng; Kinh doanh phát triển thị trường Doanh nghiệp và khách hàng cá nhân;
và Kinh doanh phát triển thị trường quốc tế.
 Chuyển đổi số doanh nghiệp SME: Đây là một lĩnh vực mới được xác định
tập trung nghiên cứu và phát triển trong giai đoạn 2020 – 2025, song hành
cùng chiến lược Quốc gia số tới năm 2030. Giúp các doanh nghiệp vừa và nhỏ
thay đổi các phương thức hoạt động nhằm tạo ra các sản phẩm mới, giá trị mới
thông qua việc ứng dụng các bộ giải pháp công nghệ và chuyển dịch vận hành
trên không gian số.

1.3. Sứ mệnh
Sứ mệnh của VNPT Technology là tạo ra các sản phẩm công nghệ chất lượng cao
mang thương hiệu Việt phục vụ mạng viễn thông CNTT cũng như đông đảo cộng
đồng.

1.4. Giá trị cốt lõi

ET-LUH K65
Project I

Nghiên cứu phát triển và cung ứng các sản phẩm công nghệ chất lượng cao
mang thương hiệu Việt trên thị trường, đưa sản phẩm công nghệ thương hiệu Việt
có khả năng cạnh tranh và bắt kịp với xu hướng phát triển công nghệ thông tin trên
thế giới.

Xây dựng văn hóa doanh nghiệp trên cơ sở nền tảng khuyến khích tinh thần làm
việc nhóm (teamworking và cross-teamworking), tích cực chia sẻ thông tin, hỗ trợ
nhau trong công việc, phát huy tinh thần và thế mạnh của VNPT Technology.

Phát triển môi trường làm việc có giá trị nhân văn, minh bạch là cơ sở tạo động lực,
tìm tòi sáng tạo, không ngừng học hỏi trong hoạt động nghiên cứu, phát triển công
nghệ.

Lấy con người làm nòng cốt, tập trung phát triển và đào tạo nhân lực, tạo điều
kiện phát triển đội ngũ CBNV nhiệt huyết, giỏi chuyên môn nghiệp vụ, có năng lực
sáng tạo, tác phong làm việc chuyên nghiệp, có tình thần trách nhiệm cao trong công
việc, xây dựng tập thể đoàn kết nhằm đưa VNPT Technology phát triển bền vững.

1.5. Triết lý kinh doanh

VNPT Technology luôn lấy khách hàng làm trung tâm trong mọi hoạt động sản
xuất kinh doanh của mình, trên cơ sở đảm bảo lợi ích và chia sẻ những khó khăn
cùng với đối tác nhằm mang đến cho khách hàng các sản phẩm, dịch vụ chất lượng
và ngày càng phong phú đáp ứng nhu cầu ngày càng gia tăng của khách hàng.
VNPT Technology luôn xác định đi tiên phong về công nghệ trên cơ sở hợp tác với
các đối tác công nghệ nguồn hàng đầu thế giới nhằm đảm bảo luôn mang đến cho
khách hàng các sản phẩm công nghệ tiên tiến, cập nhật kịp thời các xu hướng phát
triển công nghệ toàn cầu.

1.6. Cơ cấu tổ chức

ET-LUH K65
Project I

 ANSV

Công ty TNHH Thiết bị Viễn thông ANSV được thành lập từ tháng 7 năm 1993
trong quan hệ hợp tác liên doanh giữa Tập đoàn Alcatel (nay là Alcatel-Lucent) với
Tổng công ty Bưu chính Viễn thông Việt Nam (nay là Tập đoàn Bưu chính Viễn
thông Việt Nam).

ANSV tiếp tục phát triển trên các lĩnh vực hoạt động truyền thống từ hơn 18 năm
của mô hình liên doanh, đồng thời phát huy những kinh nghiệm cũng như nguồn lực
tích lũy từ hơn 18 năm qua, tiếp tục phát triển và mở rộng lĩnh vực hoạt động thúc
đẩy phát triển công nghệ, công nghiệp và dịch vụ viễn thông và công nghệ thông tin.

- Nghiên cứu phát triển, sản xuất và sửa chữa thiết bị điện, điện tử, viễn thông,
công nghệ thông tin và truyền thông, phát triển công nghiệp nội dung số.
- Kinh doanh dịch vụ viễn thông, công nghệ thông tin và truyền thông, kinh
doanh công nghiệp nội dung số.
- Kinh doanh sản phẩm điện, điện tử, viễn thông, công nghệ thông tin và
truyền thông;
- Khảo sát, tư vấn, thiết kế, xây dựng, lắp đặt, bảo dưỡng và hỗ trợ kỹ thuật các
công trình viễn thông, công nghệ thông tin và truyền thông.
- Tổng thầu các công trình viễn thông, công nghệ thông tin và truyền thông.
- Tư vấn, nghiên cứu, đào tạo, dạy nghề và ứng dụng tiến bộ khoa học, công
nghệ trong lĩnh vực điện, điện tử, viễn thông, công nghệ thông tin và truyền
thông.
- Kinh doanh xuất nhập khẩu, cung ứng vật tư thiết bị cho các công trình thuộc
lĩnh vực viễn thông, công nghệ thông tin và truyền thông.
- Sản xuất, lắp ráp và thực hiện các dịch vụ liên quan đến các hệ thống thiết bị
viễn thông của Alcatel-Lucent và các hệ thống thiết bị viễn thông và công
nghệ thông tin thế hệ mới khác.

ET-LUH K65 10
Project I

 VIVAS

Công ty TNHH cung cấp giải pháp Dịch vụ Giá trị Gia tăng (VIVAS) được thành
lập tháng 7/2011, trực thuộc Công ty Cổ phần Công nghệ Công nghiệp Bưu chính
Viễn thông (VNPT Technology), đơn vị thành viên của Tập đoàn Bưu chính Viễn
thông Việt Nam (VNPT). VIVAS tự hào là công ty cung cấp các dịch vụ và giải
pháp giá trị gia tăng hàng đầu Việt Nam.

Với nguồn nhân lực vốn có và kinh nghiệm làm việc nhiều năm trong lĩnh vực viễn
thông và công nghệ thông tin, VIVAS tự hào giới thiệu ngành nghề kinh doanh

- Nghiên cứu phát triển giải pháp viễn thông, công nghệ thông tin và truyền
thông, phát triển công nghiệp nội dung số.
- Kinh doanh dịch vụ viễn thông, công nghệ thông tin và truyền thông, kinh
doanh công nghiệp nội dung số.
- Kinh doanh dịch vụ thanh toán online và thanh toán bằng thiết bị di động
- Dịch vụ tư vấn chiến lược, xây dựng kế hoạch triển khai các chiến dịch
Marketing, truyền thông, quảng cáo, nghiên cứu thị trường.
 TELEQ

Công ty TNHH sản xuất thiết bị viễn thông (TELEQ) – một thành viên của VNPT
Technology trong lĩnh vực Công nghệ; Công nghiệp Điện tử viễn thông – Công
nghệ thông tin; truyền thông và công nghiệp nội dung số. TELEQ là đơn vị cung
cấp vật tư, thiết bị, tư vấn & triển khai các giải pháp viễn thông và công nghệ thông
tin.

TELEQ chủ yếu hoạt động trong các lĩnh vực:

- Viễn thông và công nghệ thông tin:

 Cung cấp vật tư, thiết bị viễn thông như thiết bị truyền dẫn, thiết bị định
tuyến thông minh, thiết bị chuyển mạch lớp 2, nguồn, cáp quang, phụ
kiện quang,…
 Cung cấp dịch vụ: thiết kế, cung cấp vật tư , lắp đặt, giám sát lắp đặt,
kiểm tra hệ thống và đưa vào vận hành khai thác. Quản lý dự án, hỗ trợ
kĩ thuật, bảo hành, bảo trì hệ thống viễn thông, công nghệ thông tin,
truyền thông, điều khiển tự động.
 Hợp tác với các đối tác, nghiên cứu và cung cấp giải pháp về mạng viễn
thông, mạng công nghệ thông tin, hệ thống phần mềm, phần cứng IoT

ET-LUH K65 11
Project I

cho các ngành Nông Nghiệp, Y tế, Giao thông, Năng lượng,…
- Giải pháp giao thông, an ninh:

Tư vấn, triển khai, lắp đặt hệ thống giám sát tín hiệu giao thông, tốc độ để giám sát
và xử lý các phương tiện vi phạm, an ninh khu vực một cách tối ưu và hiệu quả.

ET-LUH K65 12
 Project I

Chương 2. Nội dung thực tập

This chapter aims to analyze the needs of businesses and the currently available
vibration detection products in the market, while also constructing a model for a
vibration detection system.

2.1 Các vị trí công việc trong công ty

2.1.1 Vị trí Phát triển phần mềm hệ thống nhúng
 Mô tả công việc:
- Thiết kế và phát triển phần mềm nhúng trên nền tảng Linux
- Thực hiện unit test
- Tối ưu hệ thống phần mềm nâng cao trải nghiệm người dùng và khả năng mở
rộng
- Tích hợp hệ thống
- Thực hiện xây dựng giải pháp tính năng
- Thực hiện thiết kế, xây dựng tài liệu thiết kế
- Thực hiện cross review source code
- Xây dựng tài liệu hướng dẫn phát triển
- Thực hiện các công việc khác theo phân công của quản lý trực tiếp
 Yêu cầu:
- Trình độ Đại học chuyên ngành Công Nghệ Thông Tin, Điện Tử Viễn Thông,
… (Chấp nhận sinh viên sắp ra trường)
- Có kinh nghiệm lập trình nhúng trên nền tảng Linux là một lợi thế
- Có hiểu biết về Cloud NFV, SDN
- Nắm vững và sử dụng thành thạo C/C++ và shell
- Có kiến thức và khả năng lập trình nâng cao : socket, multi thread, child
process, inter process communication
- Hiểu biết tốt về mạng TCP/IP và một số chuẩn giao thức mạng
(HTTP/TCP/UDP)
- Có kiến thức và kinh nghiệm làm việc với Linux kernel, Drivers
- Có kiến thức cơ bản về networking
- Tư duy lập trình tốt, biết mô tả luồng dữ liệu, tuần tự. Có kiến thức về Design
Pattern

ET-LUH K65 13
Project I

- Có khả năng đọc hiểu tài liệu Tiếng Anh chuyên ngành
 Kỹ năng mềm:
- Khả năng làm việc nhóm và độc lập
- Trung thực, có tinh thần trách nhiệm cao, khả năng chịu áp lực công việc tốt.
- Khả năng giao tiếp, trình bày vấn đề ;
- Cost of downtime as a percentage of revenue
- Statistics on the number Manufacturers are focused on predictive maintenance

2.2.2 Backend Developer

 Mô tả công việc
Kỹ sư phát triển phần mềm được tham gia phát triển những sản phẩm quy
mô lớn như nền tảng ứng dụng chuyển đổi số doanh nghiệp, sàn thương mại
điện tử B2B Marketplace.
 Yêu cầu kinh nghiệm
- Tốt nghiệp ĐH chuyên ngành CNTT và ĐTVT hoặc tương đương.
- Chấp nhận đào tạo ứng viên vừa tốt nghiệp ra trường đại học chuyên
ngành CNTT và Điện tử viễn thông.
- Có khả năng lập trình một trong các ngôn ngữ Java, Python, PHP, C# ..
- Quen thuộc với các framework lập trình backend phổ biến ( như
Spring, .Net, Django, Laravel, NodeJs …)
- Từng làm việc với các Persistence Database (MySQL, PostgreSql …)
hoặc NoSQL
- Kỹ năng làm việc độc lập, tự quản lý thời gian và công việc
- Kỹ năng làm việc nhóm
- Kỹ năng tìm kiếm thông tin và tìm hiểu những kiến thức mới
- Tinh thần cầu tiến, đương đầu với những thách thức, dự án lớn
- Ưu tiên: Ít nhất 1 năm kinh nghiệm lập trình Java, Python, PHP, C# ..
 Đãi ngộ
- Xét lương 2 lần/năm, 16 tháng lương/1 năm
- Tiếp cận CN mới nhất IoT, 5G, Cloud, Big Data
- Môi trường trẻ trung, chuyên nghiệp, ăn trưa free

2.2.3 Fresher

ET-LUH K65 14
Project I

 Giới thiệu
Là chương trình tuyển dụng Fresher lớn nhất tại VNPT Technology được tổ chức
thường niên dành cho các bạn sinh viên khối ngành CNTT và ĐTVT trên toàn
Quốc. VNPT FRESHER 2023 mong muốn sẽ đem đến cho các bạn cơ hội “khám
phá” và “phát triển” trong môi trường năng động và đầy thử thách.
 Quyền lợi
- Nhận lương lên đến 15tr/tháng tùy vị trí công việc ngay từ thời gian đào tạo.
- Tham gia miễn phí các khóa đào tạo chuyên môn & kỹ năng mềm.
- Tham gia hỗ trợ phát triển các sản phẩm với hàng chục triệu người dùng.
- Được tư vấn & định hướng nghề nghiệp từ các Mentors - những chuyên gia
hàng đầu trong lĩnh vực CNTT.
- Cơ hội được tuyển dụng chính thức tại VNPT Technology sau thời gian đào
tạo với mức thu nhập năm hấp dẫn.
 Yêu cầu
- Không yêu cầu kinh nghiệm
- Là sinh viên đã/sắp tốt nghiệp chuyên ngàn Công nghê thông tin, Điện tử
viễn thông, Toán tin, Khoa học máy tính, Kỹ thuật phần mềm, Ứng dụng di
động,... hoặc các chuyên ngành có liên quan.
- Có thể tham gia đào tạo/làm việc Full-time từ thứ 2 - thứ 6.
- GPA tích lũy từ khá trở lên
- Đặc biệt ưu tiên và xem xét tuyển thẳng đối với các ứng viên có điểm trung
bình (GPA/CPA) đạt 3.0/4.0 trở lên hoặc tham gia và đạt giải trong các cuộc
thi học thuật về lập trình, toán học, công nghệ, Olympic Tin học, ACM/ICPC
hoặc tham gia đề tài nghiên cứu khoa học đạt giải từ cấp trường trở lên.
- Ham học hỏi, máu lửa, nhiệt huyết, sẵn sàng chinh chiến đối đầu với thử
thách khó khăn tại các dự án phần mềm lớn. Tuân thủ kỷ luật & có trách
nhiệm với công việc.
- Ưu tiên ứng viên có khả năng đọc hiểu tiếng Anh tốt.

ET-LUH K65 15
 Project I

Chương 3. Phân tích và triển khai dự án

3.1 Mục đích và đối tượng sản phẩm
Ở kỳ thực tập này, em đã được học hỏi và trải nghiệm các quy trình làm ra sản
phẩm IP Camera tích hợp chức năng nhận dạng người sử dụng các model Deep
Learning và phương pháp Tiny Machine Learning để tối ưu hóa dung lượng, tốc độ,
và độ chính xác của sản phẩm.
3.1.1 Mục đích đề tài
Trộm cắp vặt là 1 vấn đề nhức nhối hiện nay. Không ít gia đình, hộ kinh doanh
hay cửa hàng bị mất tài sản vì bị trộm cắp. Một phần không nhỏ những kẻ xấu này
là những tên trộm kém chuyên, và chúng nảy ra ý định trộm cắp vì sự sơ hở, mất tập
trung của chủ nhà. Để giải quyết vấn đề này, hệ thống IP Camera tích hợp chức
năng nhận dạng và cảnh báo kẻ đột nhập được ra đời

3.1.2 Đối tượng sử dụng

Đối tượng hướng tới: Gia đình, hộ kinh doanh, cửa hàng

3.1.3 Yêu cầu chức năng và phi chức năng

3.1.3.1 Yêu cầu chức năng

- Ghi hình, lưu trữ : Có thể xem video trực tiếp, lưu trữ, xem lại video tối
đa 30 ngày
- Phát hiện đối tượng: Có thể nhận biết khoanh vùng kẻ xâm nhập
( không bị nhầm với chó, mèo, lá cây, hay những vật thể khác)
- Cảnh báo: Phát ra âm thanh cảnh báo khi phát hiện kẻ xâm nhập và gửi
thông báo đến người dùng
- Hẹn giờ: Người dùng có thể bật tắt, cài đặt khung giờ hệ thống cảnh báo

3.1.3.2 Yêu cầu phi chức năng

- Nguồn điện: Có thể cắm trực tiếp nguồn điện 220V
- Khả năng chống chịu: Có khả năng chống bụi bẩn, chống nước
- Nhiệt độ: Hoạt động trong khoảng nhiệt độ 0 => 60 độ C
- Kết nối: Kết nối WIFI, BLUETOOTH

ET-LUH K65 16
Project I

3.1.1.3 Sơ đồ khối hệ thống

Hình 3.1 Sơ đồ khối hệ thống IP Camera

IP Camera hoạt động bằng cách truyền tải video trực tiếp, cung cấp khả năng
theo dõi thời gian thực. Hệ thống này được trang bị khả năng phát hiện xâm nhập, tự
động nhận biết sự di chuyển hoặc hoạt động không bình thường trong khung hình.
Khi phát hiện có kẻ xâm nhập, hệ thống sẽ kích hoạt chuông cảnh báo để cảnh báo
người dùng hoặc gửi thông báo tới ứng dụng trên thiết bị di động. Những đoạn
video đặc biệt, như khi xảy ra sự xâm nhập hoặc vật thể di chuyển, sẽ được lưu trữ
một cách an toàn vào thẻ nhớ SD Card hoặc đồng bộ lên dịch vụ đám mây. Qua ứng
dụng trên hệ điều hành Android hoặc iOS, người dùng có thể xem video trực tiếp từ
camera, nhận thông báo cảnh báo khi có kẻ xâm nhập, và thậm chí điều khiển các
chức năng như bật/tắt cảnh báo. Điều này mang lại khả năng theo dõi và quản lý an
ninh một cách tiện lợi và hiệu quả.

3.1.4 Phạm vi đề tài

Tuy nhiên, vì thời gian của kỳ thực tập có hạn, chúng em đã tập trung vào phần
tìm hiểu, thử nghiệm và phát triển các model và thử nghiệm trên một máy tính
nhúng bất kỳ,

3.2 Yêu cầu bài toán

- Chạy trên Jetson Nano với FPS = 5

ET-LUH K65 17
Project I

- Độ chính xác >= 50% trên tập Human Detection Dataset

- Bộ nhớ sử dụng < 20 MB
- Kích thước Model < 10 MB
- Xử lý 1 luồng đầu vào

3.3 Tìm hiểu và lựa chọn mô hình

Để thuận tiện cho việc phát triển sản phẩm về cả độ chính xác và mức độ tối ưu hóa
về tốc độ và dung lượng. Em đã nghiên cứu và tìm hiểu về các thuật toán Machine
Learning và các mô hình Deep Learning có sẵn để từ đó đưa ra kết luận về việc lựa
chọn mô hình và định hướng phát triển phù hợp nhất.

3.3.1 So sánh Machine Learning và Deep Learning

Hình 3.3.1a So sánh Machine Learning và Deep Learning

Machine Learning và Deep Learning là hai lĩnh vực quan trọng trong lĩnh vực Trí
tuệ Nhân tạo. Machine Learning là phương pháp giúp máy tính học từ dữ liệu và cải
thiện hiệu suất theo thời gian. Deep Learning là một phân nhánh của Machine
Learning, tập trung vào việc xây dựng các mạng neuron nhân tạo sâu có khả năng
học thông qua việc tự điều chỉnh trọng số của chúng. [1]

Sự khác nhau chính giữa hai khái niệm này nằm ở mức độ phức tạp và khả năng tự
động hóa. Trong Machine Learning, các thuật toán có thể hoạt động tốt với dữ liệu
đối kháng nhưng cần nhiều sự can thiệp từ con người để chọn và tinh chỉnh các đặc
trưng quan trọng. Trong khi đó, Deep Learning có khả năng tự động hóa việc trích

ET-LUH K65 18
Project I

xuất đặc trưng, cho phép học từ dữ liệu phức tạp hơn và tạo ra các mô hình có hiệu
suất tốt hơn trong nhiều tình huống. Điểm mạnh của Machine Learning nằm ở tính
linh hoạt và khả năng áp dụng rộng rãi cho nhiều ngành công nghiệp. Nó có thể
được sử dụng để giải quyết các vấn đề từ dự đoán tín dụng đến nhận dạng ảnh. Tuy
nhiên, điểm yếu của Machine Learning là cần nhiều sự can thiệp và kinh nghiệm để
chọn và tinh chỉnh các thuật toán và đặc trưng một cách hiệu quả.

Figure 3.3.1 Bảng so sánh Machine Learning và Deep Learning [2]

Dựa trên những sự so sánh trên, em nhận thấy việc sử dụng Deep Learning cho
dự án nhận diện người là một quyết định có lợi. Khả năng tự động hóa quá trình học
đặc trưng giúp mô hình tự tìm hiểu và ứng dụng kiến thức từ dữ liệu huấn luyện
phức tạp. Điều này dẫn đến việc tạo ra các mô hình nhận diện người chính xác và
đáng tin cậy, thậm chí trong những tình huống khó khăn như ánh sáng yếu, góc nhìn
khác nhau, hoặc biến đổi về vẻ ngoại hình.

3.3.2 Tìm hiểu và so sánh một số model Deep Learning

ET-LUH K65 19
Project I

Hình 3.3.2. So sánh các model Deep Learning sử dụng imageNet dataset [3]
Dựa vào bảng so sánh trên, ta có thể thấy MobileNetV2 và MobileNetV3 là 2
mô hình Deep Learning có tốc độ xử lý nhanh và độ chính xác cao và khá tương
đồng với nhau, phù hợp với một hệ thống đòi hỏi cả về độ chính xác và tốc độ xử lý
như dự án IP Camera nhận dạng người.

3.3.3 Edge AI và Tiny Machine Learning

3.3.3.1 Giới thiệu về Edge AI

Hình 3.3.3.1 Giới thiệu Edge AI

Edge AI là việc triển khai các ứng dụng AI trong các thiết bị trên toàn thế giới
vật lý. Nó được gọi là “Edge AI” bởi vì tính toán AI được thực hiện gần người dùng
tại rìa mạng, gần nơi đặt dữ liệu, thay vì tập trung trong cơ sở điện toán đám mây
hoặc trung tâm dữ liệu riêng [4]. Ở dự án lần này, IP Camera là địa diện cho Edge
Device, đặt tại các cửa hàng, nhà của các gia đình để phục vụ tính năng cảnh báo kẻ
xâm nhập.

ET-LUH K65 20
Project I

3.3.3.2 Giới thiệu về Tiny Machine Learning

Hình 3.3.3.2 So sánh TinyML và các thuật toán Machine Learning truyền
thống

Tiny Machine Learning (TinyML) là việc triển khai các mô hình Machine
Learning trực tiếp trên các thiết bị nhỏ và tính toán hạn chế. Điều này mang lại khả
năng học máy và dự đoán thông minh cho cảm biến, thiết bị y tế, và đồng hồ thông
minh. TinyML tối ưu hóa hiệu suất trong tài nguyên nhỏ và tiết kiệm năng lượng.
Tuy nhiên, nó đòi hỏi tối ưu hóa phần cứng và đảm bảo an toàn thông tin [5].
Ở dự án lần này, yêu cầu đặt ra là model phải chạy được trên các CPU yếu hoặc
thậm chí là các vi điều khiển, vậy nên, em đã quyết định sử dụng các model Tiny
ML để phục vụ cho bài toán của mình.

3.3.4 Giới thiệu thuật toán FOMO

Vì thời gian không cho phép, trong kỳ thực tập lần này, chúng em đã tìm hiểu
và chọn lọc một số thuật toán TinyML, trong đó FOMO là một thuật toán TinyML
nổi trội với các đặc điểm như đếm đối tượng, tìm vị trí của đối tượng trong hình ảnh
và theo dõi nhiều đối tượng trong thời gian thực bằng cách sử dụng bộ nhớ và sức
mạnh xử lý ít hơn tới 30 lần so với MobileNet SSD hoặc YOLOv5. Ngoài ra, thuật
toán FOMO hiện nay đã được hỗ trợ tích hợp với một số Deep Learning model nổi
tiếng như Yolov5, SSD-MobileNetV2 và SSD-MobileNetV3 để tạo ra những model
TinyML hoàn chỉnh đáp ứng nhu cầu sử dụng của các nhà phát triển phần mềm.
Ngoài ra, model FOMO phiên bản nhỏ nhất có thể chạy với bộ nhớ nhỏ hơn 100Kb
RAM.

ET-LUH K65 21
Project I

3.3.4.1 FOMO Heat Map

Mỗi 'pixel' trong lớp thứ hai tương ứng một cách đại khái với một khối 4x4
pixel trong lớp đầu vào, và điều thú vị là tính cục bộ được bảo tồn một phần. 'Pixel'
trong lớp 2 tại vị trí (0, 0) sẽ tương đối tương ứng với góc trên bên trái của hình ảnh
đầu vào. Càng đi sâu vào mạng phân loại hình ảnh thông thường, tính cục bộ này
(hoặc "vùng tiếp nhận") càng ít được bảo tồn, cho đến cuối cùng chỉ còn 1 kết quả.
FOMO sử dụng cùng kiến trúc đó, nhưng cắt bớt các lớp cuối của mô hình phân loại
hình ảnh tiêu chuẩn và thay thế lớp này bằng một bản đồ xác suất lớp theo vùng (ví
dụ một bản đồ 4x4 như ở ví dụ trên). Sau đó, nó sử dụng một hàm mất mát tùy
chỉnh buộc mạng bảo toàn tính cục bộ trong lớp cuối cùng. Điều này về cơ bản
mang lại cho chúng ta một biểu đồ nhiệt vị trí của các đối tượng. [5]

Hình 3.3.4.1 Từ ảnh đầu vào tới Heat Map

Độ phân giải của bản đồ nhiệt được xác định bởi vị trí bạn cắt các lớp của
mạng. Đối với mô hình FOMO được đào tạo ở trên (trên chai bia), chúng tôi thực
hiện việc này khi kích thước của bản đồ nhiệt nhỏ hơn 8 lần so với hình ảnh đầu vào
(hình ảnh đầu vào 160x160 sẽ tạo ra bản đồ nhiệt 20x20), nhưng điều này có thể
định cấu hình được. Khi bạn đặt tỷ lệ này thành 1:1, điều này thực sự mang lại cho
bạn khả năng phân đoạn ở cấp độ pixel và khả năng đếm rất nhiều đối tượng nhỏ.

3.3.4.2 Huấn luyện vùng trung tâm

ET-LUH K65 22
Project I

Hình 3.3.4.2 FOMO nhận diện vật thể

Một điểm khác biệt giữa FOMO và các thuật toán phát hiện đối tượng khác là
FOMO không đưa ra các hộp giới hạn (bounding boxes), nhưng việc chuyển từ bản
đồ nhiệt (heat map) sang hộp giới hạn vô cùng đơn giản. Chỉ cần vẽ một khung
xung quanh khu vực được làm nổi bật. [6]
Tuy nhiên, khi thử nghiệm với một số bộ dataset do em tự thu thập, em nhận thấy
rằng việc định rõ hộp giới hạn chỉ là một chi tiết thực thi của các mạng phát hiện đối
tượng khác, và không phải là yêu cầu phổ biến. Thường thì, kích thước của đối
tượng không quan trọng do camera được đặt ở vị trí cố định (và vì thế, kích thước
đối tượng cũng cố định). Thay vào đó, chúng ta chỉ cần biết vị trí và số lượng của
các đối tượng.
Bởi vậy, hiện nay chúng tôi huấn luyện dựa trên tâm của các đối tượng. Điều này
giúp việc đếm các đối tượng gần nhau trở nên đơn giản hơn (mỗi hoạt động trong
bản đồ nhiệt tương ứng với một đối tượng), và kiến trúc tích chập của mạng neuron
đảm bảo rằng chúng ta vẫn quan sát xung quanh tâm để tìm đối tượng.

3.3.4.3 Tìm hiểu platform Edge Impulse

Thuật toán FOMO thuộc quyền sở hữu của Edge Impulse, đây là một platform
cung cấp mọi hướng dẫn, ví dụ, và một số model TinyML phổ biến cho người dùng,
giúp chúng ta có thể nghiên cứu và ứng dụng chúng một cách dễ dàng.

Một số đặc điểm của nền tảng Edge Impulse:

 Edge Impulse là một nền tảng cho phép xây dựng các dự án liên quan
đến học máy trên vi điều khiển [6]
 Có tutorial cho phép lựa chọn thiết bị, vi điều khiển sử dụng, lựa chọn
các model TinyML cho dự án để tiến hành quá trình training và thử
nghiệm ngay trên platform

ET-LUH K65 23
Project I

 Đặc biệt nền tảng này hỗ trợ dùng FOMO tương thích với Mobilenet
V2

Dựa trên các đặc điểm trên, em quyết định sử dụng Platform Edge Impulse vì nền
tảng này vừa hỗ trợ sử dụng model FOMO với MobileNetv2, vừa cho các ví dụ,
hướng dẫn rất cụ thể, phù hợp với nhu cầu bài toán.

3.3.5 Lựa chọn dataset

Dataset được sử dụng trong dự án này là bộ Human Detection Dataset được tải từ
Kaggle.

Hình 3.3.5 Hình ảnh minh họa trích từ Human Detection Dataset

 Dataset gồm hình ảnh cảnh quay CCTV trong nhà cũng như ngoài trời,
trong nhiều điều kiện thời tiết và ánh sáng
 Gồm 559 ảnh có người và 362 ảnh không có người

Lí do em chọn bộ dataset này là vì nó bao gồm một số lượng ảnh vừa đủ cho
một bản sản phẩm thử nghiệm với các trường hợp có người và không có người, phù
hợp với nhu cầu của bài toán

ET-LUH K65 24
Project I

Chương 4. Thử nghiệm và kết quả

4.1. Chọn lọc ảnh phù hợp trong dataset và triển khai model trên PC
4.1.1 Chọn lọc ảnh trong dataset

Vì thời gian có hạn, em chỉ có đủ thời gian để gán nhãn 225 ảnh (76%
Training, 24% Test) tập trung vào các ảnh đông người và ảnh có nhiều người
chồng chéo lên nhau.
4.1.2 Kết quả

Hình 4.1.2a. Kết quả model testing

Dựa vào kết quả trên, ta có thể thấy đây là một chỉ số độ chính xác khá tốt
(66.28%) dù hệ thống thử nghiệm với bộ dataset chỉ 225 ảnh. Như vậy, theo tính
chất của Deep Learning, ta có thể thấy rằng bổ sung số lượng ảnh cho bộ dataset này
có thể sẽ là một giải pháp hiệu quả giúp tăng độ chính xác của model.

Hình 4.1.2b. Kết quả model testing

Kết quả trên cho thấy thời gian để model xử lý 1 hình ảnh bất kỳ trong bộ dataset là
3ms với lượng RAM cao nhất được sử dụng là 239.1Kb, một kết quả khá tốt và đảm

ET-LUH K65 25
Project I

bảo nhu cầu tiết kiệm năng lượng hệ thống và xử lý với tốc độ cao.

Hình 4.1.2.c Minh họa trường hợp nhận diện đúng và đủ

Dựa vào ví dụ thử nghiệm trên, ta có thể thấy model có thể phát hiện được
người ở trong các tư thế khác nhau như cúi, ngồi, hoặc phân biệt được trẻ con và
người lớn. Các ưu điểm này sẽ góp phần rất lớn cho việc phát triển model cho hệ
thống IP Camera phát hiện người sau này.

Hình 4.1.2.d Minh họa một số trường hợp nhận diện không đủ

Dựa vào ví dụ trên, ta có thể thấy model đã gặp một chút vấn đề trong việc nhận
dạng ảnh người bị chồng chéo lên nhau. Đây vốn là một vấn đề khó của các model
AI, trong thời gian tới, em sẽ tìm cách để cải thiện và tối ưu hóa model để khắc phục
được vấn đề này.

ET-LUH K65 26
Project I

Hình 4.1.2c Kết quả chạy thử nghiệm trên Jetson Nano
Dựa vào kết quả trên, ta có thể thấy thời gian để Jetson Nano xử lý 1 bức ảnh
với model được triển khai khá giống với dự đoán của Edge Impulse sau khi training
trên platform. Tuy nhiên, FPS của hệ thống này khi livestream còn rất thấp, ảnh
hưởng tới kết quả nhận dạng, em sẽ tìm cách để khắc phục tình trạng này trong thời
gian tới.

ET-LUH K65 27
Project I

Chương 5. Nhận xét, đề xuất

5.1 Ưu điểm
 Môi trường làm việc động, đầy thách thức để phát triển kỷ luật cá nhân và
khả năng tự tìm kiếm thông tin.
 Thời gian thực tập linh hoạt, cho phép điều chỉnh lịch làm việc theo phù hợp
với cá nhân.
 Các đồng nghiệp thân thiện, hỗ trợ nhiệt tình đồng hành cùng người thực tập.
 Người hướng dẫn rất nhiệt tình chỉ bảo, đưa ra các lời khuyên hữu ích giúp
em có thể hoàn thành tốt phần việc của mình và học hỏi được thêm rất nhiều
kiến thức.
 Các tài liệu kỹ thuật bằng tiếng Anh hỗ trợ quá trình nâng cao khả năng ngoại
ngữ. Việc thực tập tại doanh nghiệp mang lại thông tin hữu ích về thực tế
công việc, yêu cầu của doanh nghiệp và các thách thức cần được giải quyết
bởi các kỹ sư.

5.2 Nhược điểm

Thời gian thực tập quá ngắn khiến kiến thức thu thập từ doanh nghiệp chưa thực
sự thể hiện trong tình huống thực tế.

5.3 Đề xuất
Em hi vọng trường học và doanh nghiệp có thể tạo điều kiện để sinh viên có
thời gian thực tập kéo dài hơn, từ đó nâng cao kỹ năng, kinh nghiệm và cơ hội tham
gia vào các dự án thực tế.

ET-LUH K65 28
Project I

Tài liệu tham khảo

[ [Online]. Available: https://glints.com/vn/blog/deep-learning-la-gi/#:~:text=%C6%AFu

1 %20%C4%91i%E1%BB%83m%20l%E1%BB%9Bn%20nh%E1%BA%A5t%20c
] %E1%BB%A7a,c%C3%A1c%20doanh%20nghi%E1%BB%87p%20s%E1%BB%AD
%20d%E1%BB%A5ng.

[ [Online]. Available: https://tanca.io/blog/deep-learning-la-gi-hieu-tong-quan-ve-deep-

2 learning-va-ung-dung.
]
[ [Online]. Available: https://machinethink.net/blog/mobile-architectures/.
3
]
[ [Online]. Available:
4 https://www.sciencedirect.com/science/article/pii/S2667345223000196.
]
[ [Online]. Available: https://docs.edgeimpulse.com/https://docs.edgeimpulse.com/fomo-
5 object-detection-for-constrained-devices.
]
[ [Online]. Available: https://www.tinmoiz.com/fomo-la-mot-mang-no-ron-tinyml-de-
6 phat-hien-doi-tuong-trong-thoi-gian-thuc-695025/.
]
[ [Online]. Available: https://doc.qt.io/qtcreator/creator-debugging.html?
7 fbclid=IwAR0wbexIIyZAPWLqAFVa7XDzU1GNrYhHNDRWshnlSIhFOblPtOgW5B
] SIPHM.
[ S. B. C. S. D. E. A. W. C. K. M. B. M. M. M. P. J. T. D. G. A. M. L. M. D. B. A. J. J. R.
8 V. Hymel, in .: Edge impulse: An mlops platform for tiny machine.
]
[ [Online]. Available: https://www.edgeimpulse.com/.
9
]

ET-LUH K65 29
Project I

ET-LUH K65 30