04 - Bai 4 Lap Trinh Ung Dung Jetson Xavier

THỊ GIÁC MÁY TÍNH NỘI DUNG MÔN HỌC
www.tvhungdhcn@gmail.com
(COMPUTER VISION)
Bài 1: Hướng dẫn ban đầu 5T
Bài 4: Bài 2: Hướng dẫn sử dụng YOLO8 15T
10T
LẬP TRÌNH ỨNG DỤNG JETSON XAVIER
Bài 3: Lập trình ứng dụng NEON-2000-JNX
ThS: TRẦN VĂN HÙNG
Email: tranvanhung@iuh.edu.vn
Bài 4: Lập trình ứng dụng jetson xavier 15T
E-Learning: Trần Văn Hùng
ocwfet.iuh.edu.vn
Company Bài 5: Lập trình ứng dụng jetracer AI kit 15T
LOGO
Company Logo
LẬP TRÌNH ỨNG DỤNG JETSON XAVIER LẬP TRÌNH ỨNG DỤNG JETSON XAVIER
www.tvhungdhcn@gmail.com www.tvhungdhcn@gmail.com
Lập trình nhận dạng điều khiển qua chân I/O

• Nội dung bài 3:
 Lập trình nhận dạng điều khiển qua chân I/O
 Lập trình nhận dạng điều khiển qua chân I2C
 Lập trình nhận dạng điều khiển qua chân UART
Company Logo Company Logo

LẬP TRÌNH ỨNG DỤNG JETSON XAVIER Jetson
LẬP TRÌNH ỨNG xavier JETSON XAVIER
DỤNG
Jetson xavier Jetson nano
Lập trình trên Jetson xavier Lập trình trên Jetson xavier
 Nhận dạng và phân loại: (gợi ý như sau)  Nhận dạng: theo các bài đã gợi ý
 Nhận dạng hình dạng, màu sắc, khoảng cách  Phần điều khiển: xuất tín hiệu tương ứng với kết quả
 Nhận dạng tư thế, cử chỉ trạng thái con người nhận dạng được ra led, động cơ DC và động cơ servo
 Nhận dạng dung các thuật toán deep learning theo 3 cách giao tiếp sau
 Chân I/O  xuất tín hiệu ra led, motor DC, Motor servo
https://mlab.vn/index.php?_route_=3034564-nvidia-jetson-nano-developer-kit-  Chân I2C  hiển thị lên LCD I2C hoặc OLED I2C
b01-upgrade-2-lanes-csi.html
 Chân UART  điều khiển cánh tay máy
Module giao tiếp Jetson LCD: 55x93; OLED: 30x31.5

Mạch driver RC servo: 40x58; Cầu H: 37x37
Module giao tiếp Jetson
Motor: 15x15; Module led: 20x48
RC Servo 9G: 21x12x22mm
Lập trình trên Jetson xavier

Lập trình trên Jetson xavier  Chân I/O  xuất tín hiệu ra led
 Chân I/O  xuất tín hiệu ra led import RPi.GPIO as GPIO while True:
import time GPIO.output(Led1_pin, GPIO.HIGH) # led1 on
time.sleep(1)
# Pin Definitons: GPIO.output(Led2_pin, GPIO.HIGH) # led2 on
led1_pin = 19 # BOARD pin 16 time.sleep(1)
led2_pin = 21 # BOARD pin 17 GPIO.output(Led3_pin, GPIO.HIGH) # led3 on
time.sleep(1)
led3_pin = 23 # BOARD pin 18
# Pin Setup:
gpio16: chân 19 GPIO.setmode(GPIO.BOARD) # BOARD pin-numbering scheme
Gpio17: chân 21 GPIO.setup(led1_pin, GPIO.OUT) # LED1 pin set as output
Gpio18: chân 23 GPIO.setup(led2_pin, GPIO.OUT) # LED2 pin set as output
GND: chân 6 GPIO.setup(led3_pin, GPIO.OUT) # LED3 pin set as output
 Chân I/O  xuất tín hiệu ra Motor DC  Chân I/O  xuất tín hiệu ra Motor Servo
• Nâu: GND (0VDC)

• Đỏ: VCC (6~7.4VDC)
• Cam: dây cấp xung.
 Chân I2C  hiển thị lên LCD I2C  Chân I2C  hiển thị lên LCD I2C
VCC: 2.2~5.5VDC
GND: 0VDC
SCL: xung Clock
Thông số kỹ thuật: SDA: dữ liệu vào Data in
• Điện áp hoạt động: 5VDC

• Chuẩn giao tiếp: Digital I2C
• Các chân giao tiếp: SDA (Serial Data) / SCL
(Serial Clock)
• Điện áp giao tiếp: TTL 3.3/5VDC
• Loại LCD: LCD2004 (4 dòng, mỗi dòng 20 ký tự)
• IC giao tiếp LCD sang I2C: PCF8574T(A)
• Chuẩn kết nối: Conector XH2.54 4Pins Company Logo Company Logo
Module giao tiếp Jetson SDA

Lập trình trên Jetson xavier
SCL
 Chân I2C  hiển thị lên LCD I2C
GND
Chân VCC trên

bus đánh dấu
mực xanh
LCD I2C (20x4) Jetson Nano
Chân GND trên GND 0VDC
bus đánh dấu VCC 5V hoặc 3.3V
mực xanh SCL 5 hoặc D3 (SCL)
SDA 3 hoặc D2 (SDA)
VCC
Mạch giao tiếp
SDA LCD1602, LCD1604,
SCL LCD2004 sang I2C sử
dụng các loại LCD có
driver HD44780 Company Logo
 Chân I2C  hiển thị lên LCD I2C  Chân I2C  hiển thị lên LCD I2C
LCD2004 IC giao tiếp LCD LCD2004 IC giao tiếp LCD
sang I2C: PCF8574TA địa
Cài thư viện: RPi_GPIO_i2c_LCD
sang I2C: PCF8574T địa
chỉ của bus I2C là 0x27 chỉ của bus I2C là 0x3F
from RPi_GPIO_i2c_LCD import lcd
Cài thư viện: RPi_GPIO_i2c_LCD from time import sleep
## Address of backpack
from RPi_GPIO_i2c_LCD import lcd i2c_address = 0x27
from time import sleep ## Initalize display
## Address of backpack lcdDisplay = lcd.HD44780(i2c_address)
i2c_address = 0x27 ## Set string value to buffer
## Initalize display lcdDisplay.set("Hello",1)
lcdDisplay = LCD I2C (20x4) Jetson Nano lcdDisplay.set("World",2) LCD I2C (20x4) Jetson Nano
lcd.HD44780(i2c_address) GND 0VDC while(True): GND 0VDC
## Set string value to buffer VCC 5V lcdDisplay.backlight("off") VCC 5V
lcdDisplay.set("Hello",1) SCL 5 hoặc D3 (SCL) sleep(1) SCL 5 hoặc D3 (SCL)
lcdDisplay.set("World",2) SDA 3 hoặc D2 (SDA) lcdDisplay.backlight("on") SDA 3 hoặc D2 (SDA)
sleep(1) Company Logo sleep(1) Company Logo
Lập trình trên Jetson xavier LCD I2C (20x4) Jetson Xavier
GND 0VDC
 Chân I2C  hiển thị lên LCD I2C VCC 5V hoặc 3.3V Lập trình trên Jetson xavier
import lcddriver SCL 5 hoặc D3 (SCL)  Chân I2C  hiển thị lên
from time import * SDA 3 hoặc D2 (SDA)
LCD I2C
lcd = lcddriver.lcd() LCD2004 IC giao tiếp LCD
sang I2C: PCF8574T địa
lcd.lcd_display_string("Hello world", 2) chỉ của bus I2C là 0x27
sleep(5)
Chân GND trên
bus đánh dấu
mực xanh LCD2004 IC giao
tiếp LCD sang I2C:
PCF8574TA địa chỉ
của bus I2C là 0x3F
python-i2c-lcd-master
 Chân I2C  hiển thị lên LCD hoặc OLED I2C  Chân I2C  hiển thị lên LCD hoặc OLED I2C
1. Driver: SSD1306 Thông tin kỹ thuật:
Oled 0.96 Inch • Điện áp sử dụng: 2.2~5.5VDC
• Công suất tiêu thụ: 0.04w
2. Driver: SH1106
• Góc hiển thị: lớn hơn 160 độ
Oled 1.3 Inch
• Số điểm hiển thị: 128x64 điểm.
• Độ rộng màn hình: 1.3 inch.
VCC 2.2~5.5VDC
• Màu hiển thị: Trắng / Xanh Dương. GND 0VDC
SCL xung Clock
• Giao tiếp: I2C
SDA dữ liệu vào Data in
• Driver: SH1106
Chân VCC trên bus
Company Logo đánh dấu mực xanh Company Logo
 Chân I2C  hiển thị lên OLED I2C  Chân I2C  hiển thị lên OLED I2C
from machine import I2C, ADC
from sh1106 import SH1106_I2C
import framebuf
WIDTH = 128 # oled display width
Chân VCC trên bus HEIGHT = 128 # oled display height
đánh dấu mực xanh i2c = I2C(0) #Init I2C using I2C0 defaults, SCL=Pin(GP9),
SDA=Pin(GP8), freq=400000
OLED I2C (128x64) Jetson Nano
print("I2C Address: "+hex(i2c.scan()[0]).upper()) # Display device
GND 0VDC
VCC 5V hoặc 3.3V
address
SCL 5 hoặc D3 (SCL) print("I2C Configuration: "+str(i2c)) # Display I2C config
SDA 3 hoặc D2 (SDA)
oled = SH1106_I2C(WIDTH, HEIGHT, i2c) # Init oled display
 Chân I2 C  hiển thị lên OLED I2C  Chân UART  điều khiển cánh tay máy
Xây dựng màn hình hiển thị hiệu suất cho Jetson
Sử dụng các hàm hiển thị:
• IP.decode
• CPU.decode
• MemUsage.decode
• SwapUsage.decode
• Disk.decode
• Date.decode

 Chân UART  điều khiển cánh tay máy  Chân UART  Điều khiển cánh tay máy
[Hshop.vn] RC Servo Controller Software
TX RX
• Đen: GND (0VDC)
• Đen: GND (0VDC) • Đỏ: VCC (6~7.4VDC)

• Trắng: dây cấp xung.
• Trắng : VCC (5VDC) Kiểm tra chân truyền UART
• Vàng: chân phát xung.
Company Logo dmesg | grep tty Company Logo
 Chân UART  điều khiển cánh tay máy  Chân UART  điều khiển cánh tay máy
import time
import serial
ser = serial.Serial(
port='/dev/ttyTHS0',
#port='COM3',
baudrate=9600,
parity=serial.PARITY_NONE,
stopbits=serial.STOPBITS_ONE,
bytesize=serial.EIGHTBITS,
timeout=1
)
while 1:
ser.write(b'#1P1200#2P1400#6P600T1000D500\r\n')
time.sleep(2)
ser.write(b'#1P1600#2P1600#6P1200T1000D500\r\n')
time.sleep(2)
Lập trình trên Jetson xavier 1. Nhận dạng dùng phương pháp matchTemplate:
 Chân UART  điều khiển cánh tay máy TM_CCOEFF, TM_CCOEFF_NORMED, TM_CCORR,
TM_CCORR_NORMED, TM_SQDIFF, TM_SQDIFF_NORMED.

2. Nhận dạng dựa theo kích thước: Xác định khoảng cách (cm, 3. Nhận dạng dựa theo hình dạng: Xác định các đối tượng
foot, inch), trên tập ảnh tĩnh hay camera. trên ảnh có kích thước và hình dạng khác nhau, đếm và cho
biết số lượng hình ảnh đã nhận dạng.
4. Nhận dạng dựa theo hình dạng: Xác định hình dạng các đối 6. Pose Landmarks, Hand Landmarks, Face landmarks:
tượng trên ảnh tĩnh hay camera.
5. Nhận dạng dựa theo hình dạng – màu sắc - kích thước:
Bài toán tổng hợp.
Pose Landmarks
Company Logo https://google.github.io/mediapipe/ Company Logo

https://google.github.io/mediapipe/ https://google.github.io/mediapipe/
 Mouth point = 49-68

 Right_brow_point = 18-
22
 Left_brow_point = 23-27
 Right_eye_point = 37-42
 Left_eye_point = 43-48
 Nose_point = 28-36
 Jaw_point 1-17
Hand Landmarks
Company Logo
Face landmarks Company Logo
7. Nhận dạng theo cử chỉ bàn tay: Viết chương trình nhận 8. Nhận dạng theo cử chỉ bàn tay: Viết chương trình nhận
dạng cử chỉ bàn tay con người trên ảnh quan sát bằng camera. dạng cử chỉ bàn tay con người trên ảnh quan sát bằng camera.
https://google.github.io/mediapipe/

9. Nhận dạng theo ra dấu từ bàn tay: nhận dạng ra dấu bàn 8. Nhận dạng theo cử chỉ bàn tay: Viết chương trình nhận
tay theo con số từ 0 đến 5. dạng cử chỉ bàn tay con người trên ảnh quan sát bằng camera.
https://bleedai.com/real-time-fingers-counter-hand-gesture-recognizer-with-
[‘okay’, ‘peace’, ‘thumbs up’, ‘thumbs down’, mediapipe-and-python-2/
‘call me’, ‘stop’, ‘rock’, ‘live long’, ‘fist’, ‘smile’]Company Logo Company Logo
9. Nhận dạng theo ra dấu từ bàn tay: nhận dạng ra dấu bàn 10. Nhận dạng
tay theo con số từ 0 đến 5. theo cử chỉ
gương mặt:
buồn, vui, giận
dữ, sợ hãi, ngạc
nhiên.

11. Nhận dạng theo cử chỉ gương mặt: buồn, vui, giận dữ, 12. Nhận dạng theo tư thế đi, đứng, ngồi : Xác định khoảng
sợ hãi, ngạc nhiên. cách, nhận dạng đối tượng trên ảnh dựa theo kích thước.
LẬP TRÌNH ỨNG DỤNG JETSON XAVIER

13: Nhận dạng trạng thái buồn ngủ: độ mở của mắt, trạng
thái nghiêng ngã của đầu
Company
LOGO
Company Logo

04 - Bai 4 Lap Trinh Ung Dung Jetson Xavier

Uploaded by

Copyright:

Available Formats

You might also like

04 - Bai 4 Lap Trinh Ung Dung Jetson Xavier

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

04 - Bai 4 Lap Trinh Ung Dung Jetson Xavier

Uploaded by

Copyright:

Available Formats

THỊ GIÁC MÁY TÍNH NỘI DUNG MÔN HỌC

Bài 4: Bài 2: Hướng dẫn sử dụng YOLO8 15T

Lập trình nhận dạng điều khiển qua chân I/O

Company Logo Company Logo

Jetson xavier Jetson nano

Company Logo Company Logo

Module giao tiếp Jetson LCD: 55x93; OLED: 30x31.5

Lập trình trên Jetson xavier

• Nâu: GND (0VDC)

• Điện áp hoạt động: 5VDC

Module giao tiếp Jetson SDA

Chân VCC trên

Company Logo Company Logo

[Hshop.vn] RC Servo Controller Software

Company Logo Company Logo

• Đen: GND (0VDC)

• Đen: GND (0VDC) • Đỏ: VCC (6~7.4VDC)

Company Logo Company Logo

Company Logo Company Logo

Company Logo https://google.github.io/mediapipe/ Company Logo

 Mouth point = 49-68

Company Logo Company Logo

Company Logo Company Logo

Company Logo Company Logo

LẬP TRÌNH ỨNG DỤNG JETSON XAVIER

You might also like