Machine Translated by Google

Nhận ngày 27 tháng 11 năm 2020, chấp nhận ngày 28 tháng 12 năm 2020, ngày xuất bản ngày 18 tháng 1 năm 2021, ngày có phiên bản hiện tại ngày 1 tháng 2 năm 2021.

Mã định danh đối tượng kỹ thuật số 10.1109/ACCESS.2021.3052240

Hướng tới Robot thu hoạch cà chua hiệu quả:

Nhận thức, thao tác và hiệu ứng cuối 3D

JONGPYO JUN, JEONGIN KIM, JAEHWI SEOL, JEONGEUN KIM , (Thành viên sinh viên, IEEE),
VÀ HYOUNG IL SƠN , (Thành viên cấp cao, IEEE)
Khoa Kỹ thuật Hệ thống Sinh học và Nông thôn, Đại học Quốc gia Chonnam, Gwangju 61186, Hàn Quốc

Tác giả tương ứng: Hyoung Il Son (hison@jnu.ac.kr)

Công việc này được hỗ trợ bởi Chương trình Đổi mới Công nghệ do Bộ Thương mại, Công nghiệp và Năng lượng (MOTIE) tài trợ theo Khoản trợ cấp 10060070.

TÓM TẮT Robot thu hoạch rau quả đã được nghiên cứu và phát triển rộng rãi trong những năm gần đây. Tuy nhiên, mặc dù

được nghiên cứu sâu rộng nhưng robot thu hoạch cà chua thương mại vẫn là một thách thức.

Trong bài báo này, chúng tôi đề xuất một rô-bốt thu hoạch cà chua hiệu quả kết hợp nguyên lý nhận thức 3D, Thao tác và

Người tác động cuối. Đối với robot này, cà chua được phát hiện dựa trên deep learning, sau đó tọa độ 3D của cây trồng

mục tiêu được trích xuất và điều khiển chuyển động của bộ điều khiển dựa trên sự phối hợp 3D. Ngoài ra, một miếng đệm

hút có họa tiết kirigami, một phần của dụng cụ kẹp hút, đã được phát triển để kẹp từng quả cà chua thành từng chùm. Một

mô-đun cắt hình cắt kéo có bộ phận hỗ trợ, được sử dụng để khắc phục các hạn chế về cấu trúc và thực hiện cắt hiệu quả,

cũng đã được thiết kế và thử nghiệm. Robot thu hoạch cà chua được đề xuất đã được xác nhận và đánh giá trên phòng thử

nghiệm trong phòng thí nghiệm dựa trên hiệu suất của từng bộ phận. Vì vậy, trong nghiên cứu này, chúng tôi đề xuất và

xác minh một thiết kế robot mới để thu hoạch cà chua hiệu quả.

CHỈ SỐ ĐIỀU KHOẢN Robot thu hoạch, bộ phận tác động cuối, nhận biết 3D, bộ phận cắt bằng lực kéo.

I. GIỚI THIỆU đặc điểm của cây trồng, hầu hết các robot thu hoạch đã được phát

Trang trại thông minh mang lại lợi thế về khả năng cung cấp nguồn triển cho các loại cây trồng cụ thể. Do đó, một số nhà nghiên cứu

cung sản phẩm ổn định trong suốt cả năm và vì họ có thể quản lý cây đã bắt đầu nghiên cứu các phương pháp thu hoạch trái cây tươi,

trồng hiệu quả hơn nên nghiên cứu về trang trại thông minh đang chẳng hạn như cà chua, sử dụng robot nông nghiệp trong nhà kính.

được tiến hành trên toàn thế giới. Một số loại cây trồng trong Tuy nhiên, việc thực hiện thu hoạch trái cây trồng trong nhà kính

trang trại thông minh, như cà chua, được thu hoạch thủ công; tuy nhanh chóng, chính xác và nguyên vẹn vẫn là một vấn đề đối với robot [4].
nhiên, nguồn lao động sẵn có không đủ do dân số lao động nông nghiệp Để robot có thể thực hiện thu hoạch hiệu quả, chúng phải có khả

ngày càng giảm. Vì vậy, một số nhà nghiên cứu đã bắt đầu nghiên cứu năng phát hiện và xác định vị trí các loại cây trồng mục tiêu, thông

các phương pháp thu hoạch trái cây tươi bằng robot nông nghiệp qua nhận dạng trái cây dựa trên học sâu và nhận thức 3D về khả năng

trong nhà kính [1], [2]. Để giảm lượng lao động cần thiết, nhiều tiếp cận các loại cây trồng mục tiêu. Khi thu được vị trí 3D của

nỗ lực đã được thực hiện để áp dụng robot thu hoạch trên đồng ruộng, vùng cắt mục tiêu, tọa độ sau đó sẽ được sử dụng để điều khiển

nhưng báo cáo trong [3] cho thấy chúng chưa được thương mại hóa. chuyển động của bộ điều khiển.

Tuy nhiên, đối với cà chua nói riêng, do cây mọc thành cụm nên

Trong nông nghiệp, cây trồng và trái cây được trồng trong một việc phát hiện cây trồng mục tiêu khó khăn hơn. Hơn nữa, cà chua

môi trường không xác định và không có cấu trúc. Bởi vì các đặc có độ bền bề mặt yếu và bề mặt trơn trượt, khiến việc nắm bắt các

tính vật lý của cây trồng, chẳng hạn như độ bền bề mặt, trọng lượng loại trái cây thương mại trở nên khó khăn hơn đáng kể. Việc cầm

và kích thước, khác nhau tùy thuộc vào loại cây trồng và hình dạng quả cà chua cẩn thận là rất quan trọng vì giá trị của quả cà chua sẽ

của nó, và thiệt hại đối với cây ăn quả hoặc cây trồng chỉ có thể giảm khi một vật sắc nhọn nhỏ làm hỏng vẻ ngoài của nó. Ngoài ra,

giảm khi xem xét các đặc điểm của cây trồng. vụ mùa. Vì sự bất thường các chùm cà chua thường phát triển không theo hướng khó đoán nên

rất dễ bị hư hại do tác nhân cuối cùng trong quá trình thu hoạch.
Phó biên tập viên điều phối việc xem xét bản thảo này và Vì thế,

người phê duyệt nó để xuất bản là Luigi Biagiotti.

Tác phẩm này được cấp phép theo Giấy phép Creative Commons Ghi công-Phi thương mại-Không phái sinh 4.0.

TẬP 9, 2021
17631
Để biết thêm thông tin, hãy xem https://creativecommons.org/licenses/by-nc-nd/4.0/
Machine Translated by Google
J. Jun và cộng sự: Hướng tới một robot thu hoạch cà chua hiệu quả: Nhận thức 3D, thao tác và tác động cuối cùng

phát triển một cơ quan tác động cuối cùng có tính đến môi trường sinh trưởng rằng việc phát hiện theo thời gian thực với độ phân giải hình ảnh cao trong điều

và các đặc tính vật lý của cà chua là điều cần thiết để ngăn ngừa thiệt hại cho kiện thu hoạch là không phù hợp. Phương pháp You Only Look Once (YOLO) [11]

cây trồng trong quá trình thu hoạch. Vì không nên gây thiệt hại cho cây trồng không chỉ cho kết quả phát hiện có độ chính xác cao mà còn có tốc độ nhanh. Nó

mục tiêu và các cây trồng xung quanh nên robot cần có khả năng ước tính chính được sử dụng rộng rãi để phát hiện thời gian thực.

xác tọa độ 3D của trái cây và khả năng tiếp cận các loại cây trồng mục tiêu.

Trong bài viết này, chúng tôi đề xuất một robot thu hoạch kết hợp các yếu tố B. ĐIỀU CHỈNH

của từng thách thức này để thu hoạch cà chua hiệu quả. Trong robot này, nhận Do môi trường không xác định và không có cấu trúc, chẳng hạn như sự hiện diện

thức 3D dựa trên công nghệ học sâu sẽ phát hiện quả cà chua và tiếp cận quả cà của các cụm trái cây và tán cây, thao tác được coi là một trong những thách

chua thông qua điều khiển chuyển động của bộ điều khiển. Với bộ phận tác động thức lớn trong việc phát triển robot thu hoạch [13]. Việc thu hoạch từ cụm rất

cuối, quá trình thu hoạch được hoàn thành bằng cách sử dụng mô-đun kẹp vật khó khăn vì quả, lá, thân và các chướng ngại vật xung quanh khó tách khỏi mục

liệu mềm và mô-đun cắt kiểu cắt kéo. tiêu trong quá trình phát hiện và thao tác.

II. CÔNG VIỆC LIÊN QUAN

Để thu hoạch trái cây hoặc rau quả mà không gây tổn hại đến môi trường xung

Thu hoạch trái cây mang lại những cơ hội quan trọng trong lĩnh vực robot nông quanh, một số nghiên cứu tập trung vào quy hoạch đường đi và quy hoạch chuyển

nghiệp và đã nhận được sự quan tâm đáng kể từ các nhà nghiên cứu trong những động của người thao tác. Dựa trên trái cây được phát hiện, bộ phận tác động
thập kỷ gần đây. Một số robot đã được cuối của cánh tay robot phải di chuyển đến vị trí có thể thu hoạch trái cây,

được phát triển để thu hoạch trái cây và rau quả như táo, ớt ngọt, dưa chuột, đồng thời tránh chướng ngại vật. Tuy nhiên, vấn đề này còn phức tạp hơn do cần

quả kiwi, dâu tây và ngón chân cà chua. Nghiên cứu liên quan đến robot thu phải kiểm soát cả vị trí và hướng của cơ quan tác động cuối cùng.

hoạch có thể được phân loại thành nhận thức về trái cây [5]–[12], thao tác [13]–

[15], tác nhân cuối cùng [7], [16]–[18].

Lập kế hoạch chuyển động của bộ điều khiển được thực hiện bằng cách sử dụng

trợ động trực quan để duy trì vị trí được xác định trước trong khi di chuyển
A. NHẬN THỨC TRÁI CÂY
đến tọa độ trung tâm hình ảnh của trái cây được phát hiện [14].

Nhận thức về quả được định nghĩa là quá trình xử lý hình ảnh và xác định trạng Để tránh và thu hoạch các chướng ngại vật trong môi trường làm việc, đường đi

thái, vị trí dựa trên cảm biến về trạng thái và vị trí của cây ăn quả. Bởi vì của người thao tác được lên kế hoạch bằng cách lập mô hình các chướng ngại

sự hiện diện của nhiều yếu tố không mong muốn, chẳng hạn như ánh sáng không vật xung quanh. Các kế hoạch chuyển động khác nhau được thiết lập tùy theo tư

đồng đều, cánh đồng không có cấu trúc, sự tắc nghẽn và các yếu tố không thể thế của trái cây và người tác động cuối cùng [15].

đoán trước khác, trong môi trường thực tế nên rất khó để xác định chính xác

trạng thái và vị trí của cây ăn quả [5]. Tuy nhiên, những nỗ lực nghiên cứu vẫn C. TÁC DỤNG CUỐI

tiếp tục cố gắng giải quyết những vấn đề này. Ví dụ, một hệ thống thị giác máy Cơ quan tác động cuối cùng cho việc thu hoạch đã được phát triển theo các

dựa trên các phương pháp phân ngưỡng màu sắc- [6], [7] được sử dụng để phân phương pháp khác nhau được sử dụng để thu hoạch cây trồng hiện có.

biệt dâu tây chín với các loại dâu tây và thực vật khác. Nói chung, một lưỡi dao được sử dụng để thu hoạch trái cây. Nó được phát

triển chủ yếu cho mục đích tách quả khỏi thân, đặc biệt là thiết bị tác động

cuối dạng kéo [7], [16]. Trong [17], quả được tách ra khỏi cuống thông qua

Như đã báo cáo trong [8], để phát hiện dâu tây, xử lý ảnh dựa trên giá trị chuyển động quay của khớp quay vô hạn của bộ phận tác động cuối, sao cho không
ngưỡng màu là phương pháp thường được áp dụng trong nghiên cứu. Thông tin về
cần đến lưỡi dao. Các phương pháp thu hoạch sử dụng lưỡi dao đòi hỏi độ chính

màu sắc, độ sâu, hình dạng cũng được sử dụng để phát hiện các đặc tính hình cầu xác cao khi ước tính thân cây trong khi cơ chế thu hoạch sử dụng xoay không

hoặc hình trụ của trái cây. xem xét hướng của thân cây và có khả năng chống lại các lỗi ước tính mạnh mẽ.

Điều kiện ánh sáng và thời tiết dao động, môi trường phức tạp và trái cây Đối với ớt bột, một phương pháp thu hoạch khác đã được phát triển, trong đó

rậm rạp khiến việc áp dụng robot vào nông nghiệp trở nên khó khăn. Với sự phát thân và quả được tách ra bằng cách sử dụng hồ quang nhiệt độ cao được tạo ra

triển của machine learning, nhiều nghiên cứu tập trung vào ứng dụng deep bằng cách kết nối với dây điện cực [18]. So với việc cắt bằng kéo, phương pháp

learning vào nông nghiệp đã được thực hiện. Học sâu đã được sử dụng để phân này có ưu điểm là trì hoãn hoặc giảm thiểu các bệnh nhiễm trùng như bệnh do

loại lá [9], ước tính năng suất thông qua học máy [10] và phát hiện quả trong virus.

vườn bằng Faster R-CNN [12]. Tuy nhiên, tốc độ của các phương pháp này thấp

đáng kể, do đó khiến các phương pháp này không phù hợp để phát hiện theo thời

gian thực với độ phân giải hình ảnh cao trong các tình huống thu hoạch thực tế.

Mặt khác, phương pháp You Only Look Once (YOLO) [11] cho phép phát hiện tốc độ III. HỆ THỐNG ROBOT THU HOẠCH Hệ thống robot thu

cao với độ chính xác cao; do đó, nó được sử dụng rộng rãi để phát hiện thời hoạch đề xuất trong bài báo này được thiết kế và phát triển dựa trên các khái niệm

gian thực. sau: nhận thức, thao tác và tác nhân cuối cùng. Hệ thống robot thu hoạch được hiển

thị trong Hình 1. Phát hiện trái cây, điều khiển chuyển động, mô-đun cắt và mô-đun kẹp

cho robot thu hoạch cà chua hiệu quả được mô tả chi tiết trong các phần phụ tiếp theo.

Nó được sử dụng để phân loại lá [9], ước tính năng suất bằng cách sử dụng Sơ đồ hoạt động chung của

máy học [10], phát hiện quả trong vườn bằng Faster R-CNN [12]. Tuy nhiên tốc độ

của phương pháp này rất chậm

17632 TẬP 9, 2021

Machine Translated by Google
J. Jun và cộng sự: Hướng tới một robot thu hoạch cà chua hiệu quả: Nhận thức 3D, thao tác và tác động cuối cùng
HÌNH 1. Thiết lập hệ thống robot thu hoạch bao gồm cánh tay UR3, máy ảnh
Intel Realsense D435 RGB-D và bộ phận tác động cuối.
robot thu hoạch, như minh họa trong Hình 2, cung cấp thông tin tổng quan về
các bước phụ, bao gồm điều khiển chuyển động, của quy trình thu hoạch.
A. CÀI ĐẶT PHẦN CỨNG
Hệ thống robot thu hoạch bao gồm bộ điều khiển 6-DOF (UR3), bộ tác động cuối
tùy chỉnh và bảng mạch nhúng (Jetson TX2) và camera RGB-D (Intel Realsense
D435).
Camera RGB-D được gắn vào bộ tác động cuối và được sử dụng để truyền dữ liệu
tư thế của quả cà chua được phát hiện đến bảng nhúng thông qua giao tiếp
USB. Môi trường phần mềm nhúng của hệ thống robot thu hoạch bao gồm CPU
NVIDIA Densor 2 64-bit lõi kép và lõi tứ ARMCortex-A57 MPCore, bộ nhớ LPDDR4
8G 128 bit, RAM 1866 MHx, NVIDIA Pas-cal 256 lõi Kiến trúc GPU với 245 lõi
NVIDIA CUDA, Jetpack SDK 4.2, Ubuntu 18.04 LTS 64-bit và phiên bản CUDA 10.2.
B. CÀI ĐẶT PHẦN MỀM
Hệ thống phần mềm được xác định dựa trên khung Hệ điều hành Robot (ROS). Hệ
thống này bao gồm các hệ thống con tùy chỉnh có hình dạng như một nút, như
trong Hình 3. Nhiều loại mở khác nhau
HÌNH 2. Sơ đồ thu hoạch.
TẬP 9, 2021
các thư viện phần mềm đã được kiểm tra để triển khai và liên kết từng chức
năng, đồng thời điều khiển chuyển động được kích hoạt dựa trên việc lựa chọn
gói thích hợp được liên kết với bộ điều khiển của rô-bốt.
Phần mềm chủ yếu được viết bằng Python và C++, chạy trên ROS melodic trên
Ubuntu 18.04. Hầu hết các chương trình, chẳng hạn như phát hiện và lập kế
hoạch, đều được thực thi trên bảng mạch nhúng gắn trên hệ thống. Chức năng
phức tạp đang chạy trên GPU của bo mạch và CUDA 10.2 được cài đặt để tăng tốc
nó. Hệ thống có các hệ thống con tùy chỉnh có hình dạng nút như Hình 3.
Nhiều thư viện phần mềm mở khác nhau đã được kiểm tra để triển khai và
liên kết từng chức năng, đồng thời kích hoạt điều khiển chuyển động bằng cách
chọn các gói thích hợp và liên kết chúng với bộ điều khiển của rô-bốt. Phần
mềm điều khiển chuyển động ROS Moveit! gói được sử dụng để tạo ra một thứ tự
thích hợp để di chuyển bộ điều khiển và giải quyết động học.
C. PHÁT HIỆN CÀ CHUA
Phát hiện trái cây là chức năng trung tâm của hệ thống thu hoạch cà chua được
đề xuất. Để phát hiện một loại trái cây cụ thể trong thế giới thực, cần có dữ
liệu mạnh mẽ về loại trái cây đó. Từ quan điểm của camera quan sát, sự dao
động về ánh sáng và điều kiện thời tiết của môi trường xung quanh khiến việc
phát hiện trái cây trở nên khó khăn [14], vì cùng một màu có thể xuất hiện
dưới dạng các pixel có màu khác nhau tùy thuộc vào môi trường.
Để giải quyết vấn đề này và thu được kết quả chắc chắn, cần phải sử dụng mô
hình học sâu.
1) YOLOV3 MODEL YOLO
không chỉ phù hợp để phát hiện thời gian thực với bất kỳ mô hình CNN nào khác
mà còn có độ chính xác cao [19].
So với R-CNN, YOLO mô tả công việc phát hiện là một vấn đề hồi quy đơn. YOLOV3
[20] được phát triển từ YOLO [11] và YOLOV2 [21]. So với mạng được sử dụng
trong YOLO và YOLOV2, mạng được sử dụng trong YOLOV3 là Darknet-53 bao gồm 53
lớp chập. Thời gian chạy của nó ngắn hơn và độ chính xác cao.
Mô hình phát hiện YOLO được trình bày trong Hình 4. Mạng chia hình ảnh đầu
vào dưới dạng tập huấn luyện thành các lưới S × S. Nếu trung tâm của một mục
tiêu thực tế nằm trong một lưới,
17633
Machine Translated by Google
J. Jun và cộng sự: Hướng tới một robot thu hoạch cà chua hiệu quả: Nhận thức 3D, thao tác và tác động cuối cùng
HÌNH 3. Kiến trúc hệ thống minh họa các nút phần mềm được kết nối bởi ROS: nút
darknet_ros phát hiện quả cà chua bằng mô hình học sâu YOLOV3; Nút
Jsk_pcl xây dựng centroid_pose_array với dữ liệu đám mây điểm và hình ảnh
được phát hiện; Việc xây dựng thu hoạch được vận hành bởi người lập kế hoạch
đường đi, bộ điều khiển cánh tay robot và các nút điều khiển bộ phận cuối.
HÌNH 4. Đường dẫn phát hiện đối tượng YOLO.
ô lưới có nhiệm vụ phát hiện mục tiêu. Mỗi ô lưới dự đoán các hộp giới hạn
B và điểm tin cậy, cũng như xác suất có điều kiện của lớp C. Sự tự tin
được định nghĩa như sau:
sự tự tin = pr( Đối tượng ) × IoUtruth
pred , pr( Đối tượng ) {0, 1}
Nếu mục tiêu nằm trong lưới, pr(Object) = 1; nếu không thì nó là 0.
IoUtruth
pred đại diện cho điểm nối giữa hộp được dự đoán và sự thật cơ
bản. Độ tin cậy biểu thị liệu các đối tượng có nằm trong lưới hay
không và độ chính xác của hộp giới hạn được dự đoán nếu nó chứa các
đối tượng [11].
2) DỮ LIỆU
Trong nghiên cứu này, dữ liệu hình ảnh được lấy từ một trang trại cà
chua ở Gimje-si, Jeollabuk-do, Hàn Quốc, sử dụng camera RGB-D có độ
phân giải 1920 × 1080.
Tập dữ liệu được lấy từ một cơ sở trang trại làm vườn vào tháng 6
năm 2019. Từ trang trại cà chua, 770 hình ảnh đã được thu thập,
trong đó có 70 hình ảnh được chọn ngẫu nhiên cho tập dữ liệu thử
nghiệm. Những quả cà chua được dán nhãn bằng các khung giới hạn trong
17634
tiến lên bằng phần mềm đánh dấu ranh giới Yolo_mark. Sau khi huấn
luyện mô hình 4000 lần theo số lượng lớp, chúng tôi đã thu được các
trọng số có mức hao hụt gần bằng
số không.
3) KẾT QUẢ YOLOV3 Cà chua
được phát hiện trên ngưỡng 0,95 được xác định bằng hộp giới hạn. Chúng tôi đã
đánh giá hiệu suất bằng cách sử dụng diện tích dưới đường cong thu hồi chính xác
[22]. Các phương trình về độ chính xác và thu hồi như sau:
TP
Độ chính xác = , (1)
TP + FP
TP
Nhớ lại = , (2)
TP + FN
trong đó TP là số lượng kết quả dương tính thật (phát hiện đúng), FP
là số lượng kết quả dương tính giả (phát hiện sai) và FN là số lượng
kết quả âm tính giả (phát hiện sai). AP là giá trị độ chính xác trung
bình của lớp. Kết quả trong Bảng 1 cho thấy hiệu suất của mô hình học
sâu đã học.
BẢNG 1. Hiệu suất của mô hình học sâu đã học.
D. PHÁT HIỆN TƯ THẾ
Để tác nhân cuối cùng tiếp cận được trái cây, nó phải xem khung cảnh
như một thế giới ba chiều (3D) để xác định tư thế của trái cây. Một
tư thế bao gồm một vectơ vị trí và một vectơ định hướng [23]. Máy
ảnh RGB-D được sử dụng để ghi lại tư thế của mục tiêu. Nó tạo ra dữ
liệu đám mây điểm cho biết khoảng cách giữa mục tiêu và máy ảnh. Dữ
liệu đám mây điểm là tập hợp khối lượng từ dữ liệu khoảng cách và
thời gian lãng phí từ đối tượng và thu được bằng cảm biến Lidar
hoặc cảm biến RGB-D. Chúng tôi đã sử dụng thư viện đám mây điểm
nguồn mở để dễ dàng xử lý dữ liệu đám mây điểm, cho phép robot nhận
biết thế giới 3D. Sau đó, một thuật toán ước tính các đặc điểm sẽ
được kết hợp [24]. Bằng cách sử dụng thư viện này, chúng tôi kết
hợp hình ảnh mục tiêu được YOLOV3 phát hiện với dữ liệu đám mây
điểm. Hình 5 mô tả phương pháp thu được mảng tư thế của quả cà
chua được phát hiện. Khi mô hình YOLOV3 cảm nhận cà chua, tâm của
hộp được phát hiện được biểu thị là tọa độ điểm trung tâm công cụ
(TCP). Sử dụng dữ liệu đám mây điểm, chúng ta có thể xác định mảng
tư thế trung tâm cho trái cây được phát hiện.
E. ĐIỀU CHỈNH
Sau khi phát hiện cà chua, mục tiêu và trình tự của quá trình thu
hoạch được xác định. Để thu hoạch cà chua theo phương pháp đã xác
định, bộ điều khiển chứa mô-đun kẹp đã phát triển cần phải được di
chuyển đến vị trí có thể hoạt động được. Hình 6 cho thấy quá trình
lập bản đồ giữa bộ phận tác động cuối được gắn vào bộ điều khiển và
cà chua được nhắm mục tiêu thu hoạch.
TẬP 9, 2021
Machine Translated by Google
J. Jun và cộng sự: Hướng tới một robot thu hoạch cà chua hiệu quả: Nhận thức 3D, thao tác và tác động cuối cùng
HÌNH 5. Phương pháp ước tính sự phối hợp 3D của trái cây: (a) Ảnh màu gốc;
(b) Phát hiện trái cây bằng mô hình YOLOV3; (c) Dữ liệu đám mây điểm; (d)
tọa độ 3D của trái cây.
HÌNH 6. Lập bản đồ cho điều khiển chuyển động.
Bộ phận tác động cuối có gắn camera RGB-D để phát hiện cà chua. Do mối
quan hệ qua lại giữa bộ phận tác động cuối và camera ảnh hưởng đến tỷ lệ
thu hoạch thành công nên việc chuyển đổi tay-mắt là cần thiết. Máy ảnh tay-
mắt và bộ phận tác động cuối được đặc trưng bởi các mối quan hệ chuyển đổi
cứng nhắc bao gồm xoay và dịch chuyển, cho phép hiệu chỉnh tay-mắt thông
qua các phép tính. Hiệu chuẩn giúp giảm thiểu lỗi trong hệ thống định vị
một cách hiệu quả.
Chúng tôi thực hiện nó dựa trên vị trí và tư thế mà bộ phận tác
động cuối có thể được di chuyển để cắt đến điểm chính giữa của quả
cà chua. Mối quan hệ hiệu chuẩn giữa đế robot và đối tượng được mô
hình hóa [25] trong biểu thức (3):
DA = CB
trong đó D là biểu diễn đơn giản của cDo để chuyển đổi từ khung
tọa độ đối tượng sang khung tọa độ máy ảnh. Ngoài ra, A là oAb để
chuyển đổi từ hệ tọa độ cơ sở robot sang đối tượng
TẬP 9, 2021
khung tọa độ và C là cCe để chuyển đổi từ khung tọa độ tác động cuối sang
khung tọa độ camera. Cuối cùng, B là eBb cho việc chuyển đổi khung cơ sở
của robot sang khung tọa độ tác động cuối. Mỗi ma trận được thể hiện trong
biểu thức. (4) dựa trên sự phân tách phần quay R có kích thước 3 × 3 và
vectơ tịnh tiến t có kích thước 3 × 1:
RD tD RA tA = RC tC RB tB
(4)
T 0 1 T 0 1 T 0 1 T 0 1
Kết quả là, tọa độ đối tượng có thể được ước tính bằng cách sử dụng
phương trình. (5) đối với mối quan hệ và điều kiện của các biến:
1
Ai = CBiD (5)
Hơn nữa, cánh tay robot phải có khả năng di chuyển ở một tư thế cụ thể
theo tọa độ vị trí được chuyển đổi. Tư thế cụ thể được thiết lập dựa trên
trạng thái tối ưu mà robot có thể giải quyết động học. Và nó có thể di
chuyển liên tục dọc theo đường dẫn được tạo ra. Bằng cách thay đổi góc
khớp của từng động cơ, robot sẽ di chuyển đến một vị trí cụ thể và kết quả
là đạt được khả năng điều khiển chuyển động.
F. TÁC DỤNG CUỐI
1) THIẾT KẾ MÔ-ĐUN CẮT Cắt từ
cuống là một trong những công việc cần thiết nhất trong thu hoạch
cà chua. Bằng cách loại bỏ cuống cà chua càng gần bề mặt quả càng
tốt, robot có thể ngăn chặn thiệt hại cho cà chua trong quá trình
vận chuyển và bảo toàn giá trị của quả cà chua như một loại hàng
hóa. Với mục đích này, chúng tôi đã sử dụng một chiếc kéo, một công
cụ được sử dụng trong thu hoạch truyền thống, làm công cụ cắt cho
robot của chúng tôi. Về cơ bản, nguyên lý đòn bẩy đã được áp dụng
cho cơ cấu cắt kéo và điều này có thể được biểu diễn như trên Hình
7.
HÌNH 7. Cơ chế cấu trúc cắt kéo.
Lực cần thiết để cắt xích lô có thể được tính toán dựa trên các
cơ chế này [26]. Hình 7 có thể được biểu diễn dưới dạng biểu thức.
(6) theo mômen song song và lực tác dụng cần thiết dựa trên mối quan
(3)
hệ của từng biến được tính toán:
F(e)L(e) = F(a)L(a) (6)
Tuy nhiên, lực cần thiết thay đổi tùy theo vị trí của vật cắt.
Lực cần thiết để thay đổi
17635
Machine Translated by Google
J. Jun và cộng sự: Hướng tới một robot thu hoạch cà chua hiệu quả: Nhận thức 3D, thao tác và tác động cuối cùng
trong các biến có thể được biểu thị dựa trên phương trình. (6) đến phương trình. (7):
F(r)maxL(a)
F(e)phút ≥
L(e)
trong đó lực F(a) tác dụng ở vị trí cắt L(a) chỉ có thể cắt cuống
nếu nó lớn hơn lực cản cắt F(r) của cuống. Ngoài ra, lực tác động
tối thiểu phải lớn hơn lực cản cắt tối đa để cắt ổn định. Dựa
trên mối quan hệ này, lực tác dụng tối thiểu F(e)min để cắt tại
điểm L(e) được xác định.
Theo mối quan hệ này, để quá trình cắt có hiệu quả, nó phải
được thực hiện càng gần trục quay càng tốt. Tuy nhiên, tùy thuộc
vào đặc điểm bề mặt của mục tiêu cắt, cuống có thể không dễ cắt
và có thể bị đẩy ra ngoài. Đặc biệt, điều này dễ xảy ra với những
vật cứng hoặc dai như thân cây cà chua. Do khả năng xảy ra hiện
tượng trượt trong quá trình cắt nên cần phải có một lực lớn nhất
thời. Bất chấp các biện pháp này, có thể cuống vẫn chưa bị cắt
hoàn toàn.
Hình 8 cho thấy mô-đun cắt sử dụng bộ phận cắt kéo (TCU) được phát triển để
đảm bảo hiệu suất cắt rõ ràng trong cấu trúc cắt kéo.
HÌNH 8. Bộ phận cắt kéo dùng cho kéo.
Quy trình vận hành của TCU với kéo được mô tả chi tiết trong
Hình 9. Đầu tiên, bộ phận tời và lưỡi kéo bắt đầu quay thông qua
bộ truyền động động cơ, đồng thời, giá đỡ di chuyển dọc theo trục
trung tâm. Thứ hai, chiếc xích lô được kéo theo hướng của trục
trung tâm, giúp nó không bị đẩy ra khỏi lưỡi kéo. Với các lưỡi
kéo hoàn toàn chồng lên nhau, chiếc xích lô sau đó sẽ được cắt
và tách ra. Cuối cùng, sau khi cắt hoàn toàn, giá đỡ di chuyển về
vị trí ban đầu nhờ sự quay ngược của động cơ và độ đàn hồi của
lò xo.
Việc quay kéo và vận hành TCU có thể được thực hiện đồng thời
bằng cách sử dụng một động cơ. Khi lưỡi kéo quay để cắt, giá đỡ
sẽ truyền lực quay dưới dạng lực kéo thông qua cáp nối với thanh
dẫn hướng tay cầm. Chiếc xích lô được giá đỡ ngăn không cho đẩy
ra khỏi khu vực cắt và việc cắt hoàn toàn được thực hiện khi các
lưỡi kéo chồng lên nhau.
Cơ chế này có thể bù đắp cho những vấn đề có thể xảy ra trong quá
trình cắt và cho phép cắt hiệu quả đối với robot thu hoạch sử
dụng kéo.
17636
(7)
HÌNH 9. Hình ảnh chi tiết về hoạt động của TCU: (a) Lưỡi kéo quay và
giá đỡ di chuyển; (b) Xích lô kéo; (c) Các lưỡi kéo và cuống cắt chồng
lên nhau; (d) Trụ đỡ di chuyển về vị trí ban đầu.
Ngoài ra, cấu trúc kết nối của tay cầm và thanh dẫn hướng đã
được chọn để cung cấp đủ lực cắt cho kéo. tay cầm và thanh dẫn
hướng được nối ở vị trí càng xa trục quay của lưỡi cắt kéo càng
tốt. Thông qua thiết kế này, lực tác động và mô-men xoắn lớn hơn
được tạo ra. Hình 9. Hơn nữa, để truyền mô-men xoắn tương đối
cao từ động cơ, cấu trúc được thiết kế sao cho tâm quay của động
cơ được tiếp cận càng gần càng tốt.
Sử dụng động cơ có cùng thông số kỹ thuật, nguyên mẫu được
thiết kế trước đó, với cấu trúc quay chung, không dễ để cắt một
chiếc xích lô có đường kính 3,5mm. Tuy nhiên, khi áp dụng thiết
kế cấu trúc sửa đổi, ngay cả những thân cây có đường kính lên
tới 6 mm cũng được cắt thành công.
2) THIẾT KẾ MÔ-ĐUN KẸP Thiết kế
của bộ phận tác động cuối để thu hoạch cà chua là một trong những
yếu tố chính quyết định hiệu suất của robot thu hoạch. Đặc biệt,
bề mặt của cà chua trơn và ẩm khiến việc cầm quả khó khăn.
Để giảm thiểu thiệt hại cho cây trồng bằng dụng cụ kẹp hút, người
ta sử dụng một vật liệu mềm để hái trái cây. Khi không chịu áp
lực quá lớn, việc nắm bắt bằng lực hút là một trong những phương
pháp có thể giảm thiểu thiệt hại do sơ suất gây ra.
Bộ kẹp hút được đề xuất tạo ra sự chênh lệch áp suất giữa bề
mặt bên trong và bên ngoài, từ đó cho phép kẹp các vật thể như
cà chua. Công suất của miếng hút phụ thuộc vào thời gian cần thiết
để tạo ra khoảng chân không giữa vật thể và bộ kẹp hút [27]. Đệm
hút chất liệu mềm có ưu điểm là thích ứng linh hoạt với bề mặt
nhưng có thể yêu cầu thay đổi cấu trúc khi cần nâng vật nặng. Do
đó, mục tiêu của chúng tôi là nghiên cứu hình thức thiết kế của
miếng hút để cho phép nó bám các vật thể không có cấu trúc, cụ
thể là cà chua, một cách trơn tru hơn. Tuy nhiên, vật liệu đàn
hồi mềm có thể uốn cong, xoắn,
TẬP 9, 2021
Machine Translated by Google
J. Jun và cộng sự: Hướng tới một robot thu hoạch cà chua hiệu quả: Nhận thức 3D, thao tác và tác động cuối cùng
nén hoặc kéo dãn, khiến cho việc mô hình hóa của chúng trở nên khó khăn.
Do đó, nên chế tạo một dụng cụ kẹp sử dụng một miếng hút duy nhất, thay vì
nhiều miếng hút, để cải thiện khả năng hút của nó. Miếng hút có thể điều
chỉnh để tiếp xúc với bề mặt tròn của quả cà chua và được cấu tạo theo cấu
trúc kirigami như trong Hình 10.
HÌNH 10. Miếng hút dựa trên Kirigami.
Về lý thuyết, một miếng hút có lỗ tròn cực nhỏ, phẳng sẽ phù hợp với
bất kỳ bề mặt nào vì nó có thể gần giống với một bề mặt phẳng vô hạn [28].
Lực giữ cốc hút tỷ lệ thuận với diện tích bề mặt mở, biểu thị bằng
F = PA
Trong đó F là lực giữ, P là áp suất chân không và A là diện tích bề mặt mở
của đệm hút.
HÌNH 11. Bố trí bãi thử nghiệm theo loại hình trồng trọt: trường hợp A: cà chua chín
cô lập; trường hợp B: hai quả cà chua chín; trường hợp C: ba quả cà chua chín; trường
hợp D: bốn quả cà chua chín.
IV. THÍ NGHIỆM A. THIẾT
LẬP THỰC NGHIỆM
Thí nghiệm được tiến hành trên một bệ thử nghiệm trong phòng thí nghiệm,
sử dụng cách bố trí được mô tả trong Chương 3. Sàn thử nghiệm được xây
dựng trong môi trường tương tự như môi trường thực tế.
trang trại cà chua để đánh giá hiệu suất của robot thu hoạch trong các tình
huống thu hoạch thực tế như trong Hình 11. Thông thường, cà chua phát
triển từ thân cây, tạo thành cụm chứa tối đa bốn quả cà chua. Vì vậy, thân
cây được sử dụng trong thí nghiệm mang các cụm chứa từ một đến
TẬP 9, 2021
bốn quả cà chua. Mặc dù không thể xác định sự phân bố của tất cả cà chua
theo một loại cụ thể, nhưng những quả cà chua thành cụm có thể được phân
loại. Các thử nghiệm có thể được chia thành các trường hợp chỉ có 1, 2, 3
hoặc 4 trong một cụm.
Số lượng cà chua trong một chùm càng nhiều thì việc thu hoạch càng khó
khăn. Ngoài ra, nếu cà chua có cuống kèm theo thì khó khăn trong việc thu
hoạch sẽ càng tăng thêm. Nhận thấy số lượng cà chua trong khóm đã ảnh
hưởng đến kết quả thí nghiệm.
B. KẾT QUẢ THỰC NGHIỆM
Chu trình thu hoạch bao gồm tất cả các trình tự hoạt động để thu hoạch thành
công quả. Để đánh giá hiệu suất của robot, hai thước đo hiệu suất chính là
tỷ lệ thành công và thời gian chu kỳ đã được xác định. Tổng thời gian chu
trình có thể được tính bằng cách cộng lượng thời gian tiêu tốn cho mỗi
nhiệm vụ phụ. Để thu hoạch thành công và thời gian tiêu tốn cho từng bước:
nhận thức, thao tác và thu hoạch sẽ được ghi lại. Lượng thời gian được
ghi lại cho các nhiệm vụ phụ và tổng thời gian chu kỳ được liệt kê trong
Bảng 2. Thao tác chia chuỗi quỹ đạo thành các bước phụ để tránh chướng
ngại vật và cần thêm thời gian do lập kế hoạch đường đi trong mỗi bước.
Sau khi tiếp cận quả, quá trình tách quả được coi là thu hoạch. Tổng thời
gian chu kỳ là 5,9 giây và trên giường thử nghiệm, trái cây được đặt gần
cánh tay robot nên tốc độ thu hoạch tương đối nhanh.
(số 8)
Nhìn chung, việc thu hoạch thành công cho thấy quả được thu hoạch không
bị hư hại. Vì vậy, một trong những điểm quan trọng khi sử dụng robot thu
hoạch là thu hoạch trái cây mục tiêu và cây trồng xung quanh mà không bị hư
hại. Kết quả thí nghiệm được thực hiện trên bệ thử nghiệm để xác minh hiệu
suất của robot thu hoạch được đề xuất được thể hiện trong Hình 12 và Bảng
3.
Hiệu suất được biểu thị bằng cách xác định điểm theo mức độ hư hỏng xảy ra
trên bề mặt cà chua trong quá trình thu hoạch. Nếu thiệt hại không xảy ra,
nó được biểu thị bằng O và được xác định là điểm 100. Trong số các thiệt
hại, thiệt hại yếu trên bề mặt được đánh dấu và xác định là 50 điểm, còn
những thiệt hại gây ra thiệt hại mạnh như rách được biểu thị bằng × và
được xác định là 0 điểm.
Theo kết quả thí nghiệm, xu hướng tạo sát thương tăng lên khi số lượng
cụm tăng lên. Trường hợp của A, quả cà chua nằm một mình nên không có
chướng ngại vật như các quả xung quanh, không gây hư hại trong quá trình
thu hoạch. Tuy nhiên, trường hợp B, C và D, khi số lượng cà chua trong cụm
tăng lên, những quả cà chua lân cận không phải cà chua mục tiêu có thể được
coi là chướng ngại vật. Cà chua không nhắm mục tiêu có thể xoay chuyển linh
hoạt trong quá trình thu hoạch. Những thay đổi như vậy có thể gây ra thiệt
hại bằng cách tạo ra sự chuyển động của cây trồng mục tiêu và ngay cả khi
cây trồng mục tiêu được thu hoạch mà không bị thiệt hại, nó vẫn có thể gây
thiệt hại cho các loại cây trồng không phải mục tiêu.
Để cải thiện hơn nữa hiệu suất của robot, các vấn đề sau đây sẽ được
giải quyết trong cuộc thảo luận và được coi là những thách thức cần khắc
phục trong tương lai: định vị trái cây có tỷ lệ không chính xác do lỗi
trong việc phát hiện trái cây;
17637
Machine Translated by Google
J. Jun và cộng sự: Hướng tới một robot thu hoạch cà chua hiệu quả: Nhận thức 3D, thao tác và tác động cuối cùng

BẢNG 2. Để thu hoạch thành công và tiêu tốn thời gian trong mỗi bước.

HÌNH 12. Kết quả thu hoạch theo số chùm.

BẢNG 3. Điểm thu hoạch theo số cụm. A. PHÁT HIỆN STEM

Quy trình phát hiện của hệ thống được đề xuất chỉ bao gồm một bước. Quy

trình phát hiện này chỉ tạo ra TCP, tức là điểm trung tâm của hộp giới hạn

được tạo bởi mô hình YOLOV3. Sau đó, người thực hiện cuối cùng sẽ di chuyển
đến điểm đích. Phương pháp này khiến tỷ lệ thành công phụ thuộc vào kích

thước và tư thế của quả cà chua được phát hiện. Để thu hoạch thành công

quả phải được cắt chính xác và do đó việc phát hiện thân là điều cần thiết.

Ngoài ra, bộ điều khiển được di chuyển liên tục theo tư thế được phát hiện

của thân cây cà chua.

Cũng làm việc liên tục, hành động hái và cắt ảnh hưởng đến vị trí và tư
quy hoạch đường dẫn không chính xác; động học chưa được giải quyết của
thế của quả cà chua kia do rung động và va chạm nhỏ. Để theo dõi một cách
người thao tác để di chuyển về phía cà chua được phát hiện; và cản trở mục
hiệu quả những thay đổi của trái cây mục tiêu và cắt nó, cần khám phá khả
tiêu cà chua.
năng điều khiển trực quan để điều khiển tư thế của cánh tay robot trong

nghiên cứu trong tương lai [29].

V. THẢO LUẬN Trong

bài viết này, chúng tôi đã đề xuất sự kết hợp giữa các mô-đun nhận thức, thao
B. QUY HOẠCH LẬP TỨC DỰA TRÊN HỌC TẬP
tác và kẹp 3D để hiện thực hóa một rô-bốt thu hoạch cà chua hiệu quả. Để đánh

giá robot thu hoạch được đề xuất, các thí nghiệm đã được tiến hành trong môi Để điều khiển chuyển động của tay máy, phần mềm nguồn mở đã được sử dụng

trường thử nghiệm trong phòng thí nghiệm cho từng bước phụ. Tuy nhiên, hệ để ứng dụng quy hoạch đường Descartes và giải các bài toán động học phức

thống có một hạn chế là không thể áp dụng một số biến tồn tại trong môi trường tạp. Tuy nhiên, đối với một số tư thế cụ thể, người thao tác không thể

thực tế, chẳng hạn như vị trí thân cây và chướng ngại vật. Trong thời gian giải quyết được vấn đề; do đó, chuyển động bị chặn và không tạo ra được

tới, chúng ta cần giải quyết những thách thức sau: quỹ đạo thích hợp. Để tạo được quỹ đạo thu hoạch phù hợp, chúng ta cần xác

định trình tự thu hoạch tối ưu

17638 TẬP 9, 2021

Machine Translated by Google
J. Jun và cộng sự: Hướng tới một robot thu hoạch cà chua hiệu quả: Nhận thức 3D, thao tác và tác động cuối cùng

có thể được thu hoạch dễ dàng hơn và quy hoạch đường đi đã thay đổi cho [3] CW Bac, EJ van Henten, J. Hemming và Y. Edan, '' Thu hoạch robot cho cây trồng có giá

trị cao: Đánh giá hiện đại và những thách thức phía trước, '' J. Field Robot., tập .
phù hợp là một cách để rút ngắn thời gian thu hoạch. Quỹ đạo lập kế hoạch
31, không. 6, trang 888–911, tháng 11 năm 2014.
được tạo ngẫu nhiên và do đó, các chướng ngại vật xung quanh cản trở chuyển
[4] B. Zhang, J. Zhou, Y. Meng, N. Zhang, B. Gu, Z. Yan và SI Idris, '' Nghiên cứu so sánh

động hoặc thời gian thu hoạch bị thay đổi tùy thuộc vào quỹ đạo được tạo về hư hỏng cơ học do dụng cụ kẹp cà chua hai ngón tay với cách nắm khác nhau của robot

mô hình cho robot thu hoạch'' Biosyst. Tiếng Anh, tập. 171, trang 245–257, tháng 7 năm
ra. Trong nghiên cứu trong tương lai, để đạt được điểm mục tiêu thành
2018.
công, thuật toán lập kế hoạch chuyển động phải được cải thiện thông qua
[5] Y. Zhao, L. Gong, Y. Huang và C. Liu, ''Đánh giá về các kỹ thuật chính của điều khiển

học tăng cường. Để robot thực hiện việc học tăng cường dựa trên phần dựa trên tầm nhìn đối với robot thu hoạch,'' Comput. Điện tử. Nông nghiệp., tập. 127,

trang 311–323, tháng 9 năm 2016.

thưởng kiếm được từ một số thử nghiệm và lỗi lặp đi lặp lại, người thao
[6] S. Hayashi, S. Yamamoto, S. Saito, Y. Ochiai, J. Kamata, M. Kurita và K. Yamamoto, ''Vận
tác phải có thể tự xác định quỹ đạo tối ưu [30]. Ngoài ra, những người thao
hành tại hiện trường của robot thu hoạch dâu tây di động sử dụng bệ di chuyển'' Jpn.
tác quyết định thứ tự nhắm mục tiêu vào trái cây theo quỹ đạo tối ưu được Nông nghiệp. Res. Quart., JARQ, tập. 48, không. 3, trang 307–316, 2014.

tạo ra dựa trên việc học tăng cường.

[7] Y. Xiong, C. Peng, L. Grimstad, PJ From và V. Isler, '' Phát triển và đánh giá hiện

trường của rô-bốt thu hoạch dâu tây có dụng cụ kẹp điều khiển bằng dây cáp,'' Comput.

Điện tử. Nông nghiệp., tập. 157, trang 392–402, tháng 2 năm 2019.

Kỹ thuật này tiêu tốn ít thời gian hơn và có thể cho phép robot tránh [8] S. Hayashi, K. Shigematsu, S. Yamamoto, K. Kobayashi, Y. Kohno, J. Kamata và M. Kurita,

chướng ngại vật. ''Đánh giá robot thu hoạch dâu tây trong một thử nghiệm thực địa,'' Biosystems Eng .,

tập. 105, không. 2, trang 160–171, tháng 2 năm 2010.

[9] JI Arribas, GV Sánchez-Ferrero, G. Ruiz-Ruiz và J. Gómez-Gil, '' Phân loại lá ở cây hướng
C. TÁC DỤNG CUỐI
dương bằng thị giác máy tính và mạng lưới thần kinh,'' Comput. Điện tử. Nông nghiệp.,

Chúng tôi đã phát triển mô-đun cắt kiểu cắt kéo trong đó bộ phận cắt kéo tập. 78, không. 1, trang 9–18, tháng 8 năm 2011.

[10] K. Yamamoto, W. Guo, Y. Yoshioka và S. Ninomiya, '' Về việc phát hiện quả cà chua còn
được sử dụng để đảm bảo hiệu suất cắt.
nguyên vẹn ở thực vật bằng cách sử dụng phương pháp phân tích hình ảnh và học máy,''
Mô-đun cắt được đề xuất của end-effector có ưu điểm là theo cụm. Khi chuyển Cảm biến, tập. 14, không. 7, trang 12191–12206, 2014.

động xảy ra ở cây trồng không phải mục tiêu, cà chua mục tiêu cũng xảy ra [11] J. Redmon, S. Divvala, R. Girshick và A. Farhadi, ''Bạn chỉ nhìn một lần: Phát hiện đối

tượng thống nhất, theo thời gian thực'' trong Proc. Hội nghị IEEE Máy tính. Vis.
chuyển động. TCU trong mô-đun cắt giảm thiểu chuyển động của thân máy, giúp
Nhận dạng mẫu. (CVPR), tháng 6 năm 2016, trang 779–788.
quá trình cắt trở nên trơn tru. Tuy nhiên, kéo cắt có đầu nhọn nên khi tiếp
[12] S. Bargoti và J. Underwood, ''Phát hiện sâu trái cây trong vườn cây ăn quả'' ở Proc.
cận khiến quả bị hư hỏng. Vì vậy, một cơ chế cắt khác phải được phát IEEE quốc tế Conf. Robot. Tự động. (ICRA), tháng 5 năm 2017, trang 3626–3633.

triển. Cấu trúc của mô-đun cắt không được có phần nhô ra và cấu trúc của [13] A. Silwal, JR Davidson, M. Karkee, C. Mo, Q. Zhang và K. Lewis, '' Thiết kế, tích hợp và

đánh giá hiện trường của máy gặt táo bằng robot, '' J. Field Robot., tập. 34, không.
môi trường xung quanh phải được phát triển ở dạng tương đối ít bị ảnh
1, trang 1140–1159, tháng 9 năm 2017.
hưởng bởi hệ thống. [14] B. Arad, J. Balendonck, R. Barth, O. Ben-Shahar, Y. Edan, T. Hellström, J. Hemming, P.

Kurtser, O. Ringdahl, T. Tielen và B. Tuijl, ''Phát triển robot thu hoạch ớt ngọt'' J.

Field Robot., tập. 37, không. 6, trang 1027–1039, tháng 9 năm 2020.

[15] H. Kang, H. Zhou và C. Chen, ''Nhận thức trực quan và mô hình hóa để thu hoạch táo tự động,''
VI. PHẦN KẾT LUẬN
IEEE Access, tập. 8, trang 62151–62163, 2020.

Trong bài báo này, chúng tôi đề xuất một robot thu hoạch cà chua hiệu quả
[16] CW Bac, J. Hemming, BAJ van Tuijl, R. Barth, E. Wais và EJ van Henten, ''Đánh giá hiệu
kết hợp các nguyên tắc nhận thức, thao tác 3D và bộ phận tác động cuối. Với
suất của robot thu hoạch ớt ngọt,'' J. Field Robot., tập. 34, không. 6, trang 1123–1139,
robot này, khả năng phát hiện dựa trên deep learning và nhận thức 3D được
tháng 9 năm 2017.

thực hiện với mục tiêu là ngón chân cà chua. Điều khiển chuyển động của bộ [17] H. Yaguchi, K. Nagahama, T. Hasegawa và M. Inaba, ''Phát triển robot thu hoạch cà chua

tự động với bộ kẹp tuốt quay'' trong Proc. IEEE/RSJ Int. Conf. Trí tuệ. Hệ thống robot
điều khiển được thực hiện dựa trên nhận thức 3D, trong khi bộ phận tác động
(IROS), tháng 10 năm 2016, trang 652–657.
cuối được phát triển bao gồm hai phần: mô-đun kẹp và mô-đun cắt. Mô-đun kẹp

giữ cà chua thành từng cụm và hoạt động dựa trên một dụng cụ kẹp hút sử dụng [18] S. Bachche và K. Oka, ''Thử nghiệm hiệu suất của hệ thống cắt nhiệt cho robot thu hoạch

robot mềm. ớt ngọt trong nghề làm vườn trong nhà kính,'' J. Syst. Des.

Dyn., tập. 7, không. 1, trang 36–51, 2013.

[19] Y. Tian, G. Yang, Z. Wang, H. Wang, E. Li và Z. Liang, '' Phát hiện táo trong các giai
Dụng cụ kẹp hút cho phép các miếng hút dựa trên mẫu kirigami có thể kẹp các đoạn sinh trưởng khác nhau trong vườn cây ăn quả bằng cách sử dụng mô hình YOLO-V3 cải

hình dạng không có cấu trúc dễ dàng hơn. Mô-đun cắt có hình dạng kéo, được tiến, '' Comput. Điện tử. Nông nghiệp., tập. 157, trang 417–426, tháng 2 năm 2019.

[20] J. Redmon và A. Farhadi, '' YOLOv3: Một cải tiến gia tăng,'' 2018, arXiv:1804.02767. [Trực
trang bị bộ phận cắt bằng lực kéo để khắc phục các hạn chế về cấu trúc và
tuyến]. Có sẵn: http://arxiv.org/abs/1804. 02767
cải thiện khả năng cắt. Robot thu hoạch cà chua được đề xuất đã được đánh

giá và xác minh bằng cách sử dụng thử nghiệm trong phòng thí nghiệm. Mặc dù [21] J. Redmon và A. Farhadi, '' YOLO9000: Tốt hơn, nhanh hơn, mạnh hơn'' trong Proc. Hội

nghị IEEE Máy tính. Vis. Nhận dạng mẫu. (CVPR), tháng 7 năm 2017, trang 7263–7271.
robot thu hoạch được đề xuất không thể hiện hiệu suất cao nhưng nó có thể

được cải thiện đầy đủ nếu tiến hành nghiên cứu sâu hơn, như đã giải thích
[22] M. Everingham, L. Van Gool, CKI Williams, J. Winn và A. Zisserman, ''Thử thách của các

trong phần thảo luận. lớp đối tượng trực quan Pascal (VOC),'' Int. J. Máy tính. Vis., tập. 88, không. 2,

trang 303–338, tháng 6 năm 2010.

[23] R. Paul, ''Điều khiển đường dẫn Cartesian bằng tay máy,'' IEEE Trans. Syst., Man,

Cybern., tập. SMC-9, không. 11, trang 702–711, tháng 11 năm 1979.

[24] RB Rusu và S. Cousins, ''3D ở đây: Thư viện đám mây điểm (PCL),'' trong Proc. IEEE quốc
NGƯỜI GIỚI THIỆU
tế Conf. Robot. Autom., Tháng 5 năm 2011, trang 1–4.

[1] V. Bloch, A. Degani và A. Bechar, ''Một phương pháp thiết kế kiến trúc vườn cây ăn [25] A. Tabb và KM Ahmad Yousef, ''Giải quyết vấn đề hiệu chỉnh tay-mắt trong thế giới robot

quả cho robot thu hoạch tối ưu,'' Biosyst. Tiếng Anh, tập. 166, trang 126–137, tháng 2 bằng các phương pháp lặp,'' Mach. Vis. Ứng dụng, tập. 28, không. 5–6, trang 569–590,

năm 2018. tháng 8 năm 2017.

[2] W. Lili, Z. Bo, F. Jinwei, H. Xiaoan, W. Shu, L. Yashuo, Q. Zhou và W. Chongfeng, ''Phát [26] B. Jia, A. Zhu, SX Yang và GS Mittal, '' Bộ kẹp và máy cắt tích hợp trong hệ thống robot

triển robot thu hoạch cà chua được sử dụng trong nhà kính,'' Int. J. Nông nghiệp. Biol. di động để thu hoạch các sản phẩm nhà kính,'' trong Proc.

Tiếng Anh, tập. 10, không. 4, trang 140–149, 2017. IEEE quốc tế Conf. Robot. Mô phỏng sinh học (ROBIO), tháng 12 năm 2009, trang 1778–1783.

TẬP 9, 2021 17639

Machine Translated by Google
J. Jun và cộng sự: Hướng tới một robot thu hoạch cà chua hiệu quả: Nhận thức 3D, thao tác và tác động cuối cùng
[27] J. Shintake, V. Cacciolo, D. Floreano và H. Shea, ''Tay cầm robot mềm,'' Adv. Mater., tập. 30,
không. Ngày 29 tháng 7 năm 2018, Nghệ thuật. KHÔNG. 1707035.
[28] Z. Zhakypov, F. Heremans, A. Billard và J. Paik, ''Một dụng cụ kẹp hút có thể cấu hình lại lấy
cảm hứng từ origami để nhặt các vật thể có hình dạng và kích thước thay đổi'' IEEE Robot. Tự
động. Lett., tập. 3, không. 4, trang 2894–2901, tháng 10 năm 2018.
[29] J. Gamba, PJ From và AC Leite, ''Một cách tiếp cận hỗ trợ trực quan để thu hoạch trái cây bằng
robot khi có sự không chắc chắn về tham số'' trong Proc. Tập CBA, Quốc hội Brasileiro de
Automatica lần thứ 22, 2018.
[30] M. Kim, D.-K. Han, J.-H. Park và J.-S. Kim, ''Lập kế hoạch chuyển động của người điều khiển
robot để có đường đi mượt mà hơn bằng cách sử dụng gradient chính sách xác định sâu bị trì
hoãn kép với tính năng phát lại trải nghiệm nhận thức muộn'' Appl. Khoa học, tập. 10, không.
2, tr. 575, tháng 1 năm 2020.
JONGPYO JUN nhận bằng Cử nhân Kỹ thuật Cơ khí, Đại học
Quốc gia Sunchon năm 2008 và bằng Thạc sĩ Khoa Kỹ thuật
Cơ khí, Đại học Quốc gia Chonnam năm 2015. Anh hiện
đang theo đuổi bằng Tiến sĩ. bằng cấp của Khoa Kỹ
thuật Hệ thống Sinh học và Nông thôn, Đại học Quốc gia
Chonnam. Mối quan tâm nghiên cứu của ông bao gồm kỹ
thuật cơ khí, thiết kế và robot thu hoạch.
JEONGIN KIM hiện đang theo học chương trình BS-MS
tích hợp về kỹ thuật hệ thống sinh học tại Đại học
Quốc gia Chonnam, Hàn Quốc.
Mối quan tâm nghiên cứu của cô bao gồm kiểm soát thao
tác, học tập tăng cường và nhận thức.
17640
JAEHWI SEOL nhận bằng Cử nhân Kỹ sư Hệ thống Sinh học
và Nông thôn, Đại học Quốc gia Chonnam, Hàn Quốc vào
năm 2020. Anh hiện đang theo học bằng Thạc sĩ về kỹ
thuật hệ thống sinh học tại Đại học Quốc gia Chonnam.
Mối quan tâm nghiên cứu của ông bao gồm robot hiện
trường, điều khiển giám sát và các hệ thống sự kiện
rời rạc.
JEONGEUN KIM (Sinh viên, IEEE) nhận bằng Cử nhân Kỹ
thuật Hệ thống Sinh học và Nông thôn, Đại học Quốc gia
Chonnam, Hàn Quốc, năm 2019.
Cô hiện đang theo học bằng Thạc sĩ về kỹ thuật hệ
thống sinh học tại Đại học Quốc gia Chonnam. Mối quan
tâm nghiên cứu của cô bao gồm robot văn hóa nông
nghiệp, robot thực địa, phân bổ nhiệm vụ cho nhiều
robot và học máy.
HYOUNG IL SON (Thành viên cấp cao, IEEE) nhận bằng Cử
nhân và Thạc sĩ của Khoa Cơ khí, Đại học Quốc gia
Pusan, Hàn Quốc, lần lượt vào năm 1998 và 2000, và
bằng Tiến sĩ. bằng cấp của Khoa Kỹ thuật Cơ khí, Viện
Khoa học và Công nghệ Tiên tiến Hàn Quốc (KAIST), Hàn
Quốc, năm 2010. Ông cũng đã được bổ nhiệm một số vị
trí trong giới học thuật và công nghiệp với tư cách
là Nhà nghiên cứu cao cấp tại LG Electronics, Pyungtaek,
Hàn Quốc, từ năm 2003 đến 2005, Samsung Electronics,
Cheonan, Hàn Quốc, từ 2005 đến 2009, Cộng tác viên
nghiên cứu của Viện Khoa học Công nghiệp, Đại học Tokyo, Tokyo, Nhật Bản, năm 2010,
và Nhà khoa học nghiên cứu của Viện Điều khiển học sinh học Max Planck, Tübingen,
Đức, từ năm 2010 đến năm 2012. Từ năm 2012 đến năm 2015, ông lãnh đạo Nhóm
Telerobotics, Viện Nghiên cứu Trung tâm, Samsung Heavy Industries, Daejeon, Hàn
Quốc, với tư cách là Nhà nghiên cứu chính. Ông gia nhập Khoa Kỹ thuật Hệ thống
Sinh học và Nông thôn, Đại học Quốc gia Chonnam, Gwangju, Hàn Quốc vào năm 2015,
nơi ông hiện là Phó Giáo sư. Mối quan tâm nghiên cứu của ông bao gồm robot hiện
trường, robot nông nghiệp, xúc giác, vận hành từ xa, và các hệ thống kết hợp và sự
kiện rời rạc.
TẬP 9, 2021