Grading Individual Image Results
xem xét các kết quả hình ảnh riêng lẻ cho truy vấn và xác định mức độ
WebImagesSingleSideImageSatisfaction
Task bao gồm: Một truy vấn tìm kiếm kết quả hình ảnh và hai danh
sách các hình ảnh nhằm dáp ứng truy vấn
Yêu cầu:
Cung cấp image flags và image satisfaction cho từng hình ảnh
Mức độ ưu tiên tổng thể cho hai danh sách
Understanding the Query
Một số truy vấn có thể chỉ có một mục
đích duy nhất và một khía cạnh liên
quan đến hình ảnh
truy vấn có thể có nhiều mục đích
hoặc mục đích có nhiều khía cạnh
liên quan đến hình ảnh
Nếu truy vấn nhiều ý định, tập trung
vào ý định hợp lý có khả năng xảy ra
nhất
thỏa mãn của từng hình ảnh đối với (các) mục đích của người dùng.
nên truy cập trang lưu trữ của từng hình ảnh để hiểu rõ hơn về những
gì được mô tả trong hình ảnh.
Chọn cờ hình ảnh: Did not load, Unsafe, Near duplicate (Luu ý cụm 2
hoặc nhiều hình ảnh gần trùng lặp thì k được gắn cờ trùng lặp hình ảnh
đánh giá cao nhất mà chỉ được gắn cờ các hình ảnh còn lại)
Đánh giá sự hài lòng
NS: Hình ảnh không liên quan gì đến truy vấn
SS: Hình ảnh liên quan đến truy vấn, nhưng có những vấn đề lớn. Đối với các truy
vấn mơ hồ, hình ảnh chỉ đáp ứng một phần nhỏ hoặc chất lượng hình ảnh thấp.
MS: Hình ảnh có liên quan đến truy vấn, và hình ảnh khá tốt. Đối với các truy vấn
mơ hồ với nhiều ý định có thể xảy ra, hình ảnh đáp ứng một ý định hợp lý. Đối với
các truy vấn cụ thể, hình ảnh có thể đáp ứng truy vấn một phần hoặc hoàn toàn.
HS: Hình ảnh có liên quan đến truy vấn, và hình ảnh rất xuất sắc. Đối với các truy
vấn mơ hồ với nhiều ý định có thể xảy ra, hình ảnh đáp ứng một ý định hợp lý. Đối
với các truy vấn cụ thể, hình ảnh hoàn toàn đáp ứng truy vấn.
Hướng dẫn hạ thấp kết quả khi hình ảnh có văn bản...
Đối với các truy vấn tìm kiếm về hình ảnh chứa meme hoặc chữ viết cụ thể, việc thêm chữ
lên hình ảnh là chấp nhận được
Đối với các truy vấn tìm kiếm về thực thể, hình ảnh có chữ viết nên bị hạ thấp.
Đối với kết quả hình ảnh có watermark hoặc hiệu ứng đặc biệt khác k ảnh hướng đến chất
lượng k phải hạ thấp
Đối với việc đánh giá tính phù hợp của hình ảnh, hãy xem xét kích thước và độ phân giải của
hình ảnh trong ngữ cảnh của ý định của người dùng khi đưa ra truy vấn.
Khi đánh giá sự ưu tiên tổng thể giữa hai danh sách kết quả tìm kiếm, hãy cân nhắc các
nguyên tắc người dùng ưa thích một bên chứa các kết quả tốt hơn, một bên mà các kết quả
tốt được xếp hạng càng cao càng tốt, một bên chứa ít kết quả không tải hoặc kết quả tìm kiếm
không an toàn. Nếu gặp khó khăn khi quyết định bên nào tốt hơn, hãy chọn "Gần như giống
nhau".