Nói về việc sự phát triển nhanh chóng của công nghệ thông tin, lượng dữ liệu ngày

càng tăng lên và số lượng sách trong thư viện các trường đại học cũng vậy, người
dùng cần phải dành nhiều thời gian để tìm kiếm và lựa chọn 1 cuốn sách, đồng thời
với đó có nhiều đầu sách chưa được sử dụng hiệu quả, gây lãng phí tài nguyên. Để
giải quyết vấn đề đó, các hệ thống tìm kiếm và gợi ý ra đời. Tuy nhiên các hệ thống
này chỉ dừng ở việc cung cấp đề xuất mà không có sự tương tác giữa người đọc và
sách

vấn đề:

sinh viên tìm sách thủ công rất khó khăn và

các hệ thống gợi ý sẽ có cold start
cần một model có thể trò chuyện và đưa ra gợi ý

Hiểu sách và đề xuất cá nhân hóa (BUPR) là những ứng dụng quan trọng trong lĩnh vực
khoa học thông tin và thư viện (LIS). Trong kịch bản BUPR, chúng ta thường cần giải
một số bài toán con, chẳng hạn như

(1) cách giới thiệu những cuốn sách phù hợp dựa trên sở thích và sở thích của người
dùng,
(2) cách dự đoán mức độ phổ biến của một cuốn sách mới để quyết định có nên mua nó
hay không, và
(3) cách cung cấp các đề xuất có thể hiểu được cho những người dùng khác nhau để
cải thiện tỷ lệ chấp nhận của người dùng.

Nói chung, chúng ta cần lập mô hình tương tác giữa người đọc và sách, thuộc tính cơ
bản của người đọc và thuộc tính cơ bản của sách, cùng với các loại dữ liệu thuộc
tính và tính năng khác, đồng thời sử dụng các phương pháp học máy khác nhau để đào
tạo và tối ưu hóa các mô hình đề xuất độc lập cho từng nhiệm vụ phụ. , do đó cải
thiện hiệu quả khuyến nghị cuối cùng.

Tuy nhiên, khi kịch bản ngày càng trở nên phức tạp và lượng dữ liệu tăng lên, việc
đáp ứng các nhu cầu đề xuất và ứng dụng khác nhau trở nên khó khăn. Có thể có một
mô hình đề xuất được cá nhân hóa thống nhất cho phép chúng tôi giải quyết tất cả
các loại vấn đề cơ bản trong kịch bản BUPR chỉ bằng một vài ví dụ đào tạo liên quan
đến nhiệm vụ không? Câu trả lời là có!

nói về thư viện số xong vấn đề quá nhiều sách và không biết chọn lựa

Thư viện số với vai trò là một trong những phương thức quan trọng nhất giúp sinh
viên tiếp thu kiến thức chuyên môn và nâng cao trình độ chuyên môn đã nhận được
nhiều sự quan tâm trong thời gian gần đây. Nhiều trường đại học đã thành lập thư
viện số với lượng tài nguyên số từ hàng chục nghìn đến hàng triệu. Một mặt, thư
viện số thuận tiện hơn trong việc sử dụng và quản lý so với thư viện truyền thống.
Mặt khác, việc tìm kiếm các nguồn tài liệu cần thiết (chẳng hạn như sách) là một
thách thức lớn đối với sinh viên. Để vượt qua thách thức này, các hệ thống gợi ý
được sử dụng có thể tận dụng hồ sơ lịch sử của người dùng để giúp họ khám phá thông
tin thú vị và chất lượng cao một cách hiệu quả. Tuy nhiên, khi dữ liệu ngày càng
tăng lên theo thời gian, việc đáp ứng các nhu cầu về đề xuất trở lên khó khăn.

Thư viện số đóng một vai trò quan trọng trong việc cung cấp một phương tiện hiện
đại và tiện lợi cho việc tiếp cận thông tin và kiến thức. Khác biệt rõ ràng so với
thư viện truyền thống, thư viện số mang lại khả năng truy cập tài nguyên từ mọi nơi
và mọi lúc, chỉ cần có kết nối internet. Điều này tạo điều kiện cho việc học tập,
nghiên cứu và giáo dục tự phát, vượt qua giới hạn về không gian và thời gian mà thư
viện truyền thống thường gặp phải. Mặt khác, việc tìm kiếm các nguồn tài liệu cần
thiết (chẳng hạn như sách) là một thách thức lớn đối với sinh viên. Họ phải đi Để
giải quyết vấn đề đó, các hệ thống gợi ý thông minh đã được triển khai như một giải
pháp, nhưng sự bùng nổ của dữ liệu khiến việc duy trì hiệu quả của chúng trở nên
phức tạp hơn.

Trong những năm gần đây, với sự phát triển mạnh mẽ của nlp, và việc ra đời của các
mô hình llm hàng tỷ tham số đã tạo ra bước ngoặt trong việc phát triển các hệ thống
đề xuất trong thư viện số. Với khả năng hiểu và diễn đạt ngôn ngữ tự nhiên tương tự
như con người, các LLM này đang mở rộng khả năng của máy tính trong việc xử lý và
phân tích dữ liệu văn bản lớn, đặc biệt là trong lĩnh vực thư viện số và truy cập
thông tin. Sự tiến bộ này không chỉ giúp máy tính 'hiểu' được ngữ cảnh và nhu cầu
thông tin cụ thể của người dùng mà còn cho phép chúng 'học' được cách tạo ra những
đề xuất phù hợp và cá nhân hóa dựa trên sở thích và hành vi đọc sách của họ.

Với sự phát triển của NLP và LLM, các hệ thống đề xuất trong thư viện số không còn
giới hạn ở việc phân loại và tìm kiếm dựa trên từ khóa đơn giản. Thay vào đó, chúng
có thể phân tích sâu các yêu cầu tìm kiếm và lịch sử tương tác của người dùng để đề
xuất tài liệu, sách, bài báo, và các nguồn thông tin khác một cách thông minh và
tinh tế hơn. Hệ thống có thể nhận diện các mẫu ngôn ngữ phức tạp, hiểu được ý định
và nhu cầu cụ thể, từ đó tối ưu hóa kết quả đề xuất theo cách mà trước đây không
thể

The role and value of public libraries in the age of digital technologies

Thư viện số VNU đóng một vai trò quan trọng trong việc cung cấp một phương tiện
hiện đại và tiện lợi cho việc tiếp cận thông tin và kiến thức. Khác biệt rõ ràng so
với thư viện truyền thống, thư viện số mang lại khả năng truy cập tài nguyên từ mọi
nơi và mọi lúc, chỉ cần có kết nối internet. Điều này tạo điều kiện cho việc học
tập, nghiên cứu và giáo dục tự phát, vượt qua giới hạn về không gian và thời gian
mà thư viện truyền thống thường gặp phải. Mặt khác, việc tìm kiếm các nguồn tài
liệu cần thiết (chẳng hạn như sách) là một thách thức lớn đối với sinh viên. Họ
phải tìm kiếm cuốn sách mình cần trong hàng vạn cuốn sách khác nhau. Để giải quyết
vấn đề đó, các hệ thống gợi ý thông minh đã được triển khai như một giải pháp,
nhưng sự bùng nổ của dữ liệu khiến việc duy trì hiệu quả của chúng trở nên phức tạp
hơn.

Trong những năm gần đây, với sự phát triển nhanh chóng của công nghệ xử lý ngôn ngữ
tự nhiên (NLP) và sự ra đời của các mô hình ngôn ngữ lớn(LLM)(tiêu biểu là ChatGPT)
đã tạo ra hướng đi mới cho chức năng đề xuất trong thư viện số. Chúng có khả năng
hiểu và diễn đạt ngôn ngữ tự nhiên tương tự như con người, LLMs có thể xử lý và
phân tích dữ liệu văn bản một cách hiệu quả hơn, đặc biệt hữu ích trong lĩnh vực
thư viện số và truy cập thông tin. Nhờ vậy, chúng không chỉ "hiểu" được ngữ cảnh và
nhu cầu cụ thể của người dùng mà còn "học" cách tạo ra những đề xuất phù hợp và cá
nhân hóa dựa trên sở thích và hành vi đọc sách của họ.

Bài báo này thảo luận về việc ứng dụng sức mạnh của llm trong việc xây dựng hệ
thống đề xuất sách trong thư viện VNU.

Chức năng đề xuất trong thư viện số ngày nay không còn giới hạn ở việc phân loại và
tìm kiếm dựa trên từ khóa đơn giản. Nhờ ứng dụng NLP và LLMs, hệ thống có thể phân
tích sâu các yêu cầu tìm kiếm và lịch sử tương tác của người dùng để đề xuất tài
liệu, sách, bài báo, và các nguồn thông tin khác một cách thông minh và tinh tế
hơn. Hệ thống nhận diện các mẫu ngôn ngữ phức tạp, hiểu được ý định và nhu cầu cụ
thể, từ đó tối ưu hóa kết quả đề xuất theo cách tối ưu nhất cho từng người dùng.

Ví dụ: Hệ thống có thể đề xuất các cuốn sách cùng tác giả, cùng thể loại, hoặc có
nội dung liên quan đến cuốn sách mà người dùng đang đọc. Hệ thống cũng có thể đề
xuất các bài báo khoa học phù hợp với lĩnh vực nghiên cứu của người dùng.

Bài báo này đề xuất phát triển chatbot ứng dụng llm tập trung vào việc giới thiệu
và tư vấn các nội dung liên quan đến những cuốn sách. Chúng tôi thấy rằng tinh
chỉnh theo hướng dẫn là cốt lõi cho phép llm học cách giải quyết các nhiệm vụ khác
nhau và có khả năng khái quát hóa mạnh mẽ. Chúng tôi thực hiện tinh chỉnh LLM với
các dữ liệu dưới dạng hướng dẫn và tinh chỉnh instruction . Mặt khác, việc đào tạo
LLM cần một lượng tài nguyên lớn, chúng tôi sử dụng phương pháp tinh chỉnh nhẹ để
giảm thiểu chi phí về tài nguyên.

Bài báo này đề xuất phát triển chatbot ứng dụng mô hình ngôn ngữ lớn (LLM) tập
trung giới thiệu và tư vấn nội dung liên quan đến sách. Chúng tôi nhận thấy tinh
chỉnh theo hướng dẫn là yếu tố then chốt giúp LLM học cách giải quyết nhiều nhiệm
vụ khác nhau và có khả năng khái quát hóa mạnh mẽ. Quá trình tinh chỉnh LLM được
thực hiện với dữ liệu dưới dạng hướng dẫn và tinh chỉnh instruction. Do việc đào
tạo LLM đòi hỏi lượng tài nguyên lớn, chúng tôi sử dụng phương pháp tinh chỉnh nhẹ
để giảm thiểu chi phí.

Bài viết này thảo luận về việc phát triển một chatbot sử dụng mô hình ngôn ngữ lớn
(LLM) cho nhiệm vụ hiểu sách và đề xuất cá nhân hóa. Chúng tôi nhận thấy tinh chỉnh
theo hướng dẫn là yếu tố then chốt giúp llm học cách giải quyết một nhiệm vụ cụ thể
nào đó. Mặt khác, việc đào tạo LLM đòi hỏi lượng tài nguyên lớn, chúng tôi sử dụng
phương pháp tinh chỉnh nhẹ nhằm giảm chi phí và tài nguyên cần thiết cho việc đào
tạo mô hình.

Cụ thể, chúng tôi sử dụng mô hình Vistral với kiến trúc LoRA, dữ liệu của chúng tôi
tập trung vào các cuốn sách về lĩnh vực như machine learning và ai. Qua quá trình
tinh chỉnh, mô hình của chúng tôi có kết quả vượt trội so với GPT-3.5 hay base
model. Nghiên cứu của chúng tôi có một số điểm mới như sau:1) đây là chatbot đầu
tiên ứng dụng LLM trong việc đề xuất và hiểu sách trong thư viện. 2) Chúng tôi

This paper discusses the development of a chatbot using a large language model
(LLM) for the task of book understanding and personalized recommendation. We have
found that instruction-based fine-tuning is a crucial element enabling the LLM to
learn how to solve a specific task. However, LLM training necessitates significant
resources. Consequently, we leverage a lightweight fine-tuning approach to minimize
the training costs and resource requirements.

This paper explores the development of a chatbot powered by a large language model
(LLM) designed for book comprehension and personalized recommendations. Our
research indicates that instruction-based fine-tuning is pivotal in equipping the
LLM with the necessary skills to perform specific tasks. We adopted a lightweight
fine-tuning methodology, which relies on structuring data as instructions. This
approach is aimed at reducing the training costs and resources needed for the
model's development.

Toward this goal, we focus on tuning LLMs with the recommendation task. Considering
that instruction tuning is core to letting the LLM learn to solve different tasks
and have strong generalization ability [22, 23, 37], we propose a lightweight
tuning framework to adapt LLMs for recommendations, named TALLRec. Elaborately,
TALLRec structures the recommendation data as instructions and tunes the LLM via an
additional instruction tuning process. Moreover, given that LLM training
necessitates a substantial amount of computing resources, TALLRec employs a
lightweight tuning approach to efficiently adapt the LLMs to the recommendation
task.

This paper proposes a chatbot application based on a large language model (LLM)
that focuses on introducing and recommending content related to books. We have
found that instruction-based fine-tuning is a crucial element enabling the LLM to
learn to tackle various tasks and to generalize effectively. The LLM fine-tuning
process is performed with data in the form of prompts and fine-tuned instructions.
Due to the large amount of resources required to train LLMs, we employ a
lightweight fine-tuning method to minimize resource costs.

This article proposes the development of a chatbot that applies a large language
model (LLM) focused on introducing and advising on book-related content. We have
found that instruction-based fine-tuning is a crucial element enabling the LLM to
learn to tackle various tasks and to generalize effectively. The fine-tuning
process for the LLM is carried out using data in the form of instructions and
instructional tuning. As training LLMs requires significant resources, we employ a
light fine-tuning approach to minimize costs.

Chúng tôi nghiên cứu một vấn đề mới trong đề xuất

- điều chỉnh LLM phù hợp với đề xuất, trong đó chúng tôi tiết lộ những hạn chế của
các phương pháp tiếp cận dựa trên Học tập trong ngữ cảnh và nhấn mạnh tầm quan
trọng của việc điều chỉnh hướng dẫn.

• Chúng tôi giới thiệu khung TALLRec mới để xây dựng Mô hình ngôn ngữ đề xuất lớn,
cho phép điều chỉnh LLM hiệu quả và hiệu quả cho đề xuất với chi phí GPU thấp và ít
mẫu điều chỉnh.

• Chúng tôi tiến hành các thử nghiệm sâu rộng, xác nhận tính hiệu lực và hiệu suất
của khung được đề xuất và khám phá tính mạnh mẽ vượt trội của nó với khả năng điều
hướng liền mạch trên các lĩnh vực khác nhau.