SYSTEM MODEL

- Cho 1 wireless sensor network (WSN) được đặt trong khu vực A diện tích mxn. WSN này gồm M
sensor node (SN) deploy ngẫu nhiên trong A, 1 base station (BS) nằm ở trung tâm của A và N uav
di chuyển trong A làm nhiệm vụ sạc năng lượng cho các SN.
- Thời gian được rời rạc hóa thành các time slot.
SENSOR NODE MODEL
- Các SN được phân cụm bằng thuật toán LEACH.
- Sau T time slot, các SN được phân cụm lại nhằm kéo dài thời gian sống của mạng.
- Năng lượng khởi tạo của mỗi SN là Es. (đồng thời là năng lượng tối đa của mỗi SN).
- Trong mỗi time slot, SN hoạt động theo 2 phase: Phase 1 thực hiện gửi nhận dữ liệu, Phase 2 thực
hiện harvest dữ liệu từ uav.
- Năng lượng SN sử dụng để truyền nhận dữ liệu được tính toán theo công thức sau:
𝜉𝑇 𝑥(𝜔, 𝑑) = 𝜔 ∗ (𝜉𝑒𝑙𝑒𝑐 + 𝜉𝑎𝑚𝑝 ∗ 𝑑 𝜂 )
𝜉𝑅𝑥(𝜔) = 𝜔 ∗ 𝜉𝑒𝑙𝑒𝑐
Trong đó: 𝜉𝑇 𝑥 là năng lượng cần dùng để truyền, 𝜉𝑅𝑥 là năng lượng cần dùng để nhận, w là số bits,
d là khoảng cách giữa 2 SN, 𝜂 là path loss, 𝜉𝑒𝑙𝑒𝑐 là energy dissipated in the transceiver units, 𝜉𝑎𝑚𝑝 là
energy consumed in the amplifier units of SN.
UAV MODEL
- Các uav bay ở cùng độ cao h và có cùng bán kính bao phủ là r (chỉ các SN nằm trong bán kính
này mới harvest được năng lượng).
- UAV thu thập trạng thái của các sensor trong bán kính quan sát R
- UAV bay với tốc độ v/time slot.
- Uav tiêu hao năng lượng cho 3 hoạt động:
o Pt: Năng lượng tiêu hao khi bay trong 1 time slot
o Ph: Năng lượng tiêu hao khi hover tại 1 ví trí trong 1 time slot
o Pp: Năng lượng tiêu hao khi truyền năng lượng đến các SN trong bán kính bao phủ trong
1 time slot
- Năng lượng tối đa của Uav là Eu.
- Khi sắp hết năng lượng, uav cần bay về BS để sạc lại năng lượng. Nếu uav hết năng lượng trước
khi kịp quay về sạc năng lượng thì uav đó coi như không thế tiếp tục hoạt động
- Năng lượng uav nhận được từ BS trong mỗi timeslot là Pc.
- Năng lượng mà mỗi SN nằm trong bán kính bao phủ của uav harvest được:
Ps = (lambda * Pp) / (D(SN, uav)^2 + h^2)
Trong đó lambda là energy-conversion efficiency thuộc khoảng [0, 1], D(SN, uav) là khoảng cách giữa
SN và hình chiếu của uav trên mặt đất, (D(SN, uav)^2 + h^2) là bình phương khoảng cách giữa SN và
uav.

PROBLEM FORMULA:
- Xét thời gian sống của mạng là số time slot từ khi bắt đầu đến khi SN đầu tiên die (Tmax)
- Năng lượng dư của mỗi SN sau mỗi time slot:
Er = Ecur – (gamma + beta) * 𝜔 ∗ (𝜉𝑒𝑙𝑒𝑐 + 𝜉𝑎𝑚𝑝 ∗ 𝑑 𝜂 ) - gamma * 𝜔 ∗ 𝜉𝑒𝑙𝑒𝑐 + alpha * Ps
Trong đó:
o Ecur là năng lượng dư trước time slot hiện tại,
o alpha = 0, 1, …, N là số UAV sạc năng lượng cho SN đang xét
o gamma = 0, 1, …, M là số SN gửi dữ liệu đến SN đang xét
- Để Tmax lớn nhất thì cần tối đa năng lượng dư của SN có năng lượng dư nhỏ nhất, tức là cần
tối đa hóa biểu thức sau:
max min(Er).
MARKOV DECISION PROCESS:
Gọi Mi là các SN nằm trong bán kính sạc r của UAVi, SNmin_i là SN có năng lượng dư nhỏ nhất nằm
trong bán kính quan sát R của UAVi
- State: S = si(t) = {ci(t), ei(t), E~i(t), C_SN_min_i, E_SNmin_i}, i=1,…,N
ci(t): Tọa độ của UAVi
ei(t): Năng lượng dư của UAVi
E~i(t): Trung bình năng lượng dư của các SN thuộc Mi
C_SNmin_i: Tọa độ của SNmin_i
E_SNmin_i: Năng lượng của SNmin_i
 Số chiều State: 7
- Action: A = ai(t), i=1,…,N
ai(t) = 0 -> 10
ai(t) = 0: Đi về BS để sạc
ai(t) = 1: Đứng yên để sạc cho các SN
ai(t) = 2: Đi về phía SN có năng lượng nhỏ nhất trong bán kính quan sát R
ai(t) = 3: Đi theo hướng trên
ai(t) = 4: Đi theo hướng trên phải
ai(t) = 5: Đi theo hướng phải
ai(t) = 6: Đi theo hướng phải dưới
ai(t) = 7: Đi theo hướng dưới
ai(t) = 8: Đi theo hướng dưới trái
ai(t) = 9: Đi theo hướng trái
ai(t) = 10: Đi theo hướng trái trên
- Reward: Ri(t) = Elem_Nb_SN + Elem_SN_Energy_Harvested + Elem_Min_SN +
Elem_Recharge
+ Elem_Nb_SN:
Nếu |Mi| (Số SN trong bán kính sạc r) < a1 thì Elem_Nb_SN = |Mi| - a2, ngược lại Elem_Nb_SN = |Mi|
+ Elem_SN_Energy_Harvested = a3 * Sigma(E_harvested)
Sigma(E_harvested): Tổng năng lượng đã harvest trong 1 time slot của các SN thuộc Mi
+ Elem_Min_SN:
Nếu |Mi| = 0: Elem_Min_SN = -a4
Nếu E_SNmin_i < E_SN_threshold:
Elem_Min_SN = a5 * D(UAV_i, SNmin_i) * (E_SNmin_i – E_SN_threhold) / E_SN_threshold
Nếu E_harvested_SNmin_i == 0: Elem_Min_SN = Elem_Min_SN – a6
Nếu E_harvested_SNmin_i > 0: Elem_Min_SN = Elem_Min_SN + a7 * E_harvested_SNmin_i
+ Elem_Recharge:
Nếu E_UAVi < E_UAV_threshold: Elem_Recharge = a8 * D(UAV_i, BS) * (E_UAVi –
E_UAV_threshold) / E_UAV_threshold, ngược lại Elem_Recharge = 0

a1, a2, a3, a4, a5, a6, a7, a8: Các hằng số dương