密 级 保密 期 限

： ：


．

避耆 部 ｆ Ａｆ



硕 士 学位论文



题 目 ： 基 于 共 识 策 略 的 多 无 人机




组网研究 



学 号 ：  ２ ０ １ ９１１ ０３４９



姓 名 ：

黄芷菡 



专 业  信 息 与 通 信 工 程
：



导 师 ：

许晓东 



学 院  信 息 与 通 信 工 程
：



２ ０２ ２ 年 ５ 月 ２７ 

日

中国 ■

北京


 密 级  保密 期 限
： 

：

分ｆ 却 ｔ 大聲


硕 士 学 位论文



题 目  基 于共识 策 略 的 多 无 人 机 组 网 研 究
： 


学号 ：  ２ ０ １ ９ １ １ ０３ ４ ９ 



姓名 ：

ｍｍ 



专 业  信 息 与 通 信 工 程
： 


导师 ：

许晓东 



学 院  信 息 与 通 信 工 程
： 


２ ０２ ２ 年 ０５ 月 ２７ 

日
 Ｓ ｅ ｃ ｒ ｅ ｃ ｙ Ｃ ｌ ａ ｓ ｓ ｉ ｆ
ｉ ｃａ ｔｉ ｏ ｎ ：  Ｓ ｅ ｃ ｒｅ ｃ ｙＰ ｅ ｒ ｉ ｏｄ 

：

Ｂ ｅ ｕ ｎ ｇ  Ｕ ｎ ｖ ｅ ｒ ｓ ｔｙ  ｏ ｆ
ｉ 
 ｉ ｉ

｜薦  Ｐｏ ｓｔｓ  ａ ｎ ｄ



Ｔ ｅ ｌ ｅ ｃ ｏ ｍ ｍ ｕ ｎ ｃ ａｔ ｏ ｎ ｓ

 ｉ ｉ

Ｔ ｈｅｓ ｉ ｓ ｆｏ ｒ  Ｍ ａ ｓ ｔ ｅ ｒ Ｄ ｅ ｇ ｒｅ ｅ

 

Ｔｏ ｐ ｉ ｃ ：  Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｏ ｎｍ ｕ ｌｔｉ
－

ＵＡＶ  ｎ ｅ ｔｗ ｏ ｒ ｋ



ｂ ａ ｓ ｅ ｄ  ｏ ｎ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ ｓ ｔ ｒ ａ ｔ ｅ ｇ ｙ 



Ｓ ｔ ｕ ｄ ｅ ｎ ｔＮ ｏ ． ：
 
２０ １ ９１ １ ０３ ４ ９ 



Ｃａｎｄ ｉ ｄ ａ ｔｅ ：
 
黄龙 菌 



Ｓ ｕ ｂｊ ｅ ｃ ｔ ：  Ｉ ｎ ｆｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ａ ｎ ｄ  Ｃ ｏ ｍ ｍ ｕ ｎ ｃ ａ ｔ ｉ ｏ ｎ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ
ｉ 


Ｓ ｕ ｐ ｅ ｒｖ ｉ ｓ ｏ ｒ  ：

许晓东 



Ｉ ｎ ｓ ｔｉ ｔ ｕ ｔｅ ：
 
Ｓ ｃ ｈ ｏ ｏ ｌ  ｏ ｆ  Ｉ ｎ ｆｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ  ａ ｎ ｄ 




Ｃｏｍ ｍ ｕｎ ｉ ｃ ａ ｔ ｉ ｏ ｎ Ｅｎｇ ｉ ｎ ｅｅｒ ｎ ｇ
ｉ




２ ０２２ ０ ５ ２７
．
 ．
 基 于 共 识策 略 的 多 无 人机组 网 研究



摘 

要

近年来 ， 无 人机 （ Ｕ ＡＶ ） 以 其体积 小 、 机动性 强 成本低等优 点 、 


，

在 人们 生活 的 各个领域得 到 了 广 泛 的 应 用 。
与 单 无人机相 比 ， 团 队式


的 无 人机系 统在执 行追踪 、 监控 、 检查和 自 动化工 厂等协 作任务方面


具有显 著优势 其中 作 为无 人机领域 的 个重要应用 多 无 人机协


一

，
。 ，

同 完 成追踪 任务 目 前受到 了 广 泛 的关注 


。

在 多 无 人机追 踪 网 络 中 ， 无人机之 间 准确及 时 的 信 息 交互是精准



追踪 目 标 的 关键 。
目 前 分布 式 协 同 估 计方 法 越来越 受到 重视 ， 多智能


体共识策略就是其 中 种 重要 的 方法 有 效 的 共识策 略可 以 通过 与 相


一

邻 无人机 的 信 息交 互完 成追踪任务 。 然而 ， 在 多 无 人机 追 踪 网 络 中 

，

由 于追 踪 无 人机 时刻 在 移 动 ， 且信 道环 境 复 杂 多 变 ， 网络拓扑会随时


发生 改变 ，
一

些 现有 的 通信 链 路 也会 发 生 频繁地 中 断 ， 导致通信质 量


下降 ， 严重影响 共识策略 的 准确 性和 收敛 时 延 ， 以 至于 无法 实 现精 准


追 示
￡ 

。

在追踪 网 络 中 ， 影 响 共识 收敛 时 延 的 主要 因 素是 网 络 的 连通度 

，

且 无 人机 在 追踪 和 共 识 的 过程 中 能效也是 个 最基本 的 性 能 指 标
一



，
，

因此 ， 本文将针对 以 上指 标进 行 以 下研 究 

：

针对增 减 网 络 拓 扑 边 以 提 高 网 络 连通度 的 方 式 本文 在追 踪 网 络 
 ，

中 引 入了 架 中 继无人 机 建 立 了 种 新 的 网 络 拓 扑 更新方式 提 出 

一
一

，
，

了 种 基 于 Ｄ ＱＮ 算 法 的 中 继 无 人 机 部 署 与 轨 迹 规 划 的 方 案 将 部 署


一

中 继 无人机 的 过程 分 为 两个步骤 。 首先提 出 了 基于 Ｄ ＱＮ 的 部 署 算法



来 获取 中 继无人机 的 初 始位置 优化 了 追 踪 网 络 的 能量 消 耗和 共 识 收 
 ，

敛 时 延 其 次 在 追 踪 无 人 机 的 运 动 过 程 中 提 出 了 基 于 Ｄ ＱＮ 的 轨
。 ，

 ，

迹规划算法 有 效地 提 高 了 多 无人机跟 踪 网 络 的 共 识 成 功 概 率 降低
，

 ，

了 多 无 人 机 追 踪 网 络 的 中 断 概 率 仿 真 结 果 表 明 与 Ｑ ｅ ａｍ ｎ ｇ 算 法
－

。 ， ｌ ｉ 

、

随机位置部署 算法相 比 ， 本文提 出 的 算法具有更好 的 性能 


。

针对 增 减 网 络 拓 扑 权 重 以 提 高 网 络连通 度 的 方 式 本 文 提 出 了


一

种 基 于 ＭＡＤ ＱＮ 算 法 的 多 无 人 机 轨 迹 和 功 率 分 配 联 合 优 化 方 案 。 

由

于 联合优 化 问 题 的 组合 性 和 非 凸 性 ， 同 时 考 虑 到 每 架 无人机 的 效 用 是


根据 网 络环境 和 其它 无 人机 的 行为 来 确 定 的 可 以 将 该 问 题 建模 为


一

个 随 机博弈 问 题 针对 离 散 动 作 空 间 和 大状态 空 间 导 致 的 计 算 复 杂 度
。 

高的问题 提出 了 ，  Ｍ Ａ Ｄ ＱＮ 算 法来求 解 该 问 题 的 最 优策 略 仿 真结 果

 。

表明 ， 本文提 出 的 算法与 其它 算法相 比 ， 具有 明 显 的 优 势 ， 有 效地减



少 了 共 识 收敛 时延和 网 络 的 能量消 耗 

。

针对 改变 网 络 连通度 可 以 减少 共 识 收敛 时延 的 具 体 原 因 本 文进

 ，

步从 图论 的角 度 解释 了 网 络共识 问 题 分 析 了 网 络连通度 并且


一

， ， ，

详 细 给 出 了 前 两个 提 出 的 方 案之 所 以 能提升 和 改善共识 收敛 时延 的


具体原 因 ， 同 时对 其分 别进行 了 相 应 的 仿 真 ， 仿真结 果验证 了 分析 结


果 

。

综上所述 ， 本文主要针对追踪场景 下 ， 网 络 的共识 收敛时延 和 能



效这两 个 性 能指 标展开研 宄 ， 从 网络连通度 的 角 度做 了 相 应 的分析 

，

并 分 别 提 出 了 两种 优 化 方 案 ， 对 未来可研 究方 向 进 行 了 展 望 

。

关 键词 ： 多 无人机追踪 网 络 共识 收敛 时 延 路径 规划 能效优化



深度强化学 习 算法


 Ｒ Ｅ Ｓ Ｅ ＡＲＣ Ｈ Ｏ Ｎ Ｍ Ｕ ＬＴ Ｉ Ｕ ＡＶ Ｓ Ｎ Ｅ Ｔ Ｗ ＯＲＫ

  
－

Ｂ Ａ Ｓ Ｅ Ｄ Ｏ Ｎ  Ｃ Ｏ Ｎ Ｓ Ｅ Ｎ Ｓ Ｕ Ｓ  Ｓ Ｔ ＲＡＴ Ｅ Ｇ Ｙ
 


ＡＢ Ｓ Ｔ ＲＡ Ｃ Ｔ



Ｉ ｎ  ｒ ｅ ｃ ｅｎｔ
 ｙ ｅ ａｒ ｓ ， 
ｕｎｍ ａ ｎ ｎ ｅ ｄ  ａ ｅ ｒ ｉ ａ ｌ  ｖ ｅ ｈ ｉ ｃ ｌ ｅ  （ ＵＡＶ ）  ｈ ａ ｓ  ｂ ｅ ｅ ｎ  ｗ ｉ ｄ ｅ ｌ ｙ  ｕ ｓ ｅ ｄ



ｉ ｎ  ｖ ａ ｒ ｉ ｏｕ ｓ  ｆ
ｉ ｅ ｌ ｄ ｓｏ ｆ ｐｅ ｏｐ ｌ ｅ 
ｓ  ｌ ｉ ｆｅ  ｂ ｅ ｃ ａ ｕ ｓ ｅ  ｏ ｆ  ｉ ｔ ｓｓ ｍ ａｌ ｌ  ｓ ｉ ｚ ｅ ， ｓ
ｔ ｒ ｏｎ
ｇ  ｍ ｏ ｂ ｉ ｌ ｉｔｙ



ａｎ ｄ ｌ ｏｗ ｃ ｏ ｓｔ  ．  Ｃ ｏｍ ｐ ａ ｒ ｅ ｄ  ｗ ｉ ｔｈ  ｓ ｉｎ
ｇｌｅ  ＵＡＶ ， 
ｔｅ ａ ｍ  Ｕ ＡＶ  ｓ
ｙ ｓｔｅ ｍ ｈ ａ ｓ   ｓｉ
ｇｎ ｉ ｆ ｉ ｃ ａｎ ｔ



ａ ｄｖ ａ ｎ ｔ ａ ｏ ｐ ｅ ｒ ａｔ ｉ ｖ ｅ  ｔ ａ ｓ ｋ ｓ  ｓ ｕ ｃ ｈ  ａ ｓ  ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ
ｇ ｅ ｓ  ｉ ｎ  ｐ ｅ ｒ ｆｏ ｒ ｍ ｉ ｎ ｇ  ｃ ｏ ，  ｍ ｏ ｎ ｉ ｔｏ ｒｉ ｎ ｇ 

，

ｉ ｎｓ
ｐ ｅｃ
ｔ ｉ ｏｎ  ａ ｎｄ  ａｕ ｔ ｏ ｍ ａｔ ｉ ｃｃ ｈ ｅ ｍ ｉ ｃ ａ ｌ
ｐ
ｌ ａｎ ｔ  ． Ａｍ ｏ ｎ ｇ  ｔ ｈ ｅ ｍ  ａ ｓ  ａｎ  ｉ ｍ ｐ ｏ ｒ ｔ ａ ｎｔ
，



ａ
ｐｐ ｌ ｉ ｃ ａｔｉ ｏｎ  ｉ ｎ  ｔ ｈ ｅ  ｆ ｉ ｅ ｌ ｄ  ｏ ｆ  Ｕ ＡＶ ， 
ｍｕ ｌ ｔ ｉ －

ＵＡＶ ｓ ｃ ｏ ｏ ｐ ｅ ｒ ａｔ ｉ ｖ ｅ  ｔｒ ａ ｃ ｋ ｉ ｎ ｇ

ｔ ａｓｋ ｈａ ｓ



ａｔ ｔ ｒ ａ ｃ ｔ ｅ ｄ  ｅ ｘｔ ｅ ｎ ｓ ｉ ｖ ｅ  ａｔ ｔ ｅ ｎ ｔ ｉ ｏｎ 

．

Ｉｎ  ｔｈ ｅ  ｍｕ ｌ ｔｉ
－

Ｕ ＡＶ ｓ  ｔｒ ａ ｃ ｋ ｉ ｎ ｇ  ｎ ｅ ｔ ｗ ｏ ｒｋ ，  ｔ ｈ ｅ  ａｃ ｃ ｕ ｒ ａｔ ｅ  ａｎ ｄ  ｔ ｉ ｍｅ ｌｙ



ｉ ｎ ｆｏ ｒ ｍ ａ ｔ ｉ ｏｎ  ｉ ｎ ｔ ｅｒ ａ ｃ ｔ ｉ ｏ ｎ  ｂ ｅ ｔ ｗ ｅ ｅｎ  ＵＡＶ ｓ  ｉ ｓ  ｔ ｈ ｅ  ｋ ｅｙ  ｔ ｏ  ａ ｃ ｃ ｕｒ ａｔ ｅ ｌ ｙ  ｔ ｒ ａ ｃ ｋ  ｔ ｈ ｅ



ｔａｒ
ｇ ｅｔ ．  Ａｔ  ｐ ｒ ｅ ｓ ｅ ｎ ｔ ，  ｍ ｏ ｒ ｅ  ａ ｎ ｄ  ｍ ｏ ｒ ｅ  ａｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ  ｈ ａ ｓ  ｂ ｅ ｅ ｎ  ｐ ａ ｉ ｄ  ｔ ｏ  ｄ ｉ ｓ ｔ ｉ ｂ ｕｔ ｅ ｄ
ｒ 


ｃ ｏ ｌ ｌ ａｂ ｏ ｒ ａｔ ｉ ｖ ｅ  ｅ ｓ ｔ ｉ ｍ ａｔ ｉ ｏ ｎ ｍ ｅ ｔｈ ｏ ｄ ｓ  ．  Ｍｕ ｌ ｔｉ
－

ａ
ｇ ｅ ｎ ｔ ｃ ｏｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｓ ｔ ｒ ａｔ ｅ ｇｙ  ｉ ｓ  ｏｎ ｅ  ｏ ｆ
 


ｔ ｈ ｅ  ｉ ｍ ｐ ｏ ｒ ｔ ａ ｎ ｔ  ｍ ｅ ｔ ｈ ｏｄ ｓ ．  Ａ ｎ  ｅ ｆｆ
ｅｃ ｔｉ ｖ ｅ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｓ ｔ ｒａ ｔ ｅ ｇ ｙ  ｃ ａ ｎ  ｃ ｏ ｍ ｐ ｌ ｅ ｔ ｅ  ｔ ｈ ｅ



ｔ ｒ ａｃ ｋ ｉ ｎ ｇ  ｔ ａ ｓ ｋ  ｔ ｈ ｒ ｏｕ ｇ ｈ  ｔ ｈ ｅ  ｉ ｎ ｆｏ ｒ ｍ ａｔ ｉ ｏｎ  ｉ ｎ ｔ ｅ ｒ ａ ｃ ｔｉ ｏｎ  ｗ ｉ ｔ ｈ  ａｄ ａ ｃ ｅ ｎ ｔ  ＵＡＶ ｓ ｊ


．

Ｈｏｗ ｅｖ ｅ ｒ  ，
ｉ ｎ  ｔｈｅ  ｍｕ ｌ ｔ ｉ －

ＵＡＶ ｓ  ｔｒ ａ ｃ ｋ ｉ ｎ ｇ  ｎ ｅ ｔｗ ｏ ｒｋ ， ｂ
ｅ ｃ ａｕ ｓ ｅ  ｔ ｈ ｅ  Ｕ ＡＶ  ｏ ｆ ｔ ｈｅ



ｔ ｒ ａｃ ｋ ｉ ｎ ｇ  ｎ ｅ ｔ ｗ ｏ ｒｋ  ｉ ｓ  ｍ ｏ ｖ ｉ ｎ ｇ  ａ ｌ ｌ  ｔ ｈ ｅ  ｔ ｉ ｍ ｅ ，  ａｎ ｄ  ｔｈ
ｅ  ｃ ｈ ａ ｎ ｎ ｅ ｌ  ｅ ｎｖ ｉ ｒ ｏ ｎｍ ｅ ｎ ｔ  ｉ ｓ



ｃ ｏｍ
ｐｌ ｅｘ
 ａ ｎ ｄ  ｃ ｈ ａｎ
ｇｅ ａ
ｂ ｌｅ ， 
ｔ ｈ ｅ  ｎ ｅ ｔ ｗｏ ｒｋ  ｔ ｏ ｐ ｏ ｌ ｏ ｇ ｙ  ｗ ｉ ｌ ｌ  ｃ ｈ ａｎ ｇ ｅ  ａｔ  ａｎ ｙ  ｔ ｉ ｍ ｅ 

，

ａｎ ｄ  ｓ ｏｍ ｅ  ｅｘ ｉ ｓ ｔ ｉ ｎ ｇ ｃ ｏ ｍｍｕｎ ｉ ｃ ａｔ ｉ ｏ ｎ  ｌ ｉ ｎ ｋ ｓ  ｗ ｉ ｌ ｌ  ｂ ｅ  ｉ ｎ ｔ ｅ ｒ ｒ ｕ
ｐｔｅ ｄ ｆ
ｒ ｅ ｑｕ ｅ ｎｔｌ ｙ 

，

ｒ ｅ ｓｕｌ ｔｉ ｎ
ｇ  ｉ ｎ  ｔ ｈ ｅ  ｄ ｅ ｃ ｌ ｉ ｎ ｅ  ｏ ｆ ｃ ｏｍ ｍｕｎ ｉ ｃ ａｔｉ ｏｎ  ｑ ｕ ａ ｌ ｉ ｔ ｙ

， 
ｗ ｈ ｉ ｃ ｈ  ｓ ｅ ｒ ｉ ｏ ｕ ｓ ｌ ｙ  ａ ｆ ｆｅ ｃ ｔ ｓ



ｔｈ ｅ  ａ ｃｃ ｕ ｒ ａ ｃ
ｙ  ａ ｎ ｄ  ｃ ｏｎｖ ｅ ｒ ｇ ｅ ｎ ｃ ｅ  ｄ ｅ ｌ ａｙ  ｏ ｆ  ｔｈ ｅ  ｃ ｏｍｍ ｏ ｎ  ｓ ｔ ｒ ａｔ ｅ ｇ ｙ  ｓ ｏ  ｔ ｈ ａｔ

 ，

ａ ｃ ｃ ｕ ｒ ａｔ ｅ  ｔ ｒ ａ ｃ ｋ ｉ ｎ ｃ ａｎｎ ｏ ｔ  ｂ ｅ  ｒ ｅ ａ ｌ ｉ ｚ ｅ ｄ
ｇ 

．

Ｉ ｎｔ ｈ ｅ  ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ  ｎ ｅｔｗｏ ｒｋ  ｔｈ ｅ  ｍ ａ ｉ ｎ  ｆａ ｃｔ ｏ ｒ  ａ ｆ ｆｅ ｃｔ ｎ ｇ  ｔ ｈ ｅ  ｃ ｏｎ ｓ ｅ ｎ ｓ ｕ ｓ
，

 ｉ

ｃ ｏｎｖ ｅ ｒ
ｇ ｅ ｎ ｃ ｅ  ｄ ｅ ｌ ａｙ  ｉ ｓ  ｔｈ ｅ  ｃ ｏｎｎ ｅ ｃ ｔ ｉ ｖ ｉ ｔ ｙ  ｏ ｆ  ｔｈ ｅ ｎ ｅ ｔ ｗ ｏ ｒｋ  ａ ｎ ｄ  ｔ ｈ ｅ  ｅ ｎ ｅ ｒ ｇｙ

 ，

ｅ ｆｆｉ ｃ ｉ ｅ ｎ ｃ ｏ ｆ  ＵＡＶ ｓ  ａ ｒ ｅ  ａ ｌ ｓ ｏ ｔｈ ｅ  ｍ ｏ ｓ ｔ  ｂ ａ ｓ ｉ ｃ ｅ ｒ ｆｏ ｒ ｍ ａ ｎ ｃ ｅ  ｉ ｎ ｄ ｅ ｘ  ｉ ｎ  ｔｈ ｅ


ｙ ｐ

ｐ ｒ ｏ ｃ ｅ ｓ ｓ  ｏ ｆ  ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ  ａ ｎ ｄ  ｃ ｏｎ ｓ ｅ ｎ ｓ ｕ ｓ  Ｔ ｈ ｅ ｒ ｅ ｆｏ ｒ ｅ  ｔ ｈ ｉ ｓ  ｐ ａｐ ｅｒ  ｗ ｉ ｌ ｌ  ｓ ｔ ｕ ｄ ｙ  ｔ ｈ ｅ

 ．
，

ａｂ ｏｖ ｅ  ｉ ｎ ｄ ｅ ｘ ｅ ｓ  ａ ｓ  ｆｏ ｌ ｌ ｏ ｗ ｓ 

：
 Ａ ｉ ｍ ｉ ｎ ｇ ａｔ  ｔｈ ｅ ｗ ａｙ  ｏ ｆ  ｉ ｎ ｃ ｒ ｅ ａ ｓ ｉ ｎ ｇ ｏ ｒ  ｄ ｅ ｃ ｒ ｅ ａ ｓ ｎ ｇ  ｎ ｅ ｔｗ ｏ ｒ ｋ  ｔ ｏ ｐ ｏ ｌ ｏ ｇｙ

 ｉ

ｅｄ
ｇ ｅ ｓ  ｔ ｏ  ｉ ｍ ｐ ｒ ｏ ｖ ｅ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ  ｃ ｏ ｎｎ ｅ ｃ ｔ ｉ ｖ ｉ ｔ ｙ ， 
ｗ ｅ  ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅ  ａ  ｒ ｅ ｌ ａ ｙ  ＵＡＶ  ｉ ｎ ｔ ｏ  ｔ ｈ ｅ
ｉ 


ｔｒ ａｃ ｋ ｎ ｇ  ｎ ｅ ｔｗ ｏ ｒ ｋ
ｉ
，  ｅ ｓ ｔ ａ ｂ ｌ ｉ ｓ ｈ  ａ  ｎ ｅ ｗ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ  ｔ ｏ ｐ ｏ ｌ ｏ ｇｙ  ｕ ｐ ｄ ａ ｔ ｅ  ｍ ｅ ｔｈ ｏ ｄ  ａ ｎ ｄ

 ，

ｐｒ ｏ ｐ ｏ ｓ ｅａｓ ｃ
ｈ ｅ ｍ ｅｏ ｆ  ｒｅ ｌ ａｙ  ＵＡＶ  ｄ ｅ ｐ ｏ ｙ ｍ ｅ ｎ ｔ  ａ ｎ ｄ  ｔ ｒ ａｊ ｅ ｃ ｔ ｏ ｒ
ｌ
ｙ  ｐ ｌ ａ ｎｎ ｎ ｇ  ｂ ａ ｓ ｅ


ｄ ｉ

ｏ ｎ  Ｄ Ｑ Ｎ  ａ ｇ ｏ ｒ ｉ ｔ ｈｍ ｌ ．  Ｗｅ  ｄ ｉ ｖ ｉ ｄ ｅ  ｔｈ ｅ ｐ ｒ ｏ ｃ ｅ ｓ ｓ  ｏ ｆ ｄ ｅ ｐ ｌ ｏ ｉ ｎ
 ｙ ｇ  ｒ ｅ ｌ ａｙ 


ＵＡＶ ｉ ｎ ｔ ｏ  ｔｗ ｏ



ｓｔｅ
ｐｓ
．  Ｆ ｉ ｒｓｔ ｌ
ｙ ， 
ａｄ ｅｐ ｌ ｏ ｙ ｍ ｅｎ ｔ ａｌ
ｇｏｒ ｉ ｔ ｈｍ  ｂ ａ ｓ ｅ ｄ ｏ ｎ  Ｄ Ｑ Ｎ  ｉ ｓ
 ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ ｏ ｏ ｂｔａ ｎ
ｔ 
 ｉ

ｔ ｈ ｅ ｎ ｉ ｉ ｔｉ ａ ｌ ｐ ｏ ｓ ｉ ｔ ｉ ｏ ｎｏ ｆ

 ｒｅ ｌ ａｙ

Ｕ ＡＶ ， 
ｗ ｈ ｃ ｈ  ｏ ｐ ｔ ｉ ｍ ｚ ｅ ｓ  ｔ ｈ ｅ  ｅ ｎ ｅ ｒｇ ｙ  ｃ ｏ ｎ ｓ ｕ ｍ
ｉ ｉ
ｐ
ｔｉ ｏｎ



ａ ｎ ｄ ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｃ ｏ ｎ ｖ ｅ ｒ
ｇ ｅ ｎ ｃ ｅ  ｄ ｅ ａ ｙ  ｏ ｆ  ｒ ａ ｃ ｋ ｎ ｇ  ｎ ｅ ｔ ｗｏ ｒ ｋ  Ｓ ｅ ｃ ｏ ｎ ｄ ｙ  ｉ ｎ  ｔ ｈ ｅ


ｔ ｌ ｉ ． ｌ
，

ｐｒｏ
ｃ ｅ ｓ ｓｏ ｆ  ｔｒ ａ ｃ ｋ ｎ ｇ  ｔｈ ｅ  ｍ ｏ ｖ ｅ ｍ ｅ ｎｔ  ｏ ｆ
ｉ  ＵＡＶ  ａ ，
ｔｒ ａ ｅ ｃｔ ｏ ｒ
ｊ ｙ  ｐ ａ ｎｎ ｎ ｇ  ａ ｇ ｏ ｒ
ｉ ｌ ｌ ｉ ｔ ｈｍ



ｂ ａ ｓ ｅ ｄｏ ｎＤ Ｑ Ｎ ｉ ｓ
ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ  ｗ ｈ ｃ ｈ ｅ
ｆｆｅ ｃ ｔ ｖ ｅ
ｙ  ｍ ｐ ｒ ｏ ｖ ｅ ｓ  ｔｈ ｅ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ
，
ｉ 
 ｉ ｌ ｉ

ｓｕｃｃ ｅ ｓ ｓ
ｐ ｒｏ ｂ ａｂ ｉ ｌ ｉ ｔ
ｙ  ｏ ｆｍ ｕ ｌ ｔ ｉ
－

Ｕ ＡＶ ｓ  ｔｒ ａ ｃ ｋ ｎ ｇ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ  ａｎ ｄ  ｒ ｅ ｄ ｕ ｃ ｅ ｓ  ｔ ｈ ｅ
ｉ 


ｉ ｎ ｔ ｅ ｒｒ ｕ ｐ ｔ ｏ ｎ  ｐ ｒ ｏ ｂ ａ ｂ ｉ ｉ ｌ ｉ ｔ
ｙ ｏ ｆ ｍ ｕ ｌ ｔ ｉ
－

ＵＡＶ ｓ  ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ ｎ ｅ ｔ ｗ ｏ ｒｋ ． Ｓ ｉ ｍ ｕ ｌ ａｔ ｉ ｏ ｎ



ｒｅ ｓｕ ｌ ｔ ｓｓ ｈ ｏ ｗ ｔ ｈ ａｔ ｏ ｕ ｒａ ｌ
ｇｏｒ ｉ ｔ ｈｍ  ｈ ａ ｓ  ｂ ｅ ｔ ｔ ｅ ｒ  ｐ ｅ ｒ ｆｏ ｒ ｍ ａ ｎ ｃ ｅ  ｔ ｈ ａ ｎ  Ｑ －

ｌ ｅ ａｍ ｉ ｎ ｇ



ａ ｏｒ ｈ ｍ  ａｎ ｄ ｒ ａｎ ｄ ｏ ｍ ｌ ｏ ｃ ａｔ ｉ ｏ ｎ ｄ ｅ ｍ ｅ ｎ ｔａ ｇ ｏ ｒ ｈｍ
ｐ ｏｙ
ｔ ｔ
ｇ ｌ ｌ ｉ
ｌ ｉ 

．

Ａ ｉ ｍ ｎ ｇ  ａ ｔ  ｔ ｈ ｅ  ｗ ａｙ  ｏ ｆ
ｉ ｉ ｎ ｃ ｒ ｅ ａ ｓ ｎ ｇ  ｏ ｒ  ｄ ｅ ｃ ｒ ｅ ａ ｓ ｉ ｎ ｇ  ｔｈ ｅ  ｎ ｅ ｔｗ ｏ ｒ ｋ  ｔ ｏ ｐ ｏ ｏ ｇ ｙ
ｉ

 ｌ

ｗ ｅ ｇ ｈ ｔｔｏｉ  ｉ ｍ
ｐ ｒ ｏ ｖ ｅ  ｔ ｈ ｅ  ｎ ｅ ｔ ｗ ｏ ｒｋ  ｃ ｏ ｎｎ ｅ ｃ ｔ ｉ ｖ ｉ ｔ
ｙ ｗ ｅｐ ｒ ｏ ｐ ｏ ｓ ｅ ａ ｊ ｏ
，
ｉ ｎｔ



ｏ ｐ ｔ ｍ ｚ ａ ｔ ｏ ｎ ｓ ｃ ｈ ｅ ｍ ｅｏ ｆ ｍ ｕ ｌ ｔｉ
ｉ ｉ ｉ 
－

ＵＡＶ ｓ  ｔｒ ａｊ ｅ ｃ ｔ ｏ ｉｙ  ａ ｎ ｄ
 ｐ ｏ ｗ ｅ ｒａ ｌ ｌ ｏ ｃ ａｔ ｉ ｏ ｎ  ｂ ａ ｓ ｅ ｄ



ｏ ｎ  ＭＡ Ｄ Ｑ Ｎ  ａ ｌ Ｄｕ ｅ ｏｔｈ ｅｎ ｏ ｎ
ｇ ｏ ｒｉ ｈｍ ｃ ｏｎｖ ｅｘ ｉ ｔ
ｙｏ ｆ ｈ ｅ ｏ ｉ ｎ ｔ  ｏ ｐ ｔ ｉ ｍ ｉ ｚ ａｔ ｉ ｏ ｎ


－

ｔ ．  ｔ ｔ 

 ｊ

ｙ  ｏ ｆ  ｅ ａ ｃ ｈ  ＵＡＶ  ｉ ｓ  ｄ ｅ ｅ ｒ ｍ ｎ ｅ ｄ
ｔ ｔ ｈ ｅ ｕ ｔ
ｐ ｒ ｏ ｂ ｅ ｍ ａｎ ｄ ｃ ｏ ｎ ｓ ｉ ｄ ｅ ｒ ｉ ｎ ｇ  ｈ ａ 

ｌ ｔ ｉ ｌ ｉ ｔ ｔ ｉ

ａ ｃ ｃ ｏ ｒｄ ｉ ｎ
ｇ ｏｔ ｈ ｅｎ ｅ ｗ ｏ ｒ ｋ  ｅ ｎ ｖ
ｔ ｔ ｉ ｒ ｏ ｎｍ ｅｎ ｔａｎ ｄ ｔｈ ｅ ｂ ｅ ｈ ａｖ ｉ ｏ ｒｏ ｆ ｏ ｔｈ ｅ ｒ  Ｕ ＡＶ ｓ ， 
ｗｅ



ｃ ａ ｎｍ ｏ ｄ ｅ ｌｔｈ ｅ
 ｐ ｒ ｏ ｂ ｌ ｅ ｍ  ａ ｓ  ａ ｒ ａｎ
ｄ ｏｍ
 ｇ
ａｍ ｅ
 ｐｒｏ
ｂ ｅｍｌ ．  Ａ ｉ ｍ ｉ ｎ ｇａｔｔｈ ｅｐｒ ｏ ｂ ｅ ｍ

 ｌ

ｏ ｆ ｈ ｉ ｈ  ｃ ｏ ｍ ｕ ｔ ａｔ ｉ ｏ ｎ ａ ｌ  ｃ ｏ ｍ ｌ ｅ ｘ ｉ ｔ
ｇ
ｐ ｐ
ｙ  ｃ ａ ｕ ｓ ｅ ｄ  ｂ ｙ  ｃ ｏ ｎ ｔ ｉ ｎ ｕ ｏ ｕ ｓ  ａ ｃ ｔ ｏ ｎ  ｓ ｐ ａ ｃ ｅ  ａｎ ｄ

 ｉ

ａｒ
ｇ ｅ  ｓ ｔ ａ ｔ ｅ  ｓ ｐ ａ ｃ ｅ  Ｍ ＡＤ Ｑ Ｎ ａ ｇ ｏ ｒ ｔ ｈｍ ｉ ｓ  ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ  ｔ ｏ  ｓ ｏ ｌ ｖ ｅ  ｔ ｈ ｅ ｏ ｐ ｔ ｉ ｍ ａ ｌ
ｌ ｌ ｉ
，

ｓ ｔｒａｔ ｅ
ｇｙ  ｏ ｆ  ｈ ｅ  ｐ ｒ ｏ ｂ ｌ ｅ ｍ Ｓ ｉ ｍｕ ａ ｉ ｏ ｎ  ｒ ｅ ｓ ｕ ｌ ｔ ｓ  ｓ ｈ ｏ ｗ  ｈ ａｔ  ｏ ｕ ｒ  ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ  ｈ ａ ｓ
ｔ ｌ ｔ ｔ ． 


ｏ ｂ ｖ ｉ ｏ ｕ ｓ  ａ ｄ ｖ ａ ｎ ｔ ａ ｇ ｅ ｓ  ｏ ｖ ｅ ｒ  ｏ ｔｈ ｅ ｒ  ａ ｌ
ｇ
ｏｒ ｉ ｔ ｈ ｍ ｓ  ａ ｎ ｄ ｅ ｆｆｅ ｃ ｔ ｖ ｅ ｙ  ｒ ｅ ｄｕ ｃ ｅ ｓ  ｔ ｈ ｅ
，

 ｉ ｌ

ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ ｃ ｏ ｎ ｖ ｅ ｒｇ ｅｎ ｃ ｅ ｄ ｅ ｌ ａ ｄ  ｎ ｅ ｔｗ ｏ ｒ ｋ  ｅ ｎ ｅ ｒ
ｙ  ａｎ ｇｙ  ｃ ｏ ｎ ｓ ｕ ｍ ｐ ｔ ｉ ｏ ｎ 

．

Ｉ ｎ ｖ ｅ ｗ ｏ ｆ ｔｈ ｅ ｓ ｅ ｃ ｉ ｆ ｃ ｒｅ ａ ｓ ｏｎ ｓｗ ｈ
ｙ ｃ ｈ ａｎ ｇ ｉ ｎ ｇ ｔｈ ｅ  ｎ ｅ ｔｗ ｏ ｒ ｋ ｃ ｏ ｎｎ ｅ ｃ ｔ ｉ ｖ
 ｉ
ｐ  ｉ 

 ｉ ｔ


ｙ

ｃ ａ ｎ  ｒ ｅ ｄ ｕ ｃ ｅ  ｔｈ ｅ  ｃ ｏｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｃ ｏ ｎ ｖ ｅ ｒ  ｄ ｅ ａｙ  ｗ ｅ  ｅ ｘ ｐ ｌ ａ ｉ ｎ  ｔ ｈ ｅ  ｎ ｅ ｔｗ ｏ ｒｋ


ｇｅｎ ｃ ｅ
ｌ
，

ｃ ｏｎ ｓ ｅｎ ｓ ｕｓ
 ｐ ｒ ｏ ｂ ｌ ｅ ｍ  ｆ ｒ ｏ ｍ  ｔ ｈ ｅ  ｐ ｅ ｒ ｓ ｐ ｅ ｃ ｔ ｉ ｖ ｅ  ｏ ｆ  ｇ ｒ ａｐ ｈ  ｔ ｈ ｅ ｏ ｒ ｙ  ａ ｎ ａ ｙ ｚ ｅ  ｔ ｈ ｅ

 ，
ｌ

ｎ ｅ ｔ ｗ ｏ ｒ ｋ  ｃ ｏ ｎ ｎ ｅ ｃ ｔ ｉ ｖ ｉ ｔｙ  ａ ｎ ｄ  ｇ ｉ ｖ ｅ  ｔ ｈ ｅ  ｓ ｐ ｅ ｃ ｆｉ ｃ  ｒ ｅ ａ ｓ ｏ ｎ ｓ  ｗ ｈ ｙ  ｔ ｈ ｅ  ｆ
，
ｉ ｉ ｒ ｓ ｔｔｗｏ



ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ  ｓ ｃ ｈ ｅ ｍ ｅ ｓ  ｃ ａｎ  ｉ ｍ ｐ ｒ ｏ ｖ ｅ ｈ ｅ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｃ ｏ ｎ ｖ ｅ ｒ ｇ ｅ ｎ ｃ ｅ  ｄ ｅ ａｙ  ｉ ｎ  ｄ ｅ ｔ ａ ｉ ｌ
ｔ ｌ 

．

Ａ ｔ  ｔｈ ｅ  ｓ ａ ｍ ｅ  ｔｉ ｍ ｅ  ｔ ｈ ｅ ｙ  ａ ｒ ｅ  ｓ ｉ ｍ ｕ ｌ ａ ｔ ｅ ｄ ｒ ｅ ｓ ｅ ｃ ｔ ｖ ｅ ｌ ｙ  ａ ｎ ｄ ｔ ｈ ｅ  ｓ ｉ ｍ ｕ ｌ ａｔ ｉ ｏ ｎ
，
ｐ 
 ｉ
，

ｒｅ ｓｕ ｖ ｅ ｒ ｉ ｆ ｙ  ｏ ｕ ｒ  ａｎ ａ ｌ
ｙ ｓｉｓ
ｌ ｔ ｓ 

．
 Ｔｏ  ｓ ｕｍ  ｕ ｐ ， 
ｔ ｈ ｉ ｓ  ｐ ａｐ ｅ ｒ  ｍ ａ ｉ ｎ ｌ ｙ  ｓ ｔ ｕ ｄ ｉ ｅ ｓ  ｔｈ ｅ  ｔ ｗ ｏ  ｐ ｅ ｒ ｆｏ ｒ ｍ ａｎ ｃ ｅ  ｉ ｎ ｄ ｉ ｃ ａｔ ｏ ｒ ｓ



ｏ ｆ  ｎ ｅ ｔ ｗ ｏ ｒｋ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｃ ｏ ｎ ｖ ｅ ｒｇ ｅ ｎ ｃ ｅ ｄ ｅ ｌ ａｙ  ａ ｎ ｄ  ｅ ｎ ｅ ｒｇ ｙ  ｅ ｆ ｆｉ ｃ ｉ ｅｎｃ
ｙ  ｉ ｎ  ｔｈ ｅ



ｔｒ ａｃ ｋ ｉ ｎ
ｇ  ｓ ｃ ｅ ｎ ａｒ ｉ ｏ ， 
ｍ ａ ｋ ｅ ｓ  ｔ ｈ ｅ  ｃ ｏ ｒｒ ｅ ｓ ｐ ｏｎｄ ｉ ｎ ｇ  ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ  ｆｒ ｏｍ  ｔ ｈ ｅ  ｐ ｅ ｒ ｓ ｐ ｅ ｃ ｔ ｉ ｖ ｅ



ｏ ｆ  ｎ ｅ ｔ ｗｏ ｒｋ  ｃ ｏｎｎ ｅ ｃ ｔｉ ｖ ｉ ｔ ｙ  ａ ｎ ｄ  ｕ ｔ ｓ  ｆｏ ｒ ｗ ａ ｒ ｄ  ｔ ｗｏ  ｏ ｔ ｉ ｍ ｉ ｚａｔ ｉ ｏｎ  ｓ ｃ ｈ ｅ ｍ ｅ ｓ


ｐ ，ｐ

ｒｅ ｓ
ｐ ｅ ｃｔ ｉ ｖ ｅ ｌ ｙ ．  Ｔｈ ｅ ｆ
ｉ ｘ ｔ ｕｒｅ  ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ  ｄ ｉ ｒ ｅ ｃ ｔ ｉ ｏｎ ｓ  ａｒ ｅ
 ｐ ｒ ｏ ｓｐ ｅ ｃｔ ｅ ｄ 

．

ＫＥ Ｙ  Ｗ Ｏ ＲＤ Ｓ ：  Ｍ ｕ ｌ ｔｉ －

ＵＡＶ ｓ  ｔｒ ａ ｃ ｋ ｉ ｎ ｇ  ｎ ｅ ｔ ｗｏ ｒｋ  Ｃ ｏｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｃ ｏｎｖ ｅ ｒｇ ｅ ｎ ｃ ｅ
，



ｄ ｅ ｌ ａｙ ， 
Ｐ ａ ｔ ｈ  ｐ ａ ｎｎ ｎ ｇ
ｌ ｉ
， 
Ｅ ｎ ｅ ｒｇ ｙ  ｅ ｆ ｆ ｉ ｃ ｉ ｅｎ ｃ
ｙ  ｏ ｐ ｔｉ ｍ ｉ ｚａｔ ｉ ｏｎ ， 
Ｄ ｅ ｅｐ 
ｒ ｅ ｉ ｎ ｆｏ ｒ ｃ ｅ ｍ ｅ ｎｔ



ｌ ｅ ａｒｎ ｉ ｎ ｇ  ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ


 目 

录

第 章 绪论
一

 

１

１ ． １ 研 究 背景及 意 义  

１

１ ． １ ．
多 无 人机 集 群追 踪 网 络 概 述
〗  

１

１ ． １ ２ 基 于 共识 策 略 的 分布 式 协 同 估计 在追 踪 网 络 中 的 研 究
． ． ． ． ． ． ． ． ． 

２

１ ．
１ ．
深度 强化 学 习
３  

２

１ ． １ ． ４ 研宄意义  

２

１ ． ２ 国 内 外研 究现 状  

３

１ ． ３ 论 文主 要 内 容 及创 新 点  

５

１ ． ４ 论文结构 安排  

６

第 二 章 基 于 Ｄ ＱＮ 算 法 的 中 继 无 人 机 部 署 与 轨 迹 规 划 方 案  

９

２ ．
系 统模 型
１  

９

２ 部 署模型． １ ． １  

９

２ 丄２ 信 道模 型  １ 

０

２ ． １ ． ３ 共识 能耗模型－

 １ １



２ ． １ ．
共识概率模型
４ 屮 断 －

 １ 

３

２ ２ ．
问 题构建   １ 

４

２ ． ２ 共 识 收敛 时 延 和 能耗 的 折 中
． １  １ 

４

２ ． ２ ２ 追 踪 网 络 中 的 共识和 中 断概率
．
 １ 

５

２ ． ３ 基 于 Ｄ ＱＮ 的 中 继 无 人 机 初 始 化 部 署 算 法  １ 

５

２ ３ ． ． １ 算法
Ｄ ＱＮ   １ 

６

２ ３ ２
． ．

算法模型定 义  １ 

６

２ ３ ． ． ３ 算 法 流程 描 述  １ 

７

２ ３ ４
． ．
算 法具 体训 练流程  ２０



２ ３ ． ． ５ 算 法 具 体 实 现流程  ２２



２ ４ ．
基于 Ｄ ＱＮ 的 中 继无 人机 轨 迹 规 划 算法  ２３



２ ４ ． ． １ 算 法 模 型 定 义 及流程  ２３



２ ４ ２
． ．
算 法 具 体 实 现 流程  ２５



２ ． ５ 仿 真 结果 与 分析  ２５



２ ５ ． ． １ 仿 真场景  ２６



２ ５ ２
． ．
仿 真 结 果及 分析  ２６



２ 本 章小 结
． ６  ２ 

８

第 三 章 基 于 ＭＡＤ Ｑ Ｎ 算 法 的 多 无 人 机 轨 迹 和 功 率 分 配 联 合 优 化 方 案


 ２９



３ ． １ 系 统模型  ２９


 ３ ． １ ． １ 部署 模型  ２９



３ ．
１ ． ２ 多 无 人机追 踪模 型  ３ ０



３ ． １ ． ３ 信道模型  ３ 

１

３ 丄４ 离 散共 识 算 法 模型  ３２



３ ． １ ． ５ 能 耗模 型  ３ ３



３ ． ２ 问题构建  ３ ３



３ ． ３ 基于 ＭＡＤ Ｑ Ｎ 算法 的 多 无 人 机 轨 迹及功 率 联合优 化 算 法 ． ． ． ． ． ． ． ３４




３ ． ３ ． １
博 弈 论基 础  ３ ５



３ ． ３ ． ２ 基 于 ＭＡ Ｄ Ｑ Ｎ 算 法 的 联 合 优 化 博 弈 问 题 及 模 型 定 义  ３ ５



３ ． ３ ． ３ 算 法 流程 描 述  ３ ７



３ ． ３ ． ４ 算 法具 体训 练流程  ４０



３ ．
４ 仿 真 结果 与 分析  ４ 

１

３ ． ４ ． １ 仿真场景  ４２



３ ． ４ ２ ．
仿 真结 果及 分析  ４２



３ ． ５ 本章小结 …  ４４



第 四 章 多 无 人机 网 络 中 共 识 收 敛 时 延 分 析  ４５



４ ． １ 共 识 收 敛 时 延 的 影 响 因 素 分析  ４５



４ ．
１ 图 论 基础
．
１  ４５



４ ． １ ． ２ 网 络 中 的 共识 问题  ４６



４ ． １ ．
共 识 算 法 的 收 敛性 分析及性 能 仿 真
３  ４７



４ ２ ．
改变 网 络连通度 的 方 案 分析  ５０



４ ２ ． ． 〗 增 减拓扑边 中 继 无人机 部 署 方 案  ５０



４ ２ ２
． ．
增 减链路权 重 功 率 分配 方 案  ５ 

１

４ ３ ．
仿 真 结果及性 能评估  ５２



４ ４ ．
本章小结   ５３



第五 章 总 结与展望  ５ ５



５ 研 究 内 容总 结
． １  ５ ５



５ ２ 后续工作展望
．  ５６



参考 文献  ５９



第 一

章 绪论 



第 一

章 绪论



本 章 首 先 对 论 文 的 研 究 背 景进 行 了 介 绍 ， 内 容 包括 多 无人机集 群追 踪 网 络 的


概述 、 基 于 共 识 策 略 的 分布 式 协 同 估 计在追 踪 网 络 中 的 研 究 及 研 宄 意 义 。 其次 

，

对 国 内 外 研 究现状进行 了 介绍 同 时 阐 述 了 本 论文 的 主 要研 宄 内 容及 相 应 的 创 新

 。

点 。
最后 说 明 了 论文 的 结构 安排 

。

１ ． １ 研 究 背景 及 蚊



１ ． １ ． １ 多 无 人 机 集 群 纖 网 络雛



近 年来 ， 无 人机 由 于 其 通 用 性 、 灵 活 性 和 相 对 较低 的 运 行 成 本 ， 在某些军事


或 民 用 领 域 受 到 广 泛 关注 根据 Ｂ Ｈ ｎ 。 ｔｅ ｌ ｌ ｉ
ｇ ｅｎ ｃ ｅ 的报告 预计 ，
２ ０２ １ 年将有超过 ２９０ ０



万 架 无 人 机 投 入 使 用 预计 到 ，
２０２ ５ 年 ，
无 人 机 必 将在 军 民 领域得 到 广 泛 应 用 Ｗ 

。

同时 ， 在 未来 的 移动 通信 技 术 中 ， 我 们 不 仅 将 在 地 面 部 署 更密 集 的 通 信 基 站 ， 

而
且还将合 理利 用 三 维 空 间 部 署 空 中 通信基站 从而 缓解地面通信基 站 的 过载 问 题

 ，

［
２］


。

在下 个十 年里 无人 机 将 小 型 化 智 能 化 和 集群 化 在 Ｇ 及 以 上无人机


一

， 、 。 ５

通信 的 最 新 进 展 和 未 来趋 势 报 告 中 提 到 了 将来 关 于 无 人 机 通 信 的 几 大 趋 势 其 中

 ，

基 于 多 无 人机 的 集群 网 络 ［
３］
， 即 可 扩 展 的 多 无 人机 网 络 ， 得 益 于 其 高流 动 性 和 快


速供应 的 特 点 己经成为 了 种 快 速 有 效 的 恢 复 和 扩展 通 信 的 可 行 解 决 方 案 

受
一

， ，

到 了 极大 的 重视 ［
４］


。

目 前 ， 随 着 科技 的 不 断 发展 和 进 步 ， 无人 机 将被 应 用 在 很 多 场 景 ， 如 搜索 救


援 、 野 火监测 、 目 标监控 、 目 标 追 踪 和 武装 打击 等 ［
５ ］
。 在 最 具 未来感 的 场 景 中 

，

无人机应 该 能够通过 使用 新 的 网 络技术和 协议 ， 自 主操作 、 相 互协调 以及 与 部署



的 基 础 设施 协 调 。 这 些 自 治 系 统 的 潜 在 应 用 领域 包 括 敏 感 区 域 的 监 控 、 追踪 、


货
物和 辅助 材料 的 交付 、 基 础 设 施检 查 和 娱 乐 等 。 其中 ，
无 人 机 的 很 多 任务 中 都 包



含了 标 追 踪 其 将成 为 无人 机 的 关 键 应 用 场 景 之 其主 要 任务 是 通 过 将 目 标


一

目 ， ，

保持 在 其视 野 内 来 跟 踪 地 面 上 的 移 动 目 标 。 相 比 于 单 无人机 追 踪 ，
多 无人 机 协 同



完成追踪 任务受 到 了 广泛关注 ， 可见 ， 在无 人 机 蜂 群 进 行 运 动 多 目 标追 踪 的 研 究



中 基 于 多 无 人机 协 同 执 行 作 战 任 务 的 集群 化 追 踪 网 络 将 成 为 个重要 的 发展趋


一

６］
势 ［


。



１

北 京 邮 电大 学 工 学 硕 士 学 位 论文 



１ ． １ ． ２ 基 于共 识策略 的 分布 式协 同 估 计在 追踪 网 络 中 的 研究



在 多 无人机协 同 追踪 网 络 中 ， 分 布 式协 同 估 计 方 法 越 来 越 受 到 重 视 。
分布 式


协 同 估 计 是 分布 式信 号 处 理 的 个 分 支 即 分布 式 网 络 中 多 个 代 理 通 过 与 相 邻 代


一

理 的 信 息 交互完成对共 同 标参数 的 协 同 估计 与 传 统 的 集 中 式 估 计方 法 不 同
［
７］
目 。 

，

分 布 式 协 同 估 计 方法 不 需 要 融合 中 心 每个 传 感 器 节 点 只 需 要 与 满 足 通 信 条 件 的

 ，

相 邻 节 点 通信 即 可 ［
８］


。

在 多 无 人 机 目 标 追 踪任 务 中 有 效 的 分 布 式 协 同 估 计 算 法 可 以 使 得 当 其 中


一

个无 人机节 点 发生故 障 时 ， 通过 与 其他相 邻 节 点 的 信 息 交 互 ， 追 踪任务 也 可 以 完



成 。 其中 ， 在 分 布 式 协 同 估 计 算法 中 ， 多 智 能 体共 识 策 略 就 是 解 决 分 布 式 协 同 估


计问题的 种 重要 方法 在涉及 多 智 能体系 统 的 应 用 中 多 个代理 需 要就某些感


一

。 ，

兴趣 的 量达成
一

致 。 这样 的 量可 能 与 单个 作 用 物 的 运动 有关 ， 也 可 能 与 之无关 

。

因此 ， 在链路失效和 创 建 （ 即 可变 网 络拓 扑 ） 下 ， 解决具有 定 向 信 息流 的动态代



理网络的
一

般形 式 的 协 议 问 题是很重要 的 。 近 年来 ， 越 来 越 多 的 学 者对 多 智 能 体



共识 策略及其应用 进行 了 研 究 ［
９］


。

１ ． １ ． ３ 深度 强化 学 习



近 几 十 年来 ， 机 器 学 习 在 无线 通 信 网 络 中 得 到 了 广 泛 的 关 注 ， 强化 学 习 算 法


已 广 泛 应用 于 人工 智 能和 无 线 通信 领域 ［
１ Ｇ］
， 且 已 经 被 证 明 具 有 解 决 无 人 机无 线 网



络 问 题 的 能力 ［
１ １
］
。
其 中 深度 强化学 习 在 最近 的
一

些游戏任 务上表 现 出 优异 的 性 能 

，

提供了
一

个 很 有 前途 的 解 决方 案 ［
１ ２］
， 它 使 用 强大 的 深层 神 经 网 络 来指 导 决策 很

 ，

好地处理 了 复杂 的 状态空 间 和 时 变 的 环境 ， 且在许多 学 习 任务 中 ， 即 使 是 零域 知




识 也 能提供最先进 的 性 能 。 在无人机 网 络场景下 ， 针 对无 人 机 的 离 散 动 作 空 间 以




及大状 态空 间 导 致 的 计算 复杂 度 高 的 问 题 深度 强化学 习 是 种 很 好 的 解 决 方案


一

３］
同 时 在 面对 些 组 合性 及 非 凸 性 问 题 其 依 旧 也 表现 出 了 良 好 的 性能
１ 一

［
，


。
，

１ ． １ ． ４ 研 究窻 义



在 分 布 式 多 无人 机 集群 化 的 追踪 网 络 中 无 人 机 之 间 准 确 及 时 的 信 息 交 互 是

 ，

准确 追踪 标 的 关键 要 实 现这 标 个重要 的 前 提是无人机 之 间 能 够进 行


一
一

目 ， 目 ，

良 好 的 通信 和 协作 。 在 复 杂 的 战场 环 境 中 信 道 环 境 通 信 链 路 也 是 复 杂 多 变 的 ， 、 

，

随 着 无 人 机机 群 数 量 的 増 多 ， 信 息 共识 的 路径 也 变得复 杂 ， 接收到 的信 息可能会



有 定 的时延 同 时 由 于 无 人 机 的 高速移动 和 通 信 范 围 受 限 的 问 题 多 无 人 机集


一

。 ，

群 的拓 扑 结构实时变化 ， 在这些情况 下 ， 无 人 机 之 间 的 连 通 性容 易 受 到 这 些 时 变


信 道参 数 的 影 响 ， 导 致无 人 机 之 间 的 通 信 质 量 下 降 ， 会严重影响 网 络性能 ， 

无法



２
 第 章 绪论
一






实 现精 准 的 共 识 和 目 标追踪 ， 甚至 导致 目 标丢失 。 因此 ， 集 群 化 的 无 人机 组 网 策


略 将面 临 挑 战 。
其次 ， 由 于 无人机 的 电 池 电 量有 限 ， 使得 多 无人机追踪 网 络 的 网



络 寿 命 大 打折 扣 ， 所以 ， 如 何 保证在 复 杂 战场 下 多 无人机 网 络 的 稳 定 性 ， 延长 多



无疑是 项 既 有 理 论 意 义 又 有实 用 价 值 的 课 题
４］
无人 机追 踪 网 络 的 网 络寿 命
１
一
［

， 

。

１ ． ２ 国 内外研 究 现状



由 于 部署 的 灵 活 性和 高机动 性 ，
无 人机可 以 提 高蜂 窝 网 络 的 性 能 ， 目 前有很


多 研 宄 集 中 在 多 无 人 机 网 络 来辅 助 蜂 窝 网 络 的 研 究 上 文献 作者主要研 究


５］
中
１
［
， ，

了 无人机协 同 地面蜂 窝 网 络 ， 其 中 多 个无人机作 为

一

对地面用 户 之 间 的 中 继 。 

基

于信噪 比 ， 提 出 了 两种 无人机选择策略 ， 优化 了 整 个 系 统 的 中 断 概率 、 吞 吐量和




覆盖概率 。 文献 ［
１ ６］
中 ， 作 者提 出 了
一

种 基于 最大化 用 户 平均 意 见得 分 、 无 人 机三



维 部 署 和 动 态运动 联合 问 题 提 出 了 种 三 步 法 来 实 现 多 无人 机 的 三 维 部 署 和 动


一

态运动 文献 作 者 提 出 利 用 深 度 强 化学 习 进 行 无人 机 控 制 并提 出 了 

种
７］
中
一
１
［
。 ，
，

基 于 深 度 强 化 学 习 的 覆 盖 与 连 接节 能 控制 方 法 有 效 提 高 了 多 无 人 机 的 覆 盖 率 但

 。

这些论文 大 都 是考虑利 用 多 无人机 网 络来提升蜂 窝 网 或地面用 户 的 某些性 能指




标 ， 没有 论 文 专 门 研 究 移 动 多 无 人 机 网 络 的 特 性 

。

在 基 于 共 识 策略 的 网 络 研 究 上 ， 分 布 式 多 无 人机 目 标 追 踪过程 中 ，
无人机之



间 的 通 信 时 延 会 增 加 共 识 算 法 的 估计 误 差 文献
８】
中 作 者为 了 减 轻这 问 题对


１ 一

［
， ，

估计算法 的 影 响 ， 提出 了
一

种 具 有 通信 时 延 信 息 补 偿 的 估 计 算 法 。
首先 ， 利用 滤


波 器 对 各 无人 机 的 通 信 时 延 信 息 进 行 预 测 ， 得到 补偿后 的 信 息 。 此外 ， 利 用 共识



得到 了 通信 时 延 信 息 补 偿 的 估计 算法 文献 作者开


９］
算 法 结合 卡 尔 曼 滤 波 中
１
［
。 ，
，

发了 种 用 于 分散共识 优化 的 阶 算法 该 算法 比 当 前最 先进 的 算法更节 能 

有
一
一

， ，

效 的 解决 了 代理 的 电池 能量有 限 的 情 况 文献 作 者 研 究 了 具有切 换拓 扑 的


２ Ｇ］
。
［

中 ，

般线 性 多 智 能 体 系 统 的 保成 本 的 共 识 问 题 其 中 考 虑 了 联 合 连 接 和 连 接 切 换 拓


一

扑 。 文献 ［
２ １
］

中 ， 作证提 出 了
一

种 分层 结 构 来 解 决 多 智 能 体 系 统 的 共 识 问 题 。
新方



案将代理分 为 几个 组 ，
每 个 组包含
一

个 关 于 组 内 代 理 的 所 有状 态 的 值 ， 我们 称之



为组信 息 。 对 于 每个单独 的 代理 ， 它 不 仅 接 收来 自 其 组 内 邻 居 的 代 理 信 息 ， 还接


收来 自 其 相 邻 组 的 组 信 息 证 明 了 该 方 案 在 离散 时 间 和 连 续 时 间 。 内 都 能达到 全局



共识 

。

在 共 识 策 略 的 收 敛性 问 题 上 ， 在 多 变 的 复杂信道 中 ， 时 变 连通 性 是 多 无 人 机


追 踪 网 络 面 临 的 主 要挑 战 之 文献 作 者 针 对 存 在 编 队 控 制 律精 度 低 

收
２２ ］
中
一

［
， ， 、

敛 时 间 长等 问 题 设计 了 个 基 于 拓 扑 优 化 的 分 散共 识 来控 制 多 径 衰 落 信 道 中 的


一

多 无 人机 系 统 提出了 种 队 形 结 构 重构 方 案 和 种 传输 功 率 分 配 算 法 以 保证


一
一

，
，



３
 北京 邮 电大学工学硕士学位论文 




在有 限 的 收敛时 间 内 控制 精度 文献 作者提 出 了 种 贪婪扰动 启 发式 


依
２３
中
一

［ ］
。 ， ，

赖 于 系 统 的 全局 知 识 来确 定 与 代 数 无 人机连通性 相 关 的 特征 向 量 设 计 了 种基


一

于分散 向 量 的 连通性跟 踪算法 有 效提 高 了 追踪 网 络 的 连通 性 文献

２４
Ｆ ｅ ｄｌ ｅｒ
［ 

］

ｉ ， 。

中 ，
作 者提 出 了 基于懒惰和 渴望共 识 的 算法来 实现群 体范 围 的 数据共享 ，
采用单


的 最佳 发 射机选择 在 收敛速度 和 有 效载荷 成 本之 间 达成 个有 益 的 折 衷 

文
一
一

， 。

献 作 者研 究 了 离散积 分 系 统 中 具有 非均 匀 非对 称 和 时 变 时 滞 的 多 智 能体


２ ５
［ ］

中 ， 、

系 统 的平均共识 问 题 提出 了 种 受 限 传输和 同 步算法 即 使在存 在不对称 


非
一

， ， 、

均 匀 和 时 变 延迟 的 情 况 下 也 能 实现 良 好 的 平均 共 识性 来测 量和 减少 通 信 时 延 ， ，


。

目 前这些研 究 多 集 中 于 从无人机 的 控制 层 面解决共识 收敛 问 题 没有论文 从 网 络


 ，

层 面来解决这些 问 题 

。

在共识策 略 的 能量消 耗 问 题上 文献 作者设计 了 种共识策略 该策



２６］
中
一
１

， ， ，

略 能很 好地适应 资 源 的 分布 特 点 ， 有效平衡 了 系 统功 率不 平衡 ， 保证 了 功 率 不平



衡任务分配 的 公平性 能够适应用 户 的 不确 定 性 文献 作 者针对无线传感



２ ７］
， 。
［

中 ，

器 网 络 中 节 点功率受 限 的 问 题 ， 基于 Ｏ ｌ ｆａ ｔ ｉ
－

Ｓ ａｂ ｅ ｒ 提 出 的 分布 式共识 滤波 算 法和



种 随 机 图 的 站 点 渗流模 型 提出 了 种 新 的 能 量有 效 的 分 布 式 共 识 滤波 算法
一 一

， 

，

有 效地降低 了 节 点 能量消 耗 从而大大延长 了 无线传感器 网 络 的 寿命 文 献

２ ８］
中
［

， 。 

，

作 者 将基 于共识 算法应 用 到 无人机无线 网 络 中 ， 在全局 得分最大化 的情况 下 ， 


建
立可 行 的 无冲 突 的 无人机并 行 能量传输和 信 息 采集任务调 度 方案 。
文献 ［
２９ ］

中 ， 

作

者开发 了 种用 于分散 致性优化 的 阶算法 它 通过 图 中 的 个行走 系列



一 一 一 一 一

， （

节 点 传递 个标记 行走期 间 访 问 的 代理计 算其 私 有 函 数 的 梯 度 并 更新 令 牌

一

） 。 ， 

。

仿真表 明 该算法 比 目 前 最 先进 的 算法 更节 能 。 目 前 没有 研 究讨 论基于 共识 策略 的




多 无人机 网 络 中 的 网 络 能耗 问 题 

。

在 用 强 化 学 习 解 决无人机 网 络 的 问 题上 文献 作 者提 出 了 种基于强


３
中
（） 一

［ ］

， ，

化 学 习 和 深度 强化学 习 的无人机 中 继方案 。

在这两种 算法 的 帮 助 下 ，
无人机 的 能


量消 耗最 小化 ，
同 时获得更好的误码率 （ Ｂ ＥＲ ） 性能 。
文献 中 ，
作者研究 了 无


人机 网 络执行遥感任务 的场 景 。 在 其模 型 中 ，
无人机 分为 中 继无人机和 传 感 无人


机两类 。 考虑 到无人机之 间 的 通信可 能不可 行或不可靠 ，
无人机在 本地决定 是 否



需 要 参与 中 继或感知 作 者开发 了 种 分 布式机制 利 用 强化学 习 算法学 习 最 优



一

， ，

任务分配 文献 作 者 针对 蜂 窝 连接 的 无人机 网 络 提出 种 基于深度强



３２］
中 了
一

［
。 ， ，

化 学 习 的 干扰 感 知 路 径规划 方案 ， 该方案实现 了 更好 的 无线延 迟和 传输速率 。



文
献 ［
３３ ］

中 ， 为 了 支 持动 态用 户 分 组 并 为 网 络 设 计 带来更大 的 灵 活性 ， 作者利用 深度


强化学 习 的方法 ，
联合 设 计 了 无 人机 的 轨迹和 功 率 分配 ， 以 服务 于 静态 非 正 交 多



址 （ Ｎ Ｏ ＭＡ ） 用户 。 研宄 了 将 Ｎ Ｏ ＭＡ 技术集 成到 无人机 网 络 中 的 设计挑战 ， 


同



４
 第 章 绪论
一

 



时 也强调 了 些有待解决 的 研 究 问 题 文 献 中 作 者 通 过 联合 考 虑 通 信 覆 盖 率
一

［
３ ４］
。 ， 

、

公平性 能 耗 和 连接性 调用 了 种 深度强化学 习 Ｄ ＲＬ 算法 对无人机进 行



一

、 ， （ ） ，

节 能控制 的 是找 到 种 控 制 策略 指 定 每个无人机在每个 时 隙 中 的 移 动方式

一

。 目 ， 

，

因此 ， 四 个参数 ： 平均 覆盖分数 、 公 平 性指 数 平 均 能耗 和 能源 效率被 联 合优 化 、 


。

目 前 没有研 究讨 论基于 共识 策 略 的 多 无 人机 网 络及 多 无 人机 的 动 态 规划 问 题 

。

１ ． ３ 论 文 主 要 内 容 及创 新 点



本论 文 的 研 究 内 容及 研 究框 架 如 图 所示 

：

绪论



背 票 及 ｗ 穷現 状 遲 研



  寺 




语究 内 容



＾ａａｉ  ｉｓｓｉ 銳
習


纖


｜ ［ Ｉ 丨

、 ｉ  

ｉ

点 主 要 毯 新產  刽 新 点



Ｊ
ｆ
￣
：

１ Ｌ  ：
 ｖ ？ ｙ ？ ｆ ？


 ．
１

ｋ
Ｉ



？

炉 叫  提给了


氣 提 ｓ 了 
—

粋当



网雜
 爲 Ｐ  白 子亲合



％Ｍ  ｗ  ｌ｜ｆ  普子  公 審｜  分碰
图

 ｎ
：

Ｓ 的 算 法  移 劫  Ｍ Ａ Ｄ Ｑ Ｎ  了 改变 网



？ ｍ ｓ ７ ３
ｌ
ｊ ｐ通
人 Ｄ
ｔ
０ＯＮ 茨 
ｍ ｍｍ  ２ ５ ａ Ｓ？ｉ
妄 
  ＾  
占 部宝 择六 Ｓ
Ｉ Ｖ ＝ｒ
ｉ ？



以
釣 中 继  分 髮蔡 合 
＾
给 鍾  元人 机   ｍｊｍ 

．

ｍ Ｓ  旗 緊！

 々ｊ ／ ３ 

英
￣ ￣
￣ ￣
 ￣ ￣  ￣
￣ ￣

Ｉ ｒ １  Ｉ １

  Ｉ  

ｉ



？

图 ｌ
－

ｉ 研 究 内 容及框 架 图



在 多 无人 机 的 追踪场 景 下 ，
无人机之 间 准确 、 及 时 的 信 息 交互 是 准 确 跟踪 

目

标 的 关键 ， 其 中 分 布 式 协 同 估 计 方法 越来 越 受 到 人 们 的 重 视 ，
多 智 能体共识算法


是其 中 的 种 重要方法 本文主 要 研 究基于 共识 策 略 的 多 无人机组 网 通过加 入


一

， ，

中 继无人机 、 优 化 中 继无 人机 的 部 署 与 轨迹 、 优 化追踪 无 人机 的 功 率 分配 、 优化


追 踪无人机轨迹等 多 种 方案 通过 改变 整个追踪 网 络 的 网 络 连通 度 来对整个 网 络

 ，

进行优化 ，
从而 实 现在追踪场 景 下 对 目 标 的精确共识和 追踪 

。



５

北京 邮 电 大学工学 硕士学位论文 



ａ
） 本 文 以 增 减拓 扑边 的 方 式 改 变 网 络 连 通 度 的 主 要 贡 献 如 下 

：

提出 了 个新 的 网 络框架 将 中 继 无 人机作 为 个新 的 节 点 部 署 到


一 一

１ ．
，

多 无 人 机 追 踪 网 络来 改 变 当 前 网 络 拓 扑 结 构 

。

提出 了 种基于 Ｄ ＱＮ 的 算 法 来 获 得 中 继 无 人 机 最 优 的 初 始 位置
一

２ ． 

。

提出 了 种 当 追 踪 无 人 机 开 始 追踪 移 动 时 基 于 Ｄ ＱＮ 算法 的 中 继无


一

３ ．
，

人 机 轨 迹 规划 方 案 

。

ｂ） 本 文 以 增 减拓 扑 权 重 的 方 式 改变 网 络 连 通 度 的 主 要 贡 献 如 下 

：

提出 了 种基于 ＭＡＤ Ｑ Ｎ 算 法 的 多 无 人 机 轨 迹 和 功 率 分 配 联合 优 化


一

１ ．

方案 

。

由 于联合优化 问 题 的 非 凸 性 提出 了 种 随机 博弈 的 建模方式 并用


一

２ ．
，

Ｍ ＡＤ Ｑ Ｎ 算 法求 解 该 问 题 的 最 优策 略 

。

最 后 本 文 以 图 论 的 角 度 分 析 了 网 络 共 识 及 网 络 连通 度 ， 并 分 析 和 验证 了 以



上 改变 网 络 连通度方案 的 有 效 性 

。

１ ． ４ 论雄构 安排



本 文 针对 多 无 人 机 追 踪 场 景 下 的 网 络共 识 、 无人机能 效 问 题进行 了 研 究 ， 

通

过对 共 识 收 敛 时 延 的 影 响 因 素 分 析 及 对 多 无 人 机 组 网 场 景 的 建 模 分 析 了 追 踪 场

 ，

景 下 无 人 机 系 统共 识 及 能 效 优 化 的 方 向 并 提 出 了 相 应 的 策 略 。 全文共分为五章 

，

结构 安排如 下 

：

第 章 绪论 本 章 首先对论 文 的 研 宄背 景进 行 了 介 绍 内 容 包 括 多 无人 机


一

： 。 ，

集 群 追踪 网 络 的 概 述 基 于 共 识 策 略 的 分布 式 协 同 估 计在 追 踪 网 络 中 的 研 宄 及 研
、 

宄意义 进 步 对 国 内 外 研 宄 现状进行 了 详细地介 绍 阐 述 了 本文 的主要研究


一

。 ， 。

工 作 内 容及 相 应 的 创 新 点 。 最后 说 明 了 论文 的 结 构 安排 

。

第二章 ： 基于 Ｄ ＱＮ 算 法 的 中 继无人机部 署 与 轨迹 规划 方 案 。
本 章 详细 介 绍



了 改善 多 无人机之 间 信 息 共 识 收敛 时延 以 及 多 无人机 能效 的第 种 策略方案 在



一

该方案 中 我们 提 出 了 种 通 过部 署 中 继 无 人 机来 改 善 多 无 人 机 追 踪 网 络 的 连 通


一

度 和共识 性 能 的 方法 。 我 们 将 部 署 中 继 无 人 机 的 过程 分 为 两 个 步 骤 。 首先 ， 提出



了 基 于 Ｄ ＱＮ 的 部 署 算 法 来 获 取 中 继 无 人 机 的 初 始 位 置 ， 优化 了 追踪 网 络 的 能量


消 耗和 共识 收敛时延 。
其 次 在追 踪 无 人 机 的 运 动 过程 中 我 们 提 出 了 基 于
， ， Ｄ ＱＮ



的 中 继 无人 机 轨 迹 规 划 算 法 。 仿 真 结 果表 明 ， 与 现有算法相 比 ， 基于 Ｄ ＱＮ 的 算


法 具 有 更 好 的 性 能 同 时 验 证 了 我们 的 方 案 能 有 效 地 提 高 了 多 无 人 机 追 踪 网 络 的
， 


共识 成功 概率 ， 降低 了 多 无人机跟踪 网 络 的 中 断概 率 

。



６
 第 章 绪论
一






第三章 ： 基于 Ｍ Ａ Ｄ ＱＮ 算 法 的 多 无 人机 轨 迹 和 功 率 分 配 联合优 化 方 案 。


本
章 详细 介绍 了 改善 多 无人机之 间 信 息共 识 收敛时延 以 及 多 无人机 能效 的 第 二 种



策 略方 案 在 该方案 中 我们 提 出 了 种 联 合优 化 多 追 踪 无 人 机 轨 迹 及 每架 无人


一

。 ，

机 功 率 分 配 的 方法 结 合 多 代 理深 度 强 化 学 习 算 法 通过在 定 范 围 内 限制 追踪


一

， ，

无 人 机 的 轨 迹 并 且 学 习 最 优 的 功 率 分 配 方 案 来优 化 追 踪 网 络 的 能 量 消 耗 和 共 识



收敛 时 延 。
仿 真 结 果验 证 了 我 们 的 方 案 

。

第四章 ：
多 无 人机 网 络 中 共 识 收敛 速 度 分 析 ， 本 章 详细 介 绍 了 影 响 多 无人机


之 间 信 息 共识 收敛 时 延 的 影 响 因 素 并且详细 分析 了 前 两章 提 出 的 方案之所 以 能
， 


提 升 和 改 善 共 识 收敛 时 延 的 具 体 原 因 最 后 进 行 了 仿 真 验 证 了 我 们 相 应 的 分 析
。 ， 

。

第五章 ： 总 结 与 展望 。
本 章 对全 文 所研 宄 的 全部 工 作 进 行 了 总 结 ， 同 时对未



来 的 研 宄 工 作进行 了 展 望 可 以 为后 续进 步 的 研 究提供 建议和 参考

一



。
，



７
 北 京 邮 电 大学工学 硕 士学位论文
 





８

第二 章 基于 Ｄ ＱＮ 算 法 的 中 继 无 人 机 部 署 与 轨 迹 规划 方 案 



第 二章 基于 ＤＱＮ 算法 的 中 继 无 人 机 部 署 与 轨迹规划 方 案



在 多 无 人 机 的 追踪场 景 中 ， 由 于无人机 的 高速移动 和 通信 范 围 受 限 的 问 题 


，

无人 机之 间 的 通信 链路容 易 被频繁 打 断 造 成 多 无人机协 作追踪 时对 多 个移 动 ，



目

标无法精 确 共识 ， 同时 ， 随 着 无人 机机群 数量 的 增 多 ， 信 息 共识 的 路径也变得 复




杂 接 收到 的 信 息可 能会有 定的时延
一

，


。

本 章 介 绍 了 改善 多 无人 机之 间 信 息 共 识 收敛 时 延 以 及 多 无 人 机能 效 的 第


一

种 策 略方案 在 该 方案 中 我们 提 出 了 种 基于 Ｄ ＱＮ 算法通过部 署 中 继无人机



一

。 ，

来 改 善 多 无 人 机追 踪 网 络 的 连接度 和 共 识 性 能 的 方 法 首 先 针 对 多 无 人 机 追 踪 场

 。

景 ， 我 们 建立 了 系 统模 型 ， 其 中 包括部署模型 、 信道模 型 、 共识 能 耗模 型 以 及 共

 －

识 中 断概率模型 其次 引 入 架 中 继无人机 利用 Ｄ ＱＮ 算法找 到 满 足 最优共



一

。 ， ，

识 时 延 和 能耗 的 中 继无 人 机 的 轨迹部署 方案 主要 分为两个个阶段 阶段 

当
一

。 ， ：

初 始化追踪无人机 的 分 布 时 ， 找到 最优 中 继 无人机 的 起始 位置 。 阶段二 ： 当 追踪



无人机 开始追踪任 务 时 基 于 追踪 无 人机 的 动 态轨迹进 行相 应 的 中 继 无 人 机轨迹

 ，

部署 。
最后 通过仿 真对我 们 的 方 案进 行 了 验证 

。

２ ． １ 系 统模 型



２ １ ． ． １ 部署 模型



Ｒｅ ｉ ａ ｙＵ ＡＶ


Ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇＵ ＡＶ



尤
．

贫 ｆ
（

之


十 
（
、



ｒ
。
。
以

Ｘ 丄 Ｔ
。
＇
＇

＇
ｊ 

＇

 ＼ ４
 ｉ Ｙ
 、  ？
 
＿ 、

＼
、



＼ 

■

Ｋ
＾ 
 

！

、
？
－
匕
＇
、
ｒ
ＶＶ 

ｎ

Ｔ ａ ｃ ｋ ｎ ｇｔ ａ ｇ ｅ ｔ  ， 
￣
￣

ｒ ｒ 、
ｉ
 １  

ｉ

Ｃ ｏ ｎ ｔ ｒ ｏ ｃ ｅ ｎ
ｌ
ｔ ｅ 

ｒ

图 ２ －

１
部署场 景 图



在追踪场景 中 我们考虑在 个地理 区 域 内 部署 由 Ｗ 架追 踪无人机 的 集合



一

＃ Ｖ 和 架 中 继无 人机组 成 的 多 无人机追踪 系 统 在该系统中 追踪无



一

＝
２
■

 １ ． ． ．  。 ，
，
［ ｝



９

北 京 邮 电 大 学工学 硕 士 学 位论 文




人 机和 中 继 无 人机 分 别 以 速度 在同 高度 飞行 每架追踪 无人机负 责追踪相



一

Ｖ ；； 。

应 的 追踪 目 标 ，
并将追 踪 信 息 传输 给 相 邻 的 无人机 ， 以完 成信 息共识 。
本文假设


追踪 目 标是 随机移动 的 ， 所 以 追踪 无人机 的 轨迹 也 是 随 机 的 。
中 继无人机则 根据


追 踪无 人 机 的地理位 置 和 当 前 网 络 的 性 能 需 求 飞 到 相 应 的 位置 ， 以 适应和 改 变 当



前 多 无 人 机追踪 网 络 的 网 络 传 输 性 能 其主要 影 响 网 络连通度 以 及 信 息 共 识 的 方


 ，

式 如图 所示 是 我们 的 场 景 部署 图 我们 假设有 个 中 央控制 中 心 可 以 收


一

２
－

。 １ ， ，

集 所有追踪 无 人机 的 位置状 态 信 息 并 能 够 发送命 令 要求 中 继 无人 机可 以 移动 到


 ，

合适 的位置 

。

， －
一


－

 ／＼


一

一 ？
一

产 Ｖ


？



－

一 一




图 ２ －

２ 无人机 网 络拓扑 图



该 系 统 中 所有 无 人 机之 间 的 网 络 拓 扑 可 以 表示 为 个有 向 图 Ｇ
一



＝


其 中 ｊ＝ 表 示 为 该 图 的 邻 接矩 阵 ，
并 且 邻 接元素满 足 ａ ２ ０ 

，

Ｆ
叫 表示 由 Ｖ 架追踪无人机和 架中继 无人机组成 的 集合 Ｅ 为每


一


＝
１
，
２ Ｔ ｉ？ ，

对节 点 之 间 边 的 集合 ，
节 点 的 邻 居节点集合／ ， 可 以 表示为


其中 

：

ｌ
，
ｖ ，
ｖ ｅ 

￡
Ｊ）

，
（
ｖ ’

＾  ２
＝ －

１
（ 

）
＼
０ ，  ｏ ｔｈ ｅ ｒｓ



２ ． １ ． ２ 信道 模型



本文 假 设 网 络 的 传输带 宽为 ６ Ｈｚ ， 时间间隔 Ｔ 被划 分为 Ｔ Ｖ
，
个时隙 其 中 每个

 。

时 隙 的长度是 同 时 本文还 假设 无人机之 间 的 通信 信 道为 １ ０５ 


信
道 ， 考虑 自 由 空 间损耗模型 ， 因 此本 文 定 义 信 道 系 数 为 

：

Ａ Ｍ ＝ ￣ ￣

ｎ （２ －

２）
－ ￣ ￣

ｒ ｎ
… …
，
，



 ｒ１
小 Ｗ Ｗ十乂
ｒ
＋


－

Ｌ Ｊ
ａ Ｊ

其中 《 表示 时 隙 ，
／
？
。
表示在 名 ＝
ｌ ｍ 时 的信道系数 ， 其中 名 为 固 定 常数 

。

２ ＇ ＇

ｄ ［
？ ］＝
ｙ
ｘ ［
ｒｉ
＼
－

［
？］  ＋＞ ［
？ ｜
－

乃 ［
？］ 表示在时 隙 ３ 下 无人机之 间 的 距离 。


考
ｙ
ｊ＼ ］ ＾ ］
，
］
＿

１ 

０

第二章 基于 Ｄ ＱＮ 算法 的 中 继无人机部署 与 轨迹规划 方案 



虑使用 同 信 道 资 源 的 多 个无 人 机之 间 存 在 干扰 因 此通过信道建模可 以 计算


一

出 每 条 链 路 的 相 应 的 仰Ｖ 可 以 表 示 为 ｉ？ 

：

１ ２ ，
… …
，
Ｎ ｔ （
２ －

３


）

匕物々 ［ 啦 Ｗ 々
＋


？

其中 凡 为无 人机 的 传输功率 ／ ，
＆ 是对无人机 产 生干涉 的 无 人 机 ／
＿
／ 的 传 输功 率 

，

为高斯方差 表示 网 络 的 传输带 宽 表示接 收无人机 处 的 加

？

４
＝
 ５＃。 ，
其中 ５ ， ｉＶ
。


性高斯 白 噪声 （ ＡＷ Ｇ Ｎ ） 的 功 率 谱 密 度 当 两 架 追踪 无 人 机 之 间 。 Ｓ ＩＮ Ｒ 满足 ％ 
＞ 

％
时 ， 表 示该无人机 和 无人机 ；
＿ ／
之 间 可 以 进 行通信 ，
以 此类推 ， 可在追踪无人机


之 间 建立 网 络拓 扑 其 中 ＆ 表示满足可通信 范 围 ， 内 Ｓ Ｉ ＮＲ 的 最小值 为 固 定常数 ， 

。

在每个时 隙 中 ，
无 人机 的 有 效平 均 数据 速 率 可 以 表 示 为
ｆ 

：

丄 Ｖ

ｆ 
ＴＡ
ｎ＝ｌ
［


ｎ
＼  上 Ｎ
ｔ 
ｎ＝ 

＼
１ 〇ｇ
ｚ ＋ ［
Ｗ
Ｄ  （
２ ４）


＿

基于 获 得 的 平均速率 ， 我们 可 以 计算得到无人机 和 无 人机 ｆ
＿ ／ 之 间 的 通信 时


延 

：


＝ ＝
Ｔ ＿

＾
－ （ 

）
Ｊ
Ｂ ｌ ｏｇ
２
ｌ ＋ ｒ 
ｎ
（
ｉ
［ ｝
ｉ
）

其中 ￡ 表示每 架 无 人 机每 次共 识 需 要传 输 的 数据 包 的 大 小 我们 假 设其为 

个
一

＞
。
ｓ

固定 的常数 

。

２ ． １ ． ３ 共 识 能 耗模型

 －

无人 机之 间 所有 追踪信 息 交 互所 需 的 共识 时 间 和 飞 行过程 中 的 能 量 消 耗在


追踪 场 景 中 至 关 重 要 。 在这种 情 况 下 ， 多 无 人 机 通 信 网 络 中 必 须 考 虑共 识 能 耗模


型 。 共 识 能耗模型可 以 定义为 

：

Ｆ＾ Ｔ＾
＾７ ２ ６）－

（ 


ｉ ）

其中 ￥ 和 Ｇ 为模 型 系 数且满足 Ａ 
＋ ＜ ＝
２
１ 。 ７
；
和 ＆ 分 别 为 离 散 算 法共 识 模 型 和 能


耗模型 。
Ｙ 表示用 于调 整能耗 比 例 的 能耗 系 数 。
ｐ 时 防止 分母为零 的 系 数 

。

２ ． １ ． ３ ． １ 离散共 识算法 模型



在 分 布 式 多 无人机追踪 网 络 中 ， 网 络 连 通度 和 通信 时 延 会 引 入 误差 ， 其将 会


严重影 响 共识 结 果 的 收敛时延及 时 间 。 当 无人机 和 无人机 ｆ
＿ ／ 之 间 出 现通信 时 延



＆ 时 ， 离散动 态 时 间 共 识 算法 的 表达式 如 下 所示 

：

１ １



北 京 邮 电 大 学工 学硕 士 学 位论 文 



元 （
， ＋ １
）
＝
 ｘ
，
 （
，
） 
＋


ｙ
以
ｅｎ


，
［ ６？ ；
（
卜
 ５  ）］  （
２ ７）


－

其中 ｉ
，
被 叫 做 无 人 机 的 值 本 文 将 其 定 义 为 追 踪 无 人 机 的 位 置信 息
ｆ ， ｆ 。
％ 为无人


机 和 无 人 机 ｙ 之 间 的 共 识 权重 系 数
ｆ ， 当 （ ＾ ２
；。？
时 （ 后 文 我们 会 专 门 定 义 Ｕ 

，

所 有无 人 机 的 值将 逐渐达 成共 识 

：

ｌｉ ｍ ｉ ， （
／
）
＝
 ｌ ｉｍ
ｌ
￣

＾＾
ｃｏ ｎ


＾ （
／
）  （
２ ８ －



）

表 示 多 无人 机 追 踪 网 络 的 共 识 收敛 时 延 如 果 无人 机 之 间 存在 通 信 时 延 。 

，

则 无人 机 将会 对 来 自 其 他 无 人 机 的 延 迟 信 息 进 行 融 合 ， 这 将 给无 人机 的 值 ， 也就


是 无 人 机 的 位置 信 息 带 来 误 差 。 除 此 之外 。 如 果 时 间 延迟足够 大 ， 上 述 方 程更有


可 能 不 收敛 。 通过 ［
３ ５］ 的 分析和证 明 ， 我们 可 以 得到 多 无人机 网 络 中 容许 时延 的



最大上界 ， 以 满 足 方程 收 敛 的 条 件 

：

Ｖ
点 （
２ ９ ＇



）

其中 ？６ ）
表 示 多 无人 机 网 络 图 Ｇ 最大 的 出 度 个 数 ， 可 以 被计算 

：

ｄ娜 ｛
〇
、
＝

 ％ 〗
（
２ －

１ ０


）

除此之 外 从 的 分析和 证 明 可 知 不 同 的 网 络 拓 扑 结 构 会 导 致共 识 算 法 的
３５］
，
［
， 


收敛时延也不 同 。 其 收敛 时 延 可 以 表 示 为 ； 被称 作 拉 普 拉 斯 矩 阵 的 第 二 小


特征值 ， 也 称为代 数 连 通 度 。
其中 ｉ 是图 （？ 的 拉 普 拉 斯矩 阵 。 因此 ， 

多 无 人 机追
踪 网 络 的 共识 收敛 时延 可 以 被 定 义为 ［
３６ ］



：




＾
＋ ＂ ｌ

＾ ＾ ２＾ Ａ
Ｋ ）
￣

＾
ｆ
１

） ％
－

ｌ Ｎ
２
＾ ｃ Ｌ
－

Ａｒ
ｌ ｃ ｋ
－

＼
（ １ （ １
２ ２
（ ） ｛ ）

其 中 ｃ＃ ｃ
２
为正常数 ，
＆ｅ （
０ ，
ｌ
）
， 《：
２
ｅ
〇 ，
〇〇
）


。

加 入 中 继 无 人机 后 ，
因 为存在前后场景 的变化 ， 我们 需 要计 算 引 入 这种 差 异


化而带来 的 系 统化 的 提升 ， 因此 ， 离 散共 识 算 法 模 型 可 以 表 示为 有 中 继 无 人 机 和


无 中 继 无人机 的 共识 算法 的 收敛 时 延差 

：

Ｃ 
＝

Ｓ
？ ＝ １
（
ｒ
— （
？
）
－

７咖
 Ｗ ）  （
２ －
１ ２）



其中 是 中 继无人 机 加 入 追 踪 网 络 后 的 共 识 收敛 时 间 

。

１ 

２
 第二章 基 于 Ｄ ＱＮ 算 法 的 中 继 无 人 机 部 署 与 轨 迹 规 划 方 案 




２ １ ３ ２
． ． ．
能 耗 模型



在 多 无人机追踪 网 络 中 ， 能量消 耗 主 要 包含两个 方面 ：

无 人 机之 间 的 通 信 能


耗 和 维 持 无 人机 机载 飞 行 所 需 的 推进 能 耗 。
然而 ， 无 人 机 网 络 中 的 通 信 能 耗 远远



低于推进能耗 因 此本 文 将 不考 虑 这 部分 本 文 假 设 所有无 人机 以 恒 定 的 高度


一

， 。

飞行 具有恒 定 的 速度 Ｖ 水平 飞 行 期 间 推进消 耗 的 功 率 由 关 系 式 给出
３ ７］
［
办 ， ， 

：

ａ
＋ ｆ 
３
＞
ｉ ｖ ＝
 Ｃ Ｖ ２ －

１ ３
（ ） ｎ，
（ 

）

ｖ 


其 中 ＾ 是用 来平衡 由 表 面摩擦 引 起 的 寄生 阻力 所 需 的 功 率 是用 来平衡



３
，

空气 阻力 所需 的功率 。
＾ 和 ＾ 与 无人 机 和 环 境 的 许 多 参 数 有 关
＾ ， 计算如 下 

：

０
＾ ＼ ｐＣＳ  ｔ
（
２ －

１ ４）



Ａ  ２ Ｗｆ
２


，
，

＾ ｒｊ Ｓ
｛ ）ｐ 

ｔ

其中 ，
ｐ 和 Ｃ 分别 表示 空 气密度和零升 力 阻力 系 数 。
＆ 是无 人 机 的 参 考 区 域 。 

ｅ

是奥萨 瓦尔 德效率 。 ７
７， 和 Ｆ 分 别 是 无 人机 的 机 翼 展 弦 比 和 重 量 。 因此 ， 中 继无人


机消 耗 的 推进 能量可 以 由 以 下 公 式得 出 

：

＾ 
ｖ ，
ｎ ＝
 Ｐ ｖ ＝
 ｄｒ （
２ －

１ ６


）
（ ） ｔ  （ ）

｜ 

其中 表示 中 继无人 机在第 ｎ 个 时 隙 中 的 飞 行距离 ， 表 示 中 继 无 人 机在



第 》 个 时 隙 中 的 飞 行速度 。
因此 ， 我 们 的 能 耗 模 型 可 以 被表 示 为 

：


ｐ
ＥＲ
ｆＥ ｖ ｎ ２ ７）
－ －

１
ｄａｙ
ｒ ｛ ，
）
（ 


？＝１



备注 ： 由 于 所有 追 踪 无人 机 的 追 踪 轨 迹不 在 我们 的 优 化 目 标范 围 内 ， 因 此这



里 只 考 虑 中 继 无人 机 的 飞 行 中 推 进 能 耗 

。

２ ． １ ． ４ 中 断 共 识概 率 模型


－

２ ． １ ． ４ １ ．
中 断概率 麵



在 每个 时 隙 的 追 踪 过 程 中 ， 由 于 无 人 机 飞 行轨 迹 的 不 确 定 性 ， 无人 机 之 间 的



某些通信 链路有可 能 因 链 路 Ｓ ＩＮＲ 质 量差而 中 断 。

从 网 络拓 扑 图 的 角 度 来看 ， 

当

个无 人 机 无法 与 任 何 其 它 无 人 机通 信 时 会出现 个非连接 的 图 因此 中断


一 一

， 。 ，

概率模 型 可 以 被 定 义 如 下 

：

１ 

３

北 京 邮 电 大 学工 学硕 士 学 位论 文 



户
及 Ｈ ２ ８
＝ －

１
（ 

）
＿


， 、  ｆ ｌ  ｅｘ ｉｓ ｔ  ｄ ｉ ｓ ｃ ｏ ｎ ｎ ｅ ｃ ｔｅ ｄ ｇｒａｐ ｈ



ＷＷ



＝＜
（
２ －

１ ９）



。 —


其中 表示 系 统在 第 《 个 时 隙 中 是否 处于 中 断状态 。
判 断多 无 人机 中 断 的



条 件 是 在 当 前 网 络 拓 扑 下 是 否 存 在连接 图 。
如 果存在 ， 则 系 统 处 于 连接 状 态 

，

Ａｕ ｔａ
ｇｅ
的 值为 〇 。
如 果 不存在 ， 则 系 统 处 于 中 断 状态 ，
Ａ ｕｔ ａ
ｇｅ
的 值为 １ 

。

２ ． １ ． ４ ２
．
共 识 概率模型



从 网 络拓 扑 的 角 度 多 无人机 网 络 图 中 存 在 棵 生 成树 且 通 信 链 路满 足 时


一

， ，

延 限制 的 需求 在 中 已 经被证 明 是 网 络 系 统 达 到 共识 收 敛 的 充要条件 换句话



［
３ ８］
， 。

说 ， 图 中 必 须存在
一

个全局 可达 点 。 因此 ， 共 识 概率模 型 可 以 定 义 如 下 

：

＾ｃｏｎｓ Ｗ
 ２ ２ ０）
￣


－

ｅｎ ｓ ｕｓ  ｃ ｏｎ ｓｅ ｎｓ ｕｓ  （ （ 

）

、
ｆ ｌ  ｃ ｏ ｎ ｓ ｅ ｎｓ ｕｓ  ｃ ｏｎ ｖｅ ｒｇ ｅｓ



Ｗ
，
Ｃ—

＝
２ ２ ＿

１
（ 

）
〇  ｅ ｌｓ ｅ


 ｜

其中 ， 表 示 系 统 在 第 《 个 时 隙 中 是 否 处 于 共 识 状态 判 断 多 无 人 机 系 统 是

 。

否 共识 的 条件 取决于 在 当 前 网 络 拓 扑 和 时 延 下 网 络 能否 收敛 。 如果收敛 ， 系 统则



处于共识状态 。 的值为 １ 。
如 果 不存在 ， 则 系 统 处 于 非共 识 状 态 

。

的 值为 ０ 

。

２ ２ ．
问 睡构建



本节 中 ， 对 多 无人机 追 踪 网 络 中 的 共 识 、 能耗折 中 优 化 问 题 ，
以及追踪过程


中 的 网 络共识 、 中 断 概 率 的 优 化 问 题 分 别 做 了 详细 的 理 论 分 析 

。

２ ２ １
． ．
共 识 收 敛时延和 麟 的 折 中



在 多 无 人 机 追 踪 网 络 中 不 同 的 网 络 连通 度 会 严重 影 响 共 识 算 法 的 收 敛 时 延

，

（ 具体在第 四 章分析 ） ， 网 络 连通 度 越 大 ， 共 识 算 法 的 收敛 速 度 越 快 。 这种 代 数


连通 度 可 以 通 过 改 变 边 的 权 重 来控 制 ， 也 可 以 通 过 增 加 和 删 除 边 来控 制 。 然而 

，

增 加 和 删 除边 以 获得期望 的代数连通度 是 个 难问题 因此 在我们 的 方案



一

ＮＰ 。 ，

中 通过 加 入 个 新 的 中 继无人机 可 以 有 效 地 改变 网 络 的 拓 扑 结 构 实现增 加


一

， ， ，

和删 除边 的 目 的 

。

１ 

４
 第二 章 基于 Ｄ ＱＮ 算 法 的 中 继 无人机部 署 与 轨迹 规划 方 案 




除此之外 ， 在 无 人 机 的 飞 行 过程 中 ， 中 继无人机 的 飞 行轨迹也 会影 响 整个 无




人机 网 络 的 能量消 耗 （ 因 不 考虑 追 踪 无 人 机 的 轨 迹优 化 问 题 ，
所 以 只 考虑 中 继 无



人机 的 能耗 ） ， 能耗 问 题依 旧 是 多 无人机系 统 中 需 要研 究 的 重要 问 题 

。

首先 ，
本 文 假 设 所 有 追 踪 无 人 机在 初 始 时 刻 都 是 静 态 的 。
在这种情况下 ，


我
们希 望找 到 中 继无 人机 个最 优 的 初 始 位置部 署 使 得 我们 的 追 踪 网 络 共 识 算法


一

的 收 敛 时 延和 中 继 无人机 的 能耗都 能较低 。

因此 ， 我 们 将该 问 题可 以 表述 为 

：

ｍ ａｘ Ｆ  ２ ２２
－

ｎ （ 

）

ｓ － ｔｃ ｌ ｒ ｄ ＞ ０＾


ｉ
ｊ 

ｃ２ ：  ｔ ＜ ｄ 
ｒ 

ｔ

其中 表示无 人机之 间 的 最 小 距离 阚 值 。 ｃｌ 定义 了 最 小 的距离参数 ， 以 防止




每 架 追踪 无 人 机 之 间 发 生 碰撞 。
［ 表 示 中 继无 人 机 在 每 个 时 隙 中 的 移 动 时 间 ， 

因

此 ， ｃ２ 定义 了 中 继无人机 的 移动 时 间 范 围 

。

２ ２ ２
． ．
織 网 络 中 的 共识 和 中 断概率



当 追 踪 无 人机 开 始 移 动 时 ， 追 踪 网 络 的 拓 扑 结 构 是可变 的 ， 这将 导 致 现 有 的


一

些 通 信 链 路发 生 频 繁 的 中 断 。
因此 ， 无人 机 网 络 的 连 通 度 很 容 易 受 到 影 响 。 

这

会影 响 共识 算法 的 收敛 时 延 甚 至 导 致 完 全 不 收敛 所 以 我们 需 要找 到 条中继


一

， 。

无人机 的 轨 迹 来 解 决 这 些 问 题 。 因此 ， 该 问 题可 以 被表述为 

：

＾Ｏ ｕ ｔａ  （
２ ２３ ￣



）

ｇｅ

眶 户應 娜  ２ ２４ ＿

（ 

）

ｔｃｌ ｄ Ｄ＾
ｓ － ｉ

＾ 


ｃ２ ： ｔ ＜ ｄ
ｒ 

ｔ

２ ３ ．
基于 Ｄ ＱＮ 的 中 继 无 人机 初 始 化 部 署 算 法



在本节 中 ， 当 我们 随 机 初 始 化 所 有 追 踪 无 人 机 的 初 始 分 布 后 ， 我们 将利 用



Ｄ ＱＮ 算法 ， 来找 到 中 继 无 人 机 的 初 始 部 署 ， 以 优化 无 人 机 网 络 在 初 始 阶 段 的 共


识 收敛 时延和 能耗 的折 中 问 题 

。

１ 

５

北 京 邮 电大学工 学硕士学 位论文 



２ ３ １  Ｄ ＱＮ
． ．
 算法



首先 学 习 是 强化学 习 算法 中 的 种 基 于 值 的 算法 即构造
一

个 表来


一

，
Ｑ ，
Ｑ

存储 Ｑ 值 ， 然 后 选 择 能 够 获 得最 大 回 报 的 动 作 。 与 Ｑ 学习 相 比 ， Ｄ ＱＮ 的 主 要 思



想 是 用 深 度 神 经 网 络 模 型 来代 替 Ｑ 表来实现 智 能体 的 状态估计 

。

此外 ， 为 了 准 确 有 效地训 练和 更 新 Ｑ 网络 ， Ｄ ＱＮ 算 法主 要表 现 出 两 个重 要


的区别 ： 经验重放和 Ｑ －

ｔａｒ
ｇ ｅｔ 网络 。 Ｄ ＱＮ 采 用 经验重 放 机 制 来 维 护 队 列 ， 保留历



史 经验 在每 步中 Ｄ ＱＮ 都使用 个来 自 经 验 重 放 缓 冲 区 的 小 批 量数 据 来 存


一 一

。 ，

储来 自 代 理 和 环 境 之 间 交 互 的 传输 样 本 。 由 于 经验重放记 忆 独立 于 神 经 网 络 ， 

它

保证 了 训 练数据 的 相 对独立性 并 能避免发散 除此之外 也是 种破



一

Ｑ ｔａｒ
ｇ ｅｔ
－

， 。 ，

坏 相 关性 的 机 制 。 使用 Ｑ
－
ｔａｒ
ｇ ｅｔ 将使 Ｄ ＱＮ 中 的 两个 网 络 具有相 同 的 结构 ， 但参


数不 同 。
Ｑ 目 标 的 更新将落 后 于评 估 网 络 。 对评 估 网 络 进 行 多 次 更 新 ， 将评估 网



络 的 参数 分配给 标 网络 实现 标 网 络 的 更新 这样 在 定程度上 降低 了 当


一

目 ， 目 。 ，

前 Ｑ 值与 目 标 Ｑ 值之 间 的相关性 ， 提高 了 算法 的 稳 定 性 

。

２ ３ ２
． ．
算法模雖义



在我们 的 Ｄ ＱＮ 模型 中 ， Ｄ ＱＮ 用 于 控 制 中 继 无 人机 的 飞 行 。 中 继 无 人机将 作


为
一

个智 能体 ， 可 以 定 期 收集 追 踪 无 人 机 网 络 的 状态 ， 并通过与 多 无人机 网 络 的



环 境交 互 ， 使用 Ｄ ＱＮ 算法来确 定 其 最佳 行动 策略 ， 即 飞 行轨 迹 ， 以 在 决策步 骤


中 来最大化观察 到 的 回 报 ｒ 在每个步骤 中 中 继 无 人 机 从状 态 空 间 中 观 察


一

。 ｆ ，
，

个状态 ＾ 并基于 网 络选择 个动 作 ４ 因此 我们 可 以 定义 中 继无人机 的 状



一

，
Ｑ 。 ，

态 、 行动 和 奖励 

：

１
） 状 态表 示 中 继 无 人 机 由 水 平 位 置 和 垂 直 位 置 两 个状 态 组 成 被 定 义 为
： ， 

：

Ｋ、 ，
凡） ， 其中 ｆ 为 中 继无人机 的 水平平面坐标 ， 状态 空 间 能 够 被表


示为 ＼ ：

｛
０， １ …

＆ 丨
， ７， ：
｛
０ ，
１ ． ． ． ；

＾ ｝
， １０ 和 ＆ 为特定 区域 内 最大 的 位 置坐



标 每 次试验 中 每 架 中 继 无 人 机 的 初 始 状态 位置 都 是 随 机确 定


一

。 ， （ ）

的 ，
更新 Ｑ 网 络 则 由 中 继无人机 的 初始位置 、 追 踪 无人 机 数 量和 追 踪 无


人机 的 位 置 决 定 。 当 每 架 中 继 无 人 机 离 最 佳位 置 越 近 ， 更 新速度 越快 

。

２） 行为空 间 ： 这 些 动 作 用 于 改 变 中 继 无 人 机 的 行 为 以 响 应 每个 时 隙 处 的 状


态 我 们 假 定 中 继 无人 机 的 行 动 由 

和
°
。
？

飞 行 方 向 必 ＜０ ，
３ ６０
； ｜
，
必 ｅ Ｚ

飞 行距 离 元 组成 在每 次实验 中 基于 时 隙 ”
一



％ ： ， ，

的 当 前 状态 ＼ 和 基于 Ｑ 网 络 的控制 策略 ， 中 继无 人 机 开 始 执 行 动 作 ａ 以

 ，

响 应状态 ４ 。
最优动 作 使多 无 人机 网 络 的 平均 回 报最大化 

。

３
）
奖励 ：
奖励 定 义 了 中 继 无 人机 部 署 方 案在 当 前状 态 ｓ 对时隙 ｎ 中 所采 用



１ 

６

第二章 基于 Ｄ ＱＮ 算 法 的 中 继 无 人机 部 署 与 轨迹 规 划 方案 



的动作 ａ 的影响 。 在我 们 的 模 型 中 ， 我 们 使 用 添 加 中 继 无人 机 和 未 添 加


中 继 无 人 机 的 整 个 网 络 的 共 识 收敛 时 延 差 值 和 中 继 无 人机 消 耗 的 能 量 

，

这 两 部分 的 加 权和 来 量化我 们 的 优 化 目 标 ， 基于 以 上 的 优化 目 标来确 定


最优 中 继 无 人 机 的 位 置 ， 因 此 我 们 的 奖 励 方程 可 以 通 过 如 下 这 种 形 式 计


算得 到 

：

（
２ ２５）
－




來 ， Ｗ ）
＋ Ｃ
２ 

如


，

（ ‘ （
：
）

ｎ 
＝
 ｌ
，
２” ＂
，
Ｎ 

ｔ

２ ３ ３
． ．
算 法 流 程描 述



算法 ２ －
１ 基于 Ｄ ＱＮ 的 中 继 无 人 机 初始 化 部 署 算 法




１ ：
随 机初始 化 多 无 人 机 追 踪 网 络 分 布



２ ： 初 始 化 经 验 回 放 内 存 马 和 ！＾

３ ：
初始化两个 行 动 值 函 数 －

糾 和込 ） （ ｗ２ ｜
巧 ）
， 其中 沒 为 随机权重



４ ： 初 始 化 两 个 行 动 值 函 数 么＃ ＃ －

，
％ ％和 其 中 权重


沒 ＝
０和
＝

６ ＞
６ ＞

１ ２ 

２

５ ：  ｆｏ ｒ  ｅ
ｐｉ ｓ ｏ ｄ ｅ 
＝
１
， 
Ｍ  ｄｏ



６ ：
 在 特 定 地 理 区 域 内 随 机 初 始 化 中 继 无人 机 的 位 置 坐 标



７ ：  ｆｏ ｒ ｎ
＝
１ ，
Ｎ  ｄｏ



８ ：
 基 于 概 率 ￡ 选择动 作 ■



和

否 则 选择 ＼ 狀容 〇 和 〇 ＾ ０２
＾０
＇

严０
９ ：
＝
１ １１ ＞ ？ ，
６ ＞
〇 １１ ５ ￡１
１ （ １ ｜
１ ） ２” ２ （
，
２ ｜



）

１ ０ ： 执行动 作 ａ 和 ａ ｌ ｎ ２？ ， 观察奖励 ｒ
？ ， 更 新状 态 ＾＾



１ １ ：
 储 存 转 移 样本 （
ｓ
？ ，
人 ，
＾＾  ）
放入 马 和 （
＊ ？
？ ，  ， 
ｒ
ｎ ，
＼＋ １
）
放入 Ｄ 

２

１ ２ ：
 从 ＾ 和 仏 中 随 机 抽 取 小 批量 转 移 样 本 

和
Ｓ ａ ｒ ，
Ｓ
，
２
，
ｊ
＋ｌ
｛ ｊ ｊ ｊ 

）

１ ３ ：
令 凡 ．
＝
ｒ
７
．

＋，ｍ ｘ ２＿ ｎ （
ｓ
Ｍ ，
ａ ； Ｗ ＊

 ）
＾

１ 

７

北 京 邮 电大 学 工 学 硕 士 学 位 论 文




＋ ／ ｍ ａｘ
ａ＾
＝
Ｔ
ｙ ２ Ｊ 

ｊ
 

ｉ

１ ４ ：
对 ？ －

！
２ １
（ ＼ ，
气＾ ） ）
和 ＞
；

＂
－

０ ２
（ ５
．

，
％ 丨
沒
２ ／ ） ）
利用 沒
１
和 沒 米用
２

 ，
（ （
＿

梯 度 下 降 的 方法最小 化损 失



１ ５ ：
令 心 ＝
？＋ 

１

１ ６ ：
每 Ｃ 步更新相 应 的 目 标网络 ：


和

１ ７ ： Ｅｎｄ  ｆｏ ｒ



１ ８ ： Ｅｎｄ  ｆｏ ｒ



基于 Ｄ ＱＮ 的 中 继 无人机最 优初 始 部署 算法 如 算法 ２ －

１ 所示 。 Ｄ ＱＮ 模型主要


由 两 部 分 组成 ： （ １ ） 两个深度 神 经 网 络 （ ＤＮＮ ） 和 （ ２ ）
Ｑ
－

学 习 决策 模 型 。
神经



网 络可 以 解决 高维动作 空 间 的 问 题 。 通过拟 合 函 数 而 不 是 Ｑ 表 来生 成 Ｑ 值 ， 

我
们 可 以 得到 相 似 的 状态和 输 出 动 作 。
因此 ， ＤＮ Ｎ 对复杂 特征 的提取有很好 的 效


果 同时 Ｄ ＱＮ 有 个类 似 于 的 更新公式 可 以 最大化折扣 长 期 回


一

。 ，
Ｑ
－

ｌ ｅ ａｍｉ ｎ ｇ ，

报 ， 如 下 所示 

：

Ｑ ｛ ｓ＾ ａｎ ）
＝
 Ｅ Ｓ
ｎ ＋ｉ 
Ｌ
ｒ＋ ｙ ｍｓｘ
〇
ｎ＋ｌ

Ｑ （ ｓｎ ＋ ｌ
，
ａ
ｎ＋ｘ ） 


－
（
２ ２６）
－




其中 Ａ 表示在 时 隙 ｎ 下 的 的 当 前状态 和 行 为 。 ５
？＋１
， ｌ
ｆ
？＋ １
是下
一

个状 态 和 动


作 。

＇ 是 状态 ８ 的 奖励 ， ０
分 ＜ 是折扣 因 子 １ 。 当 ；
／
趋于零时 ， 中 继 无 人机 主 要


考 虑 即 时 奖励 。 当 ／ 趋于 １ 时 ， 中 继 无 人机 主 要 考 虑 未 来 的 奖 励 

。

在 我们 的 机 制 中 ， 中 继无人机 的 动作 由 飞 行方 向 和 飞 行距 离 组成 。 因此 ， 

在
我 们 的 设 计 和 实现 中 ， 我们 使用 两个相 同 的 Ｄ ＱＮ 模型 分别对它 们进行训 练 。 

它
们 可 以 表示为 两 个 行 动 值 函 数 －

批 和２ ） ２ Ｃｓ ，
ｌ
ｆ
２ ｜
内） 。 相应的 目 标 网络可 以



表示为 和 ２＿ 屮？〇 ：
。 在 每个 Ｄ ＱＮ 模型 中 ， 我们使用
一



个
两 层 的 全 连接 的 神 经 网 络 第 层有 个神 经 元 第 二 层 有 个 神 经元 Ｒ ｅＬ Ｕ


一

。 ２０ ， ２０ 。

用 作激活 函 数 

。

在 学 习 和 更新过程 中 我 们使用 经验 回 放缓冲 区 来 更新 和 存储 收集 的 环境 样


 ，

本 。 经验 回 放缓冲 区 以 大 小 Ｄ 初始化 。 在 每个 时 隙 ，
观 察 到 的 状态 、 动作 、 奖励


和下 个 状 态 被存 储 到 该 缓 冲 区 中 然 后 从 该 缓 冲 区 中 随 机 抽 取 小 批状态 序 列


一
一

来更 新 Ｄ ＱＮ 网络 。 在 具 体 的 更新 过 程 中 ，
我 们 使 用 梯 度 下 降法 来 更 新 权 重 参 数


和内 经过 定 次数 的 迭代 后 Ｑ 込 网 络 的 参 数被 复 制 到 网络
一

３ 。 ，
，


。

我们 使用 最 优 ａ ａ
＿
网 络和 Ｑ 网络 的 最 小均方误差来定义损 失 函 数 。
两 个损 失 函



数 与 ⑷ 丨 厶 ＾＾ 都 可 以 表 示 为 

：

１ 

８
 第二 章 基 于 Ｄ ＱＮ 算 法 的 中 继 无 人 机 部 署 与 轨 迹 规 划 方 案
 




２

Ｌ
⑷ ＝
￡
［
（
么一
－

的 ＾ 丨 ” ，
） ）
］
（
２ ２７）
－




１ ＞

２ （ 爲 ）
能够 以 相 同 的 方式被获取 ， 是 目 标网络的值 ， 可 以 被表示为 

：

ｋ 
＋ ｒ ｍ ａｘ
ａ
２ （＾ Ｉ ＋ １
，
？ ＋１  丨  （
２ ２８－



）
＼ ｎ＋＼



能 够 以 相 同方式 被获取 ，
３ 和 爲 能 够 通 过 两个损 失 函 数 

和
利 用 梯 度 下 降来更 新 ， 其可 以 被计算 

：

⑷ ４ 么＿ ＼ ２
＝
（ ？ ，
幻 ］
—

４以？ ，
？ 网 ▽＃ （？ ？ ）
，
⑷ ］
（
２ ２９）
－




▽ａ １  〇
９
２ ）
能够 以 相 同 方 式 被 获 取 

。

在 每个 时 隙 更 新 参 数 ＾ 和 氏 后 ， 行动 ａ 和 ｌ ｎ
都会停止 。 并 可 根据 贪 婪 算 法


进 行选择 ， 即 在概率为 ｓ 的 情况 下 随 机探索 动 作 ， 并在概率 ｉ
－

ｓ 为 的情况 下 使用



神 经 网 络决策获得下 个动 作 贪婪算法可 以 鼓励 中 继无 人机进 行 探索 并 防止程



一

序 陷 入 局 部 最优 值 

。

１ 

９

北京 邮 电 大学 工学 硕 士学 位论文 



２ ３ ４
． ．
算 法 具 体训 练 流程



开始ｍ



Ｚ ＴＺ

 ＂

计算 当 前 的 网 Ｌ 



机 的腿状 态



丨
中 觀人 謎 

）

探素 ？ 值来


动作



中 继 无人 ｔ ｍｓ 动

 ｉ

ｍ ｔ到 麵 和下 

一

个状态 




Ｉ

得 到 織 样本 包 括当 献 
 ，

态 離 麵 下 状态
、 、 
 、
一

和 是 否 终 止 搭 其存 储在 经
， 

验池 中





丁

ｖ
当经验池 中 的经验数垦大于
ｂ ａ ｃ ｈ 大小 时
｜


 

 从 经验池
１
中 

随 ｔ ，

机 取 釋 匕 故 如 大 小的样本 计 一一
麵調一 。 


训 每结采
 算 当前 网 络 下 的实际 Ｑ ｆｉ 开 
 ？

 — ＂ ■ … … —

 
ｍｍ 



图 ２
－

３ Ｄ ＱＮ 训 练模块 

图

２０



第二章 基于 Ｄ ＱＮ 算 法 的 中 继 无 人 机 部 署 与 轨迹 规 划 方 案 



步骤
一

：
开 始 进入 Ｄ ＱＮ 的模型训 练 ， 设 置训 练 的 回 合数 为 ５ ００ 轮 ， 判 断是



否完成 回合训练 ， 如 果完 成 ， 则 模型 训 练完毕 ， 如果 没有完成 ， 则 进入步 骤 二 


。

步骤二 ：
随机重置 中 继无人机 的 位置状态 ， 状态空 间 能够被表示 为


ｘ
ｒ
：

｛
〇 ，
ｌ ． ． ． ＺＤ ｝
， ｙｒ ：

｛
〇 ，
ｌ “ ． ；

＾ ｝
，
心和 ｝
＾ 为特 定 区 域 内 最大 的 位置坐标 

。

步骤三 ：
判 断 是 否 完成每个 回 合 下 的 步骤训 练 ， 步骤训 练值 设置为 ５００ 步 

，

如 果 完 成 则 进入 回 合 判 断 进入 新 轮的学习 如 果 没有完成 则 进入步 骤 四

一

， ， ， 

。
，

步骤 四 ：
中 继 无 人 机 利 用 概 率 超参 数 ｅｐ ｓ ｉ ｌ ｏｎ 在 随机和 Ｑ 策 略 间 选择 动 作 来


探索 环境 ， 在 探 索 环 境 的 过程 与 环 境 进 行 数 据 交 互 ， 该 数据 包 括 加 入 中 继 后 整 个


网 络 的 参数 ， 如 每 条链路 的 相 应 的 信 号 与 干扰 加 噪 声 比 、 链路速率及 链路 时 延 

。

飞 行距离 中 分别 选择特 定


°
动 作 的 选取 ， 会在飞 行方 向 必 ｅ
［
０ ３ ６０
，
］
，

步长 

。

步骤五 ：
得到 与 环境 交互 的 参数后 ， 通 过 奖励 公 式 得 到 相 应 的 奖 励 值 ， 建立



状 态 转换 同 时 将得到 的 转移样本 包括 当 前状态 动作 奖励 下 状态和 是



一

， ， 、 、 、

否 动 作 终 止 五 种 状 态 储 存 在 经 验池 中 

。

步 骤 六 当 经验 池 中 的 经验 数 量 大 于 ：
ｂ ａｔ ｃ ｈ 的大小时 （ ｂ ａｔ ｃ ｈ 我们 设置 为 ５ ００ ） 

，

从 经 验 池 中 随 机 取 出 ｂ ａｔ ｃ ｈ 大 小 的 样 本 ， 依 据 公 式


＝
五
°
计算 当 前 网 络 的 的 Ｑ 值 ， 其中 ，
＆ 为在 状 态


＾ 下 采 取 动 作 《 得 到 的 奖励 值 ，
／ 为折扣 因 子 ， 我们 设 置为 〇 ９ ９＞
．



步骤七 ： 计算 当 前 网 络状态 ， 回 到步骤

一

， 如 果 训 练完毕 ， 输 出 训 练模 型 

。

２ 

１
 北京 邮 电 大学工 学硕 士学位 论文 




２ ３ ５
． ．
算 法 具 体实 现 流程



迨 驗 人机 隨初 始化戀 初 始 

＊

化贿追驗人棚 

布 在 初始化 的 时 隙 中 假定所有
， 
 ，

追 齡的




ｖ

追 駄 人 顯 络状 親 碰始 化的 时


隙 中 假定所 有 追 踪 无 人机 是静态 的 计 算 当 前
， 
 ，

追 踪 无 人机网 络 的 网 络 状态 包 括 每条 链路的泪

 ，

应 的 信号与干扰 加 ， ＾ 比 链 路 速 率 及链路 时延

 、



ｒ
ｉ

进入 Ｄ Ｑ ＿ 除 模

ｍｍ Ｄ Ｑ Ｎ ｖ ｍ


ｍｍ




＇

龌棚 雛


？

中 继无人 ＿位 置



 ＾  ＾ 



得到 满 物 最従 中


继 无人 机祕 署 織



图 ２
－

４ 算法 １ 实 现 流程 图



步骤 进入追踪无人机 位置初始 化模块 通过 随机 函 数初 始 化追踪无人



一

： ，

机 的 起始 位置分 布 使其 随机分布在 定 的 区 域大小 内 初始化 分布时 每架



一

， ， ，

无人机之 间 为 了 防止冲撞应满足相 应 的距 离 限制 ， 距离 限制 为 ２０ 米 

。

步骤 二 进入 追 踪 无 人 机 网 络 状 态 初 始 化 模块 在 初 始 化 的 第 个时隙 中 

假
一

： ，

定 所 有追 踪无人机是静态 的 ， 通过 建模过程 ， 计 算 当 前追踪无人机 网 络 的 网 络状



态 ， 包 括每条链路 的 相 应 的 信 号 与 干扰加 噪 声 比 、 链路速率及 链路时 延 

。

步骤三 ：
进入 Ｄ ＱＮ 的模型训 练模块 

。

步骤 四 ：
进入 中 继无人机训 练测 试模块 ，
随机初始 化 中 继无人 机 的 位置 ， 

使

用 训 练模 型 进 行测 试 ， 得到 满足条件 的 最优 中 继无人机 的 位置坐 标 


。

２２



第二章 基于 Ｄ ＱＮ 算法 的 中 继 无人机部 署 与 轨迹规划方案 



２ ４
．
基于 Ｄ ＱＮ 的 中 继 无 人 机 轨迹规 划 算 法



在本节 中 ， 当 所有追踪 无人机开始追踪任 务 时 ， 追踪 无 人机 的 位置在每个 时



隙 中 是动态变化 的 ， 因 此最佳 中 继 无人机 的 位置 也会 随着追踪无 人机 的 位置变 化


而变化 为此 我们提 出 了 种基于 Ｄ ＱＮ 的 中 继无 人机动 态轨迹规划 算法
一

。 ，


。

２ ４
． ． １ 算 法模 型定 义 及 流程



当 追踪 无 人机开 始 持续移动 时 ， 整个追踪无人机 的 网 络 拓 扑将 时 刻 发生 变化 


。

网 络拓 扑 的 变化将会 导 致 些无人 机之 间 的 链路可 能会随 时 发生 中 断 这使得



一
一

些 无 人 机 也 许 无 法接 收 来 自 其他无人机 的 追踪信 息 。 其次 ， 共识 算法 的 收敛条 件



是必须 存在 棵生 成树 且通信 链路 的 时 延满 足 定的 约束条件 保证共 识 算法


一 一

， 。

的 收敛 性 也 是我 们 需 要 考 虑 的 问 题 

。

在 考 虑 中 继 无 人 机 的 轨 迹 之 前 我 们 假 设 所有 追 踪 无 人 机 的 轨 迹 采 用 随 机 游

 ，

走模型 ， 且 以相 同 的 高度和 速度飞行 。 追踪无人机的运动沿飞行方 向




和 飞 行距离 均勾 分布 在这种情况下 我 们 的 算 法可 以 根据


°
沒＿ ＾ ０ ３ ６０
，
＜ ？ ＾
。 ，

［ １

追 踪 无 人 机 的 运动 情 况 获 得 中 继 无 人 机 的 动 态轨迹 。 在每个时 隙 中 ， 当 追 踪无 人


机开始 移 动 时 ， 相 应 的 中 继无人机也会选择两个 动 作 ％ 和 ，
《
２ ？
， 包括 飞 行方 向 和


飞 行距 离 然而 对于 相 应 的 奖励 函 数 相 对 于 算法 我们进行 以 下 的 更 改
一

。 ， ， ， 

：

ｒ＝ Ｆ ｎ （
ｎ ＋  〇 ｎ
）
＋  Ｃ （
ｎ


）
） ［

稱
．，咖


＝


２ ３ 〇）
＂




來
（
＝
－，
．

（
？
） 乂》 ）

＋＾
２ ／

［
＾
Ｅ ｒｅ ｌ ａ


ｙ

Ｘ 
，
＋〇
（
？
）
＋  Ｃ
（
ｎ


）

ｎ 
＝
 ＼
，
２ ，
． ． ，
，
Ｎ 

ｔ

其中 ０ （ ０和 是 多 无人机 系 统在第 ｎ 时 隙 下 的 中 断和 共识 的 奖惩 因 子 ， 具体


可定义为 

：

２ ０ ０
＇

／７
／ ＜ Ｉ 
＝
 

１
０ Ｕ ｔａ ｇ ｅ  ｏ ｕｔ ａ ｅ
ｇ

 〇 ｎ
〇 ？ ＝ ＝

ｕ ２ ３ －

ｉ
（ 

）
（ ）

Ｉ
＇

２００ ＜ Ｉ
＾ 
ｏ ｕ，ａ
ｇｅ  ｏｎ
＾ ｅ

ｆ  〈 广
，

Ｊ  Ｉｊ ｆ  

０
一


一

Ｚ ＾

Ｊ ＾ ｃｏｎｓｅｎ ｓｕ 
＿

＾ ｘｊ ｙ

 ０ ｆ Ｃ 
＇

Ｃ （
？
）
＝ ＜
ｉ
 ｃｏｎ ｓ ｅｎ ｓ ｕｓ 
＝
 Ｃ ｃ ｏ ｎ ｓ ｅｎ ｓｕ ｓ 
＝
 １
（
２ ３２）
－




２ ０ ０ Ｃ ＞ Ｃ
ｆ

ｖ／ ｖｒ  ＾ 

ｃｏｎｓ ｅｎ ｓ ｕｓ  ｃ ｏ ｎ ｓ ｅｎ ｓｕ ｓ




２３



北京 邮 电 大 学 工 学硕 士 学 位论 文 



其中 是 多 无人机 Ｍ 络 中 加入 中 继无人机后 的 中 断状态和 共识状



态 。
和 ＣＬ Ｓ＿＊
是 没 加 入 中 继 无人 机 的 中 断 状态 和 共 ｉ只 状 态 

。

算法 ２ ２ －

基于 Ｄ ＱＮ 的 中 继 无人机 轨迹规划 算法




１ ：
随 机初 始 化 多 无 人机追踪 网 络 分 布



２ ： 通 过 算法 １ 初 始 化 中 继 无人机 的 位置



３ ：
初始 化 两 个 行动 值 函 数 －

幻和込 （ ＾２ １
沒２ ） ， 其中 沒 为 随机权重


’

４ ：
初 始 化 两 个 行 动 值 函 数 ２＿ ＆ ？ －

１ １
）
和 ０＿ 士 ＞ 丨 ｜
＾〇 ， 其 中 权重


和＆ ０ 
２
＝


２

５  ：  ｆｏ ｒ  ｅｐ ｉ ｓ ｏ ｄ ｅ 
＝
１
， 
Ｍ  ｄｏ



６ ：  ｆｏ ｒ  ｎ 
＝
１
，
Ｎ  ｄｏ



７ ：
 更 新每 架 追踪 无 人 机 的 位 置 坐 标



８ ：
 基 于 概 率 ｓ 选 择动 作 ？ 和 ａ ２？



９ ：
否 则 选 择ａ ｌ ｎ
＝
 ａ ｒｗ ｍ ａｘ 
＜
？ １ （￥， ￡１
１ 丨
０１ ） 和 ＝
ａ ｒｇ ｍ ａ ｘ  ｇ
２（ Ａ ａ
Ｊ Ａ 

）
ａＸ ａ


２

１ ０ ：
执 行动 作 ａ 和 ｆ
ｌ
ｌ ｎ ２？ ， 观察奖励 ／
？

？ ， 更 新状 态 ＆ ＋ 

１

１ １ ：
 储存 转 移 样 本 （
■ ？
？ ，
ａ ｌ ｎ ， ， ｊ
？＋ １
 ）
放 入 和 （
〃
？ ，
ａ２ ？ ，
ｒ
？ ，  ＼＋ １ ）
放入 Ｚ 
）


２

１ ２ ：
 从 Ａ 和 ￡ 中 随 机 抽 取 小 批 量转 移 样 本

 ＞

Ｓ ａ ，
ｒ ｓ
ｊ＋ ｌ ）
， ，
２ｊ
（ ｊ ｊ 


１ ３ ：
令 ＾ ：

＝
 ｒ
； 一
＇
 （ ？ ，
ａ ；
⑷和



ｙ２ Ｊ 
＝
 ｒ ＋ ｘ ｍ ａｘ
 Ｑ＾ ，
ｓ
＋ｌ ，
ｄ２ ｅ ２
ｊ
＼

 ［ Ｊ 

）

１ ４ ： 对 凡
（
．
＿

２ 也 ．

，
％凡 ） ｆ
和 （
Ｊ２ 厂 込 （ ＼ ，
？ 丨

％ 利用 ３ 和 Ａ 采用

 ，

梯度 下 降 的 方 法 最 小 化 损 失



１ ５ ：
令 心 ＝
＼＋ 

１

１ ６ ：
每 Ｃ 步更 新 相 应 的 目 标网络 

：

１ ７ ：  Ｅｎｄ  ｆｏ ｒ



１ ８ ： Ｅｎｄ  ｆｏ ｒ



２４


 第二章 基于 Ｄ ＱＮ 算 法 的 中 继无人机部 署与 轨迹 规划方 案 




２ ４ ２
． ．
算法 具 体 实 现 流 程



初 始化所有迨踪  机 的 

位Ｓ 利 甩 方案 ｍ ｉ 最
， 
 一

优的 中 缝无 人 机的 位暨



驗无人机移


臟 人机开娜 ＾ 

￣

Ｍ
￣



＾


 人机移


达 待走



丫 

５

ＳＡ Ｄ Ｑ Ｎ 训 续植


块 得到 Ｄ Ｑ Ｎ 练，
 ｉｌ 丨 Ｉ

ｍｍ 


 ： ：  

Ｉ

输 出 中 蓬无人 机 的  ■ 试 中 ＿＾人＿  



ｍ
－



０

图 ２ ５
－

算法 ２ 实 现 流程 图



步骤 初 始 化 所有追踪无人 机 的 位置 利 用 算法 ２ 中 得到 的结果找 到 最


一

： ， １

优 中 继无人 机 的 位置 

。

步骤 二 ： 进入追踪无人 机移动 模块 ， 每 架 追踪 无人机 以 ５ ０ 米每秒 的 速度 


，

遵从 随机漫步 的 移动 模型 移动 步
一

， 

。

步骤三 ： 判 断追踪无人机 的移动步数是 否达到 特定步数 ， 如 果达到 ，

则输出



中 继无 人 机 的 最 优 轨迹 部 署 ，
如 果没有达到 ，
则 进入 该 次移 动 下 的 Ｄ ＱＮ 模型训



练模块 

。

步骤 四 进入测 试模块 使 用 训 练模型 进 行测 试 追踪无人机移动 步 


中
一

， ，
： ，

继无人机移 动 步后 再 次进 入 追 踪无 人 机 移 动 模块
一

，


。

２ ５ ．
仿 真结 果 与 分析



本节对 中 继无 人机 的 初 始 化最优部 署 算法和 动 态轨迹算法 的 仿真结 果 进行




了 评估和 讨论 在仿真中 我们 在 个大 小 为 的 地 理 区 域 内 部 署 了４

一

。 ，
ｌ 〇〇ｗ ｘ ｌ ５ ０ｗ 


２５


 北京 邮 电大学工学硕士 学位论文
 



架追踪无人机和 架 中 继无人机 其他仿真参数如 表 所示 之后 我们 将我们



一

。 ２ －

１ 。

的仿 真结果与 Ｑ
－

学 习 和 随机部 署 算法进行 了 比较 

。

２ ５
． ． １ 仿 真场 景



表 仿 真 参数 表
２

－

  




参数 
描述 
Ｍ 



Ｐ

无人机 的 传输功 率 
２０ｄＢ ｍ




Ｂ

＾ 
１ ＭＨｚ




Ｎ

追 踪 无人 机个数 
４




ｙ
ｇ
ｐ

信道 系 数 
－

５ ０ｄＢ




／ 
折扣 因 子 
０ ９

 ．


Ｉ 
学习率 
００ １




Ｗ 
能量 消 耗 系 数 
１ ００




共识 系 数 
０ ９５

 ．


能耗 系 数 
０ ０５

 ．

２ ５ ２
． ．
仿 真结 果 及 分 析



（
１
）
基于 Ｄ ＱＮ 初始化部署 算法 的 仿真结 果


图 ２ －

６ 显示 了 不 同 算法 的平均奖励训 练结果 。 我们 可 以看到 ， 中 继无人机的




动作可 以 在每 次训 练 回 合 中 被不断修正 以 提高平均奖励 实现最大 回 报 可以



一

， 。

观察到 ， 与 Ｑ 学 习 和 随机部 署 算法 相 比 ，
我们 的 算法可 以 获 得更 高 的 平均 回 报 

。

图 ２ －

７ 显 示 了 中 继无人 机在 不 同 算法 下 寻 找 最 佳 位置 的 步骤 数 的 训 练测 试结 果 

。

我们可 以看到 ，
与 Ｑ 学 习 和 随 机部署算法相 比 ， 我 们 的 算法可 以 用 更少 的 步骤



获 得更 高 的 回 报 

。

 ｈ


一
… 一
—

６０
－ ■ ￣
  
— ？


Ｒａ ｎ ｄ ｏ ｍ  ｄ ｅ ｐ ｏｙｍ ｅｎｔ


ｌ

￣
－

８０  Ｊ
 ｜ ｌ  （ ｌ
 

ｌ


■

．
： ：
！
，   
 
 



，  

〇  １００  ２ ００  ３００  ４０ ０  ５０ ０
 ｑ ＾ ｌ 〇  ５ ２ ０ ２ ５  ３〇



ｎ ｕ ｍｂｅ ｒ  ｏｆ  ｔ ｒａ ｉ ｎ  ｅ ｐ ｓｏｄ ｅ
ｉ ｛ ｓｔｅ ｐ ｏ ｎ ｅ ）  ｔ ｅｓｔ 
ｒ ｅ ａｙ
ｌ

ｕ ａ ｖ ｍａ ｖ ｎ ｇ
 ｔ

ｓｔ ｅｐ



图 ２ ６ －

不 同 算法下平均 回报比较图 图 ２ ７ －

不 同 算 法 下 中 继 无 人机测 试 步 数 比较 图



图 ２ －

８ 、 图 ２ －

９ 显示 了 中 继无人机 的 能耗和 多 无人机 网 络在 不 同 算法和 不 同




测 试次数 下 有无 中 继无人机 的 共识 收敛 时 延差 异 。 我们 可 以 看到 ， 当我们将 中 继



２６



第二章 基于 Ｄ ＱＮ 算法 的 中 继 无人机部 署 与 轨迹规 划 方案 



无 人 机 的 能 量 消 耗 和 多 无 人 机 的 共 识 收 敛 延 迟 差 与 奖励 函 数 解 耦 时 我 们 的 算 法

 ，

在 能量和 收敛时 延方面 优于 Ｑ 学 习 和 随 机部署 算法 


。





ｒｎ７ ７＾ 
 ｌ ：

ｉ
ｔ
：

 —
Ｒ ａ ｎ ｄ ｏ ｍ ｄｅ ｐ ｏｙ ｍ ｅ ｎ 
，
 
 ｙ
ｌ




ｈ ｔ

 ｜ 一〇 ．

｜
ｊ
ｈ ｈ
 ＾
｜

ｊ
Ｕ
｜  ＼ ／
Ｉ




Ａ ｎ ／   ／
１ 

／

一
卜令 ＿

＾
－
－
一
？
＂
＊ ＂ ￣
＜
＞
＂
＇
＂ ＂
＾＜ ＇
＇
＊
＾
￣

＃
＂ ＂
＂
＂
＊

＼
＾
＞
？ ＜＞
＊
＊
＞
＂

＾ １

＇
＇
＇

＾ ＃
一
１
ｃ
普
 

＼
？ｒ
－

？
 Ｒ ｉ
ａ ｎ ｄ ｏ ｍ ｄ ｅ ｐ ｏ ｙ ｍ ｅ ｎ ｔ
ｌ

°
＊

＝


．


，

二 ￣ ￣

．

＝


，


ｒ
￣ ｌ
３ －

ｉ ｏ〇 Ｊ 


  



＞


．
 

ｒ


—

２ ５  ７ １ ０  １２  １５  １７ ２ ０  ２ ５  ７ １０ １２ １ ５  １ ７  ２０




Ｔｅ ｓ ｔ  ｎ ｕ ｍ ｂ ｅｒ Ｔｅ ｓ ｔ ｎ ｕ ｍ ｂ ｅ ｒ


图 ２
－

８ 不 同 算 法 下 中 继 无 人 机 能 耗 图图 ２
－

９ 不 同 算 法 下 中 继 无 人机共识 收 敛 时 延 图



（
２） 基于 Ｄ ＱＮ 轨迹规划 算法 的 仿 真 结 果



图 ２
－

１ ０ 显示 了 追踪无人机在移 动 时 不 同 算法 的 平 均 奖励 训 练结 果 。 在每个


时隙中 追 踪无 人 机 飞 步 中 继无人机执行 个动 作 并 从其错误 经验 中 不 断


一 一

， ， ，

学习 ，
以 提 高平均 回 报 。 可 以 观察到 ，
当追踪无人机移动 时 ， 我们 的 算法 比 Ｑ 

学
习 和 随 机 部 署 算法 能获得 更 高 的 平 均 回 报 ， 且算法波动较 小 ， 稳定度更高 

。

５ 〇 〇
－ 
—

〇 －

ｉ ｅａ ｒ ｎ ｎｇ

ｉ

Ｒ ａ ｎ ｄ ｏ ｍｄ ｅ ｐ ｏ ｙ ｍ ｅ ｎ ｔ
 


 ｌ

０  １ ０ ０  ２ ０ ０  ３ ０ ０  ４ ０ ０  ５０ ０



ｎ ｕ ｍ ｂｅ ｒ ｏ ｆｔ ｒ ａ ｎｅ ｐ ｓ ｏ ｄ ｅｉ ｉ
（
ｓ ｔｅ
ｐｔ ｗ ｏ 

）

图 ２ －

１ ０ 追踪 无 人机移 动 时 不 同 算 法 下 平 均 回 报 比较 图



图 ２ －

１ １ 、 图 ２ －

１ ２ 显 示 了 中 继无人机 的 能耗和 网 络共 识 时 延 差在不 同 算法和



不 同 轨迹 下 的 仿 真结 果 通过 网 络 的 训 练和 学 习 我们 共测 试 了 六条 不 同 的 追


一

。 ，

踪无 人机和 中 继无 人机轨迹 。
对于 不 同 的 测 试轨迹 ， 可 以 看 出 我们 的 算法始 终都


优于其他 比较算法 ，
都 能 获 得较 低 的 能量 消 耗 和 共识 收 敛 时 延 

。

２７



北京 邮 电大学工 学硕士 学 位论文




   —





０


１８
ｆ ：

ＤＯ Ｎ 


 

＊

 １５ ０  ｃＨ ｅａ ｍ ｎ
 

／
．


， —￣
ｉ

ｇ
少 一

￡

 Ｒａ ｎｄ ｏ ｍ ｄ ｅ ｐ ｏ ｙ ｍ ｅ ｎｔ
 ｌ

 

／

Ｉ
－
二 二  ！
＾

 ／／


ｔ８０ 
一 －
 Ｒａ ｎ ｄ ｏ ｍ  ｄ ｅｐ ｏ
ｌ

ｙ
ｍｅ ｎ ｔ

 ｜ 〇 
、
、 

 ／



！ 〇〇
．

 

１

：
Ｘ Ｘ ■ 一



１ ２ ３ ４ ５ ６  １  ２  ３  ４  ５  

６

ｒａ ｅ ｃ ｏ
ｔ
ｊ
ｔ ｒ
ｙ  ｔ ｒ ａ
ｊ
ｅｃ ｔ ｏ ｒ


ｙ

图 ２ －

１ １ 不 同 轨迹和算 法 下 的 能 耗 图 图 ２ －

１ ２ 不 同 轨迹和 算 法 下 的 共识 收敛时延差 图



图 ２ －

１ ３ 、 图 ２ －

１ ４ 显 示 了 多 无人机网 络在 不 同 算法 下 的共识概率和 中 断概率 


。

在 追 踪无人 机运动 的过程 中 ， 也 就 是 随机部署算法 中 ， 我们可 以 看到共识概率很



低 ，
接近于 １ ０ ％ ， 中 断 概 率接近于 ５５ ％ 。 通过在 飞 行过程 中 加 入 中 继无人机 ， 

同

时 利 用 我 们 的 算法 可 以 大 大提 高共识 概率 ， ， 降低 中 断概率 几乎可 以 达 到 ， １ ００ 


％

的共识和 １ ０ ％的 中 断 ， 与其它 算法相 比 ， 我们 的 算法也 具有 明 显 的 优势 


。

叮 翁Ｈ 二
二


－
， ，  

Ｉ

 ３
■

ｒ 二 一

ｊ 

『

ｔ Ｍ ＭＵ  

赢
０ Ｊ

 Ｉ ｙｉ ｌ ｉ ｉ ｌｉ ｉ ｌｉ ： ：

０ ２ ００  ４０ ０ ６００  ８００  １０ ００  ０  ２ ００  ４０ ０  ６ ０ ０  Ｓ ００  １００ ０




ｎｕ ｍ ｂｅｒ ｏ ｆ   ｔｒａ ｉ ｎ ｅ
ｐ
 ｉ ｓ ｏｄ ｅ  ｎｕ ｍ ｂｅ ｒ ｏｆ 
ｔｒ ａ ｉ ｎ ｅ ｐ ｓｏ ｄ ｅ
 ｉ 


图 ２ －

１ ３ 不 同 算 法 下 的 共 识 概 率 训 练 图 图 ２
－

１ ４ 不 同 算 法下 的 中 断概率 图



２ ６
．
本章小结



在本章 中 ， 我 们 主要 研 究 多 无 人 机跟 踪 网 络 的 共识 和 能 耗 问 题 。
我们 引 入 了



个 新 的 网 络 框架 加入 了 架 中 继无人机 同提出 了 种基于 ＤＱＮ 的 中 继无



一 一
一

， 。

人 机部 署算法 ， 用 于 初始 化部 署 中 继无人 机 ， 寻 找其最优 的 初始 位置 ， 在这个过



程 中 优 化 了 整 个追踪 网 络 的 共识 收敛时 延和 能量消 耗 。 此外 ， 当 追踪 无 人机开始


移动时 我们 提 出 了 种基于 ＤＱＮ 的 中 继 无 人机轨迹规划 算法 以 优化多 无人


一

， ，

机追踪 网 络 的 共 识 概率和 中 断概率 。 仿真结果表 明 ， 与 Ｑ 学 习 和 随机部署算法



相比 ，
我们 的 算法具有更好 的性 能 

。

２８



第三章 基 于 ＭＡＤ ＱＮ 算 法 的 多 无 人 机 轨 迹 和 功 率 分 配 联 合 优 化 方 案 



第 三章 基于 ＭＡ Ｄ Ｑ Ｎ 算 法 的 多 无 人 机 轨迹 和 功 率 分 配 联 合


优化方案 


本章介绍 了 改善 多 无 人机之 间 信 息共识收敛 时 延 以 及 多 无人机 能 效 的 第二




种 策 略方案 在该方案 中 我们提 出 了 种 基于 多 智 能体深度 强化 学 习 算法



一

。 ，

（ ＭＡ Ｄ Ｑ Ｎ ） ， 通过 联合 优 化所有追 踪无人 机 的 飞 行 轨 迹及 其传 输 功 率 分 配 来 改


善 多 无 人 机追 踪 网 络 的 连通度 、 共识性能和 能效 。
首先针 对 多 无 人机追 踪场 景 

，

我们 建立 了 系统模 型 其次 我们将 该 问 题建模 为 个 随机博弈 问 题 针对 多 无



一

， ， ，

人机 的 离散动 作 空 间 以 及大状态空 间 导致 的 计算复 杂度高 的 问 题 我们 提 出 了 利


 ，

用 ＭＡ Ｄ Ｑ Ｎ 算 法来 求解 该 问 题 的 最优 策 略 ， 最后 通 过 仿真对我们 的 方案进 行 了



验证 ， 与 其 它 优化方法相 比 ， 我们 的 方 案具 有 明 显 的 优 势 

。

３ １ ．
系 统模 型



在 本 章 的 本节 中 我们依 旧 用 到 了 第 二 章 第 节 所描述 的 部 分模 型 包括信



一

， ，

道模 型 、 离 散共识 算法 模 型 、 能 耗模 型 、 共识 中 断概率模型 等 ， 因 为这些部 分模



型在 本章 的 应用 中 并未做其余 改动 ， 所有 我们 将 不在重 复描 述 该 部 分 ， 后文的公


式 引 用 将直接对 应 于 第 二 章第 节 中 的 公 式模型 本节我们 只 对不 同及新添加 的


一

模型 做具体描述 

。

３ ． １ ． １ 部 署 模型



Ｍｅｖａ ｂ ｌ ｅｒ ａ ａ ｇ ｔ



Ｔ ＡＶ


ｒ

ｒ ａ ｃ ｋｉ ａ ｇｔ

、 … ｉ 一

 ／
Ａｅ


ｔ ｉ ｖ ＊  ｒ ａ ｄＵ ｎ ｓ 、
   ！
１
’


一

－

一 ！
▲

ｊ 
 
：

－
、 １ ：

ｉ 

／

 ＾
３ －

＼ ！

； ｜ ／



 ｒ ｔｔ 
＊
＇ 

，
１ ／  
＇

ｉ


．


＼ 

／  ／ 

＾ 减鄉 私 
ｉ

＊
  

ｍ
厂 
＊

／  ／
Ｊ

 ｒ
’

？／ 

＼
丨
，

Ｔ ｋｉ
ｒ ａ ｃ ｎ ｇｔ ａ ｒ ｇ ｔ ｔ
 Ｃｏ ｎ ｔ ｒ ｏ ｌ ｃ ＊ ａ ｔ ＊ ｒ 

１

（  

／

图 ３
－

１
部署场景 

图

２９



北 京 邮 电 大 学 工 学 硕 士 学 位论 文




在追踪场 景 中 本文考虑在 个地理 区 域 内 部 署 Ｍ 个追 踪 标用 户 的 集合



一

， 目

Ｍ 
＝

 ｆ 和 Ｊ Ｖ 架追 踪 无 人机 的 集合 ＝

 ｛
１
，
２ ． ． ．

 Ｗ 组 成 的 多 无人 机 追 踪 系 统 

。

在该系 统 中 所有追踪 无人 机在 同 高度 以 满 足 Ｆ＿ Ｆｍ ａ 的 速度 飞 行 

每
一

， ＜ ｖ ＜ 。
ｘ

架 追 踪 无 人 机 负 责 追 踪 相 应 的 地 面追 踪 目 标 并 将 相 应 的 追 踪 信 息 传 输 给 相 邻 的

 ，

无人机 ， 以 完 成对信 息 共 识 

。

本 文 假 设 追 踪 目 标 的 整 体轨 迹 是 随 机 的 所 以 追踪 无 人机 的 整 体 轨 迹 也 是 随

 ，

机的 。
然而 ， 当 我 们 把 整 个 过 程无 限 细 分 至 每 个 时 隙 《 的 运 动 时 ， 假 定 在每个 时


隙下 ， 追踪 目 标 是 固 定 不动 的 ， 此刻 ， 只 要 保证我们 的 追踪 目 标在 追 踪 无 人 机 的



观测 范 围 内 即可 ， 所以 ， 在无 限个细 小 的 时 隙 ；７ 下 ， 追 踪 无 人机 的 轨迹是 动 态 可



规划 的 如图 所示 是我们 的 场 景部署 图 每 架追 踪 无 人 机 都 有 个活跃 半



一

， ３ －

１ ， ，

径 ， 且在 活跃半径 中 ， 都 是 无 人 机 可 以 移 动 和 轨 迹 规划 的 范 围 。
另外 ， 本文假设


有 个 中 央 控 制 中 心 可 以 收集所有 追踪无人机 的 位置状态 信 息 并 且 能 够发送命


一

令 ， 要 求每架 追踪无人机可 以移 动 到各 自 相 应合适 的 位置 


。

该 系 统 中 所 有 无 人 机 之 间 的 网 络拓 扑 可 以 表 示 为 个图 Ｇ 五 其中


一

＝
 ，
，

ｊ 
＝
表 示 为 该 图 的 邻 接 矩 阵 并 且 邻 接 元 素 满 足 ％ ， ２ ０ Ｆ ， 
＝
表示


由 ＃ 架 追踪 无人 机 组 成 的 集 合 ， 五 为每 对 节 点 之 间 边 的 集 合 ， 节 点 的 邻居节 点

 ｆ

集合 可 以表不为 化 ＾ 任 ＾
巧 ＾卜 其 中
：

’ ： 

：
＾ ／

？ ３
－

１
（ 

）

［
０ ５  ｏ ｔｈ ｅ ｒｓ



３ ． １ ． ２ 多 无 人机追踪模 型



本文 假 设 地面 追 踪 目 标 用 户 的 二 维 坐 标 为 〇 ＞ ］
＝

 ＾＞ 凡 ］ ， ［
？］
ｆ
ｅ  Ｍ ，


其
中 心 ［
？］ 和Ｌ ［
？］ 分别 为在 时 隙 《 下 ， 追踪 目 标 ｍ 在 Ｘ 轴和 Ｙ 轴 的 坐标 。 追踪无


人机 的 水平坐标可 以 表示为 ［
ｗ］ 
＝
 ｅ  ＪＶ ， 其中 ＼ ［
？］ 和乃 ［
ｗ］ 分别为


在时隙 《 下 ， 追 踪无 人机 在 ｉ Ｘ 轴和 Ｙ 轴 的 坐标 。 因此 ， 追 踪 无人机 与 追 踪 ｉ


目

标 ｍ 之 间 在 《 下 的 水平距离 可 以 表 示为 

：

〇 ］
＝
 ＼ｌ ［
Ｘ ｉ ［
ｒｉ
］
－

ｘ
ｍ ［
ｎ］
］
 ＋
［
ｙ ｉ ［
ｎ］
－

ｙｍ ［ ｎ］ ｆ  （
３
－

２）



因 为 所有 追 踪无 人 机 在 同 高度 飞行 所 以 无人 机 的 观 察 模 型 的 数 学 表 达


一

式可 以表示 为 

：

＜Ｊ？
＝

Ｕ ？ Ｆ ＋＾  ３ ３）
－

］
 Ｖ （ 


〇 ｉ ｍ ［
ｎ］ ＝
＾
ｙ Ｍｚｍ  （
３
－

４）



３０


 第三章 基 于 Ｍ ＡＤ ＱＮ 算 法 的 多 无 人 机 轨 迹 和 功 率 分 配 联 合 优 化方 案 




其中 表示无人 机与 地面 目 标 之 间 的 夹角 ， 为 了 保证 追踪 目 标 始 终 在追 踪 无


人机 的 观察范 围 内 ， 该 夹 角 必 须 始 终满 足 ＾
为无 人 机 与 地 面 目 

标
之 间 的 最 大夹 角 度 数 ， 因此 ， 可 以 得 到 每架 无 人 机 的 活跃 半 径 为 

：

Ｒａ ＝
ｈ ｔａｎ ０
ｊ ｍ  （
３
－

５）



在 活 跃 半 径 下 我 们 便 又 可 以 得 到 每 架 无 人 机 可 以 移 动 和 轨 迹规划 的 范 围 区
， 


域 

：

Ｋ （
３
－

６）



除 此之 外 ， 由 于 每架 无 人 机 的 飞 行 速 度 满 足 ， 因 此每架无人机


都存在 个最 大 飞 行 和 最 小 飞 行距 离 限 制 它 能够 被 定 义 为
一

， 

：

＾０ ＜
＾＋ ＾ ［ ？］
＜
＾５  ３ ７）
－
－

 １
（
｜ ｜

］ ｜ ｜
， （ 


其中 ３
，
表 示 每个 时 隙 的 时 间 长 度 ，
匕 和 ＾ 分 别 为 每 架 追踪 无 人 机 在 时 隙 ３ 中
。

 ，

的 最 大 飞 行 和 最 小 飞 行速 度 。
除此 之外 ， 在飞行过程 中 ， 为 了 避 免 所有 无 人 机 之



间 可 能 出 现 的 飞 行 冲 撞 无 人 机 的 冲 撞 避 免 限 制 也 应 该 被 考 虑 限 制 条 件 应满 足 ， ， 

：

２ ２

Ｉ Ｉ 
ｃ
Ｗ
－

ｃ
Ｗ  ｜ ｜
＞ Ｄ
ｍ ｎ
ｉ
，
Ｖ ｉ
， ；
ｅ Ｎ ，
ｉ ＾ ｊ   （
３ －

８）


，
７

其 中 ｌ 为任 意两架 无人机之 间 的 最 小 间 隔 距 离 

。

３ 丄３ 信道模型



在本节 中 我们 依 旧 沿 用 第 二 章 第 节 的 描述 的 信道模型 我们假设 网 络 的



一

， ，

传 输 带 宽 为 ５ Ｈｚ ， 其 将 被 均 匀 地 分 配 给 每 架 追 踪 无人 机 ， 可 以 被表 示 为 

：

Ｂ ｆ
＇
＝ －

 （
３
－

９）





Ｎ

进 步 每架 无人 机 之 间 的 信 息 传 输 功 率 可 以 被 表 示 为
一

， 

：

（
３
－

１ ０）



ｉ
＝


＂

其中 ０  ＜
 ｆ ＜ Ｐｍ


ａｘ
为无人机 的 传输功 率 ／ ， Ｐｍ ａｘ
表 示 每 架 无 人 机 的 最 大 传输 功 率 

，

Ａ 表 示 无人 机 对 无 人 机 ｆ
＿ ／ 的 传输功率 

。

除此之 外 ， 在 追 踪 过程 中 ， 时 间 间 隔 ｒ 被划 分为 Ｍ 个 时 隙 。 其 中 每个 时 隙 的



长度 是 ３ ，
， ｒ ＝
ｉ ｖ
，
＊
４ 。 同 时 我们 假 设无人机之 间 的 通信 信 道为 ｚ ａｓ 信道 ， 考虑


自 由 空 间 损 耗模 型 ， 因 此 我们 定 义 信 道 系 数 为 

：

３ 

１
 北京 邮 电 大 学 工 学 硕 士学 位 论 文 




Ｎ
＾ Ｗ ＝ ＝
 ３ －

１ １


… …
，
ｔ
（ 

）
ｒ Ｍ   ｎ   ｒｐ
刺 十 少刺
ｒ ｒ

ｈ 卜 ｘ ＋
－

Ｊ
」 ［ ＿
乃 ［


」

其中 《 表示时隙 ，
爲 表示在 名
＝
ｌ ｍ 时 的信道系 数 ， 其中 ＜ 为 固 定常数  


。

表 示在 时 隙 Ａ 下 无人机之 间 的 距离 。


考

虑使用 同 信 道 资 源 的 多 个无 人机之 间 存在 干扰 因 此通 过信 道 建模 可 以 计算 出


一

每条链 路 的 相 应 的 可 以 表示为 

：

Ｐｊ ｎ ｎ
［ ［
Ｎ
，

Ｕ
ｊ
” ＝ ３
－

２）
＼？
１

｝ｆ
… …
， ，
＇ （ 


其 中 ＆ 为无人机 对无人机 ／
＿ ／ 的 传输功率 ，
＆ 是对 无人机 产生干涉 的 无人机 ｉ
＿ 

／

为 高斯方差 其 中 及 表示每 架无人机 的 网 络 的传输带 宽

２

的传输功率 ，

％
＝
尽Ａ ／

〇
， 

，

表 示接 收 无人 机 处 的 加 性 高斯 白 噪 声 （ ＡＷ ＧＮ ） 的功率谱密度 。
当 两架追 踪


无人机之 间 Ｓ ＩＮ Ｒ 满足 ；
＾
＞
仏 时 ， 表示 该 无人机 和 无 人机 ｆ
＿ ／ 之 间 可 以 进 行 通信 

，

以 此类推 ， 可 在 追踪无人机之 间 建立 网 络拓 扑 ， 其中 仏 表示满足可通 信 范 围 内




ＳＩ ＮＲ 的 最 小 值 ， 为 固 定常数 。
在 每个 时 隙 中 ， 无人机 对 无 人机 ｉ
＿ ／ 的 数据 速率 可



以表本为 

：

＾ ［
？］ ＝
孕 
ｌ 〇ｇ
２
（
ｌ ＋
 ＆ ［
？
］ ）  （
３
－

１ ３


）

基 于 获 得 的 数据速率 ， 我们 可 以 计算 得 到 无人 机 的 总 数据速率 ｆ ， 其可 以 被


表示为 

：


＝ ＝
， ｌ
ｙ Ｉ

（
３
－

１ ４）



ＺＺ Ｂ 〇§ ＋ ＾ ？ ？ ｌ〇 ｇ ＋ ／ ？ ｊ ｅ ｉＶ ＾ ｊ
＝
！ ！
 １
２ ２  ？  ， 
／


）
 ｉ
［ ］ ｉ
［ ］

 （ ｊ 
 （ ｉ 
）
＝ ＝
ｊ
／ １ 

＼

同时 ， 我 们 也 可 以 计 算 得 到 无 人 机 和 无人 机 ／
＿ ／ 之 间 的 通信 时 延 

：

＇Ｗ
為、 ｄ 
＝
３ ５
＿

１
 （ 

）

。ｇ ？
２ ［ ］
）

其中 表示 每架 无人 机每 次共 识 需 要 传输 的 数据 包 的 大 小 我们 假设其为


一

， ２） 。
５

个 固 定 的 常数 

。

３ １ ４
． ．
离 散 共 识算法模型



在第 二 章 的第 节 中 我 们 的 离 散共 识 算 法 模 型 主 要 考 虑 的 是 加 入 中 继 无 人


一

机 和 无 中 继无 人 机 的 共 识 算 法 的 收 敛 时 延 差 ， 加 入 中 继无人机 后 ， 因 为存在前 后


３２


 第三 章 基 于 Ｍ ＡＤ ＱＮ 算 法 的 多 无 人 机 轨 迹 和 功 率 分 配 联 合 优 化方 案 




场 景 的 变化 ， 我 们 需 要 计 算 引 入 这种 差 异 化 而 带 来 的 提 升 ， 而在 本 章 中 ， 我们 并


没有 引 入 中 继 无 人 机 ， 前 后场 景未发生 改变 ， 因此 ， 多 无 人 机追 踪 网 络 的 共 识 收


敛时延 可 以 被定 义为 

：

（ 

）

０
＾） 
－

１
ｃ ｋ
－

１
， （ ２ ２ ）
（

其中 ９ 和 〇 为正常数
２
，
心 ｅ
（
ｌ
，
〇〇
；
）
。 因此 ， 我们 的 离 散共 识算 法模 型可



直接被 定义为无人机追踪 网 络 的 共识 收敛 时延 

：

Ｔｃ ＝

ｔＴ 〇〇 Ａｎ ）  （
３
－

１ ７）



？ ＝


１

３ １ ５
． ．
能耗模型



在第 二章 的第 节中 我 们 的 能 耗模 型 主 要 考 虑 中 继 无人 机 的 能 量 消 耗 

而
一

， ，

在本章 中 ， 我 们 将 考 虑 所 有 追 踪无 人 机 在 追 踪 过 程 的 能 量 消 耗 。 在 该 过程 中 ，


无
人 机 的 能 量 消 耗 依 旧 主 要 包 含 两 个 方 面 无 人 机 之 间 的 通 信 能 耗 和 维持 无 人 机 机

 ：

载飞 行 所 需 的 推进能耗 。 然而 ， 无人机 网 络 中 的 通信 能 耗远 远低于 推进能 耗 ，



因

此 本章 我们 依 旧 不考虑 这 部分
一



。

具体 的 飞 行 能 耗组成及 公 式推 导 ， 与 第 二 章该部 分相 似 ， 我们 将不再重 复描



述 ， 不 同 之处在 于 ， 本 章 的 能 耗模 型 可 以 被表示为 

：

Ｅ＾
ｆ Ｅｆ ｛
ｖ ｎ ，
）  （
３
－

１ ８）



？＝１



其中 尽 为 每 架追踪 无 人 机 在 时 隙 《 下 以 速度 ｖ 飞 行 时 所 消 耗 的 推进 能 量 

。

３ ２ ．
问 題构 建



在本 节 中 ， 我们 主 要 对 本 章 中 所 需 要 的 优 化 问 题 进 行 了 详 细 的 描 述与 分 析 

。

对 多 无人 机追踪 网 络 中 的 共 识 收 敛 时 延 和 能 耗 问 题进 行 了 效 用 函 数 的 合 并 同 时

 ，

对追 踪 过程 中 的 网 络 共 识 、 中 断概率 的优化 问 题分 别 做 了 详细 的理论分析 。 追踪




在 多 无 人 机 追 踪 网 络 中 不 同 的 网 络 连 接 度 会 严 重 影 响 共 识 算 法 的 收敛 时 延
，

（ 具 体在第 四 章 分析 ） ， 网 络 连通度 越 大 ， 共 识 算 法 的 收敛速度越快 。 这种 代数


连 通 度 可 以 通 过 改 变 边 的 权 重来 控 制 

。

在信 道严重恶化 的情 况下 ， 由 于距离 的 限制 ， 可 以 允 许无 人机节 点 的 传输 功



率发生变化 ，
以 提 高 通 信 链路 的 质 量 ，
从而 增 加 了 拓 扑 中 某些边 的 权重 。 通常 

，

３３



北 京 邮 电 大 学 工学 硕 士学位论 文 



在 总 功 率 开 销 固 定 或 开 销 最 小 化 的 情 况 下 为 不 同 无人 机 链路 分 配 不 同 的 功 率 是

 ，

个重要 的 优化 问 题 也就 是说 在 定 的 总 功率开销预算下 通 过 改变 不 同 链


一 一

。 ， ，

路 的传输功率 ， 可 以 适 当 増 加 或 减少 拓 扑 中 某些链路 的 权重 ， 从而可 以 使 网 络拓



扑 的 代 数 连 接度 最 大 化 ， 从 而 提 升 共 识 算 法 的 收敛 速 度 

。

除此之外 ， 无 人 机 在 飞 行 的 过程 中 ， 即 使 在 防 碰撞 范 围 内 ， 当 两架无 人机之




间 飞 行距 离 过近 或过远 ， 而导致 的 网络拓 扑 结构变化 ， 其依 旧可 以 影响 网络 的连



接度 ， 进而 改 变共 识 算 法 的 收 敛 时 延 。
另外 ， 飞 行过程 中 的 飞 行轨迹 也会影 响 整


个无人 机 网 络 的 能 量 消 耗 能 耗 问 题 依 旧 是 多 无 人 机 系 统 中 需 要 研 究 的 重 要 问 题
， 

。

因此 我们 的 优 化 问 题便 是可 以 通过 个整体 的 效用 函 数 来 联合 规 划 每 架


一

， ，

追 踪 无 人机 的 轨迹 以 及 每 架 无 人机 的 传 输 功 率 ， 最 小 化 我们 的 优化 目 标 ，
我们 将


该 问 题 可 以 表述为 

：

ｍｉ ｎ  （
３ －
１ ９）



２ ２

ｓＪ ｃｌ． ：
Ｉ Ｉ 
ｃ
（ ［
？］
－

ｃ ［
ｎ］  ｜ ｜
＞  Ｄ ｎｉｎ ， 
Ｖ ／
， ７  ｅ  ｉＶ ，
／ Ｖ  

ｊ
； ｉ

ｃ２ ： Ｔ ＜ ｄ 


ｔ

ｃ３ ： ６ ＞
？］ ＜ ＾
ｍ ［ ｍａｘ



其中 ＆ 和 为 共 识 和 能 耗 系 数 且 满 足 ＧＧ 
＝
 １ 。 ｃｌ 定 义 了 无人机之 间 的 最 小 距



离参数 ， 以 防 止每 架 追踪 无人机之 间 发生碰撞 。 ｒ 表 示 中 继 无 人 机 在 每个 时 隙 中




的移动 时 间 ， 因此 ， ｃ２ 定 义 了 中 继 无 人机 的 移 动 时 间 范 围 ，
Ｃ３ 限制 了 无人机与 地



面 目 标之 间 的 夹角 度数 确保 ， 目 标始 终 在 无 人 机 的 观 察 范 围 内 防 止 ， 目 标被 追 丢 

。

３ ３
． 基于 ＭＡＤ Ｑ Ｎ 算 法 的 多 无 人 机轨迹 及 功 率 联 合优 化 算法



在第 二 章 中 ， 我们 主 要利 用 了  Ｄ ＱＮ 算 法 完成 了 中 继 无 人机 的 轨迹 规划 ，


其
属于 种 集 中 式 的 强化学 习 算法 然而 这种 集 中 式 的 方法可能会 带来 昂 贵 的 计


一

， ，

算复杂 度 。 因此 ， 多 智 能 体深 度 强 化 学 习 （ ｍｕ ｌ ｔ ｉ ａ ｇ ｅ ｎｔ  Ｄ Ｒ Ｌ
－

， ＭＡＤ ＲＬ ） 可能是


以 较 低 的 计 算 复 杂 度 获 得策 略 的 另 种方法 同时 对于 处 理 大 规 模 控 制 路径


一

。 ， 、

规划 或 博 弈 问 题 多 智 能 体 深 度 强 化 学 习 能 展 现 出 相 对 于 深 度 强 化 学 习 更 高 的 优
， 

势 

。

３４



第三章 基于 Ｍ ＡＤ ＱＮ 算 法 的 多 无 人 机轨 迹 和 功 率 分 配 联 合 优 化 方 案 



３ ３ １
． ．
麟 论基 础


“ ”
强化学 习 的 主要 思 想就是 个不 断 试错 的 过程 智 能 体 通过 与 环 境 不 断


一

的 交互 ， 利 用 获得反馈 ， 不 断进 行 信 息 的 迭代 和 优 化 ， 在 这 个 过程 中 ， 我们 需 要


解 决 的 问 题通 常 可 以 被描述为 马 尔 科 夫 决 策过程 

。

马 尔 科夫 决策过程 延 展 到 多 智 能体 系 统 可 以 被定 义 为 马 尔 科夫博弈或 随机

 ，

博弈 。 在 随 机博弈 中 ， 所 有 智 能 体 会 根据 当 前 的 环 境状 态 来 同 时 选 择 并 执 行 他 们


各 自 的动作 ， 这些各 自 动 作 带来 的联合动 作 将会影 响 环境状态 的 转移和 更新 ， 

并
决 定 智 能体 获得 的 奖励 。 它 可 以通过元组 〈
＾ ，
＾ ，
…
，
＾ ＾＾ ， ，
… 及
＾ 来表 示 其 中 ： 

夕

表 示 状 态集 合 ，
４ 和 厚 分 别 表 示 智 能体 的 动 作 集 合 和 奖励 集 合 〖 ， Ｔ 表 示 环 境状


态转移概率 ，
ｙ 表示损 失 因 子 。 此时 ， 智 能 体 获得 的 累 积 奖 励 的 期 望 可 以 表 示

 ｆ

为 

：

五 免
＇

Ｓ ＝
ａ ４ 冗 ＝
 ２０）
￣ ？

５ ５ ３
＇ ￣＋
－

＆
 
（ ） （ ，
，
，
ｉ ） １
 （  Ｉ
 ）
，
。 （ 


Ｌ ＾
’

ｏ 

．

对于 马 尔 科 夫 博弈 也就 是 随机博弈 就要提到 纳 什均衡 ， （ Ｎ ａｓｈ  ｅｑｕｉ ｌ ｉｂｒ

ｉ ｕｍ ） 

，

其主要思 想就是在 多个智 能体 中 达成 的 个不动 点 当 形 成不 动 点 之后 其余任



一

， ，

意 个 智 能 体 都 无 法 通 过 采 取其 他 的 策 略 来 获 得 更 高 的 累 积 回 报 在 数 学 上 可 以


一

表达为 

：

ｉ ｓ  Ａ ｇｅ ｎ ｔｓ
 （
３
－

２１）



其 中 ＾ 表 示 智 能 体 的 纳 什均 衡 策 略
； ／ 

。

３ ３ ２
． ．
基于 ＭＡＤ Ｑ Ｎ 算法 的 联 合 优化博弈 问 题 及模型 定 义



由 于 我们 的 优 化 问 题 具有 非 凸 性 和 组合性 ， 同 时存在 多 个 需 要 优化 的 追踪无



人 机且 他 们 之 间 相 互影 响 因 此 我 们 可 以 将 该 问 题 建模 为 个 随机博弈 并用 提


一

， ，

出 的 Ｍ Ａ Ｄ ＱＮ 方法 进 行 求 解 

。

在 多 无 人机 的 追 踪 网 络 中 我 们 假 定 每 架 无 人 机可 以 ，
自 主 决定 其 飞 行轨迹和


传输功 率 ， 以 获 取最 大 效 用 Ｒ 。
每 架 无 人 机 的 效 用 是基 于 当 前 网 络 环 境 的 状 态 和


其 它 无人 机 的 行 为 然后 网 络 环 境 将转变为 种 新 的 随 机 状态
３９］
这取决于之


一

１
， ， ，

前 的状态和之前采取 的 行动 。 因此 ， 我们 的 问 题可 以 被建模为 随 机博弈



忒八￥ 其中 表示状态 空 间 表 示无 人机 的 行 动 空 间 表示状态


■

〈
Ｓ ， ［
４０］ 。 Ｓ ，
為 ｆ ， 尸

转移概率 ，

＆ 卜為 表 示通 过 采 取 动 作 為 使 得 状 态 从
）
Ｓ 变为 的 状 态转移 概 率 

。

因此 ， 在 随机博弈 中 ， 我们 模 型 的 状 态 、 行 为 和 奖励 可 以 被 定 义 为 

：

３５



北京 邮 电大 学工 学硕士 学 位论文 



１
） 状态 风《 ］
： 每 架 追踪 无 人 机 的 状 态 可 以 他 们 的 位置 坐 标 表 示 被 定 义 为 ， 

：

［ ＇ ［
？］ ，
乃 ［
？］
ｆ ， 其中 为追踪 无 人机 在 时 隙 《 下 的 水 平 平 面坐

 ｆ

标 。 因此 ， 我们 的 状态 空 间 能够被表 示为 

：

Ｓ ［ ｎ］ 
＝
 ｛
ｃ
＾ ｎ Ｘ ｃ＾ ｎ ］ ，
． ． ．

，
＾＾ ］ ｝  （
３
－

２ ２）



每 次试 验 中 每架 中 继无人机 的初始状态 位置 都 是 随机确 定 的

一

， （ ） 

。

２） 行动 空 间 為 ［
？］ ： 在 追 踪 过程 中 ， 在 每个 时 隙 《 下 ， 每架 无 人 机 就 需 要 决


定 自 己 的 轨 迹 和 相 应 的 传 输功 率 ， 这 些 动 作 将 用 于 改 变 无人 机 的 行 为 以



响 应 每个 时 隙 处 的 状态 。
因此 ， 每架 追 踪 无 人 机 的 行 动 空 间 可 以 被表 示


为 

：

４ ？］ ＝

化 ３ ２３ ）
－

［ （ 


其 中 无 人机 的 轨迹行动 可 以 表示为 ＝
丨 丨
， 其中 ｒｌ
，
［
？］ 

表
示无人机 在 时 隙 《 下 的 飞 行方 向 

表
°
ｆ ｒｌ ．

［
ｗ］ ｅ ０ ３ ６０
，
， ｒｌ
［
ｎ］ ｅ Ｚ ，
，
［ ］ ，

示无人机 在 时 隙 ／ ；７ 下 的 飞 行距 离 ｒｌ
ＪＭ
ｅ Ｚ 。 无 人机 的



功率 行动 为 ＜０ 户＿ 在每 次实验 中 基于 时 隙 《 的 当 前状态


一

６ ［
？］ ，
。 ，

风《 和 基于 ］ Ｑ 网 络 的 控制 策略 ， 每架 无人机开始 执行动 作 為 ［
？］ 以响应


状态 ， 最优动作 使多 无 人机 网 络 的 平均 回 报最大化 

。

３
） 奖励 回 报 式 ［
？］ ：
奖 励 回 报 定 义 了 每 架 无 人 机 在 当 前 状 态 ５＾ 对 时 隙 ｎ 中

 ］

所采 用 的 动 作 ４ ［
？］ 的影响 。 在我 们 的 模 型 中 ， 我们使用 整个 网 络 的 共识



收 敛 时 延 和 每 架 无 人机 消 耗 的 能 量 ， 这两 部 分 的 加 权 和 来 量 化我 们 的 优


化 目 标 ， 同 时 考虑 ， 当 追踪 无 人 机 的 轨 迹 飞 出 了 可 观 察 范 围 时 ， 应当给


予相 应 的 惩 罚 户》１
；
［
？］ 。 当 所 有 无人 机 由 于 链 路 时 延 过 大 或 链 路 质 量 不 好


而导 致 的 链路 中 断 ， 使得我 们 的 追踪 网 络 无法共 识 ， 也 就是说 ，
共识 算


法不 收敛 ， 在这种情况下 ， 我们 应 当 给与 相 应 的 惩 罚 ＰＷ ２ ．
［
？
］
。 因此 ， 

我
们 的 奖 励 方程 可 以 通过 如 下 这 种 形 式 来 计 算 得到 

：

（
［
？］ 
＝
 ＋ Ｐ ｕ ｌ［ｎ］ ＋ 
 Ｐｕ ２ ［
？ ］
ＵＭ


１

（
３ －
２４ ）



＝  －

ｈ Ｐ ｕ ｌ ｎ］ ＋ Ｐ ｕ ２ ｎ］

＾ Ｍ


＾［

  ［ 

，

＾ ｒｃ ［ ｗ ］
－

当 无人机 采取 了 行动 為 ｆ
［
ｗ］ 并 且 其 它 无 人 机釆 取 了 行 动 足 ， 无 人机 也

 ｆ

许 获得奖励 及 ， ［
？］ ＝
及 ，
（
《 ，
５［？］ ，
４ ［
？］ ，
＜ ［
？］
）
， 其 中 行动 向 量 能 够被 定



３６


 第三章 基 于 Ｍ Ａ Ｄ Ｑ Ｎ 算 法 的 多 无 人 机 轨 迹 和 功 率 分 配 联 合 优 化 方案 




义 作 为我 们 的 博 弈 中 的 可 行 解 当 每 架 无人 机 在 任 何 个Ｓ 下 满足 以 下 不等


一

。
［
？］ ，

式时 ， 我 们 认 为 我 们 的 博弈 实 现 了 纳 什均 衡 

：

＾ Ｒ 
ｉ
 （
ｎ ５ ［？］ ， ，
４ ［
？］ ，
＾ －

，  ｗ ）  （
３ －

２５）



在 纳 什 均 衡 状 态 下 每 架 无人 机 的 动 作 可 视 为 对 其 他 无 人 机 动 作 的 最 佳 反 应 ，


。

所 有 无 人 机 都 无 法 从单 边 偏 离 中 获 得 收 益 此外 考 虑 到 这 种 随 机博 弈 是 周 期


［
４ １
］
。 ，

性的 网 络环境 的 状态将在每个 回 合 结束后 被重置 在每 回合中 执 行所有 无



一

。 ，
，

人机的 策 略后 ， 从环 境 中 获得 累 积 奖 励 。
如 果 所 有 无 人 机 都 能 获得有 关 奖励 函 数


和状态转 换 的 信 息 ， 则 可 以 使用 整数规划 方法找 到 纳 什均 衡 。 然而 ， 在这种 随 机


博弈 中 ，
无 人 机 无法 获 得 此 类 信 息 。 因此 ， 为 了 解 决这个 问 题 ， ＭＡ Ｄ Ｑ Ｎ 方法被


提出 ， 通 过 与 网 络 环 境 交 互 来 实 现 任 何状 态 下 的 纳 什 均 衡 

。

３ ３ ３
． ．


算 法流 程描述

算法 ３ －

１ 基于 ＭＡ Ｄ Ｑ Ｎ 的 多 无 人 机 轨 迹 和 功 率 分 配 联 合 优化 算 法




１ ：
随 机 初 始 化 多 无 人 机 追踪 网 络 分布



２ ： 初 始 化 经验 回 放 内 存 Ａ 、 Ｚ）
２
和马



３ ：
初 始 化三个 行 动 值 函 数 ２ －

１ （
＾ １ 丨
６
＊

１ ）
、
０ ２ （
＞ ？
，
〇 ！

２ ｜
６ ＞

２ ）
和 ２ 〇 ３
，
《
３ 丨
６ ＞

３ ）
， 其中 ｜ 

９

为 随机权重



４ ：
初始 化三个 行动 值 函 数 －

（
？ ｜
或 ）


和

丨
４ ）
，
其 中 权重 碑 ＝
６ ＞

ｉ
、
巧和色
二


名

５ ：  ｆｏ ｒ  ｅ
ｐ ｉ ｓ ｏ ｄｅ
＝
１ ， 
Ｍ  ｄｏ



６ ：  在 特 定 地 理 区 域 内 随 机 初 始 化 所 有 无 人机 的 位 置 坐 标



７ ：  ｆｏ ｒ  ｅｐ ｏ ｃ ｈ ｎ 
＝
 １
，
Ｎ ｔ
ｄｏ



８ ：
在状态 Ｓ ［
ｎ］ ， 每 架 无人机基 于 ４ 问 ＝
／
／
（
５
（
？
） 丨
少
）
＋ ＜ 选 择动作



９ ：
 每 架 无人 机 几 个 给 的 行 为 ４ ［
？］ ， 选 择动 作 ６ 、
％ 和 

Ａ

执 行动作 叫 和 观 察 奖励 扣 更新下 状态 义
一

〇 ？］
１ ０ ： 、
％ ３ ，
ｉ？
，
］ ， ［ 


１ １ ： 储 存转 移 样本 ［
？］ ，
《 ［
？］ ，
Ｓ Ｍ 放入 Ａ ）


、

１ ２ ：
令



３７



北 京 邮 电 大 学 工 学 硕 士 学 位论文




１ ３ ：  ｆｏ ｒ ＵＡＶ ｉ
＝
ｌ ， Ｎ ｄｏ



１ ４ ：
从 马 、
化 和 ！＾ 中 随 机抽 取 小 批 量 转 移 样 本 

、

（ ？ ，
４ ，
／
＾ ，
彳 ）
和 （
ｓ
尸  

）

１ ５ ：
令



ｇ ＝
＜ 
＋ｒｎ
＾
ｘ ０＿ ， ２
？ ， 毛 ４ 和 为Ｗ 丨 

）
＋ ｒ？
＾
ｘ
Ｑ娜 ３
？ ，
４Ｍ ＞


）

１ ６ ： 对 ＾ ＿
＿

认 （
１ ５
／
，
０ １
．

１ ＜ 丨
沒 １ ／
） ）
、
＞＾
＿

２ ２ ，
＇

（
１ ？
／
，
〇
２／ 丨
＾ ２ ；
） ）


和
（ （
２

（
点 －

ａ 卜 ，
，
《
３ 批０ ，

）
利用 ３ 、
巧和Ａ ， 采 用 梯 度 下 降 的 方法 最 小 化 损




失

１ ７  ｅｎ ｄ
： 


１ ８ ：
每 Ｃ 步更新相应 的 目 标网络 ：
Ｑ 、
０ ， ａ（
＾ ， ２
＝
 ｇ
２


和

Ｑ Ｑ
＿

ａｒ
ｇｅ ｆｉ 
ｔ  

ｉ

１ ９ ： Ｅｎｄ ｆ ｏｒ



２０ ：  Ｅ ｎｄ  ｆｏ ｒ



基于 ＭＡ Ｄ Ｑ Ｎ 的 多 无 人 机 轨 迹和 功 率 分 配 联 合 优 化算 法 如 算 法 ３
－

１ 所示 

。

在 我 们 的 随 机 博 弈 模 型 中 每架 无 人 机 可 以 被 视 作 ，
一

个 Ｄ ＱＮ 智 能 体 除此之外 ， 

，

为 了 减轻每个 智 能体 的 动 作 空 间 和 学 习 复杂 度 ， 我 们 将每 架 无 人 机 的 三 个 动 作 

，

包括飞 行方 向 ｒｌ
，
［
？］ ， 飞 行距离 ＾ ／
［
？］ 和 功 率选择 珂《 进 行拆 分 ］
， 为每个动 作 分


别创建 个 新 的 智 能 体进 行 学 习 这样 在 我们 的 Ｍ ＡＤ ＱＮ 模 型 中 我们 共有


一
一

， ， ，

３ ＃ 个智 能体 

。

除此之外 ， 我们 每个 Ｄ ＱＮ 模型 主要 由 两部分组成 ： （ １ ） 两 个深 度 神 经 网 络


（ Ｄ ＮＮ ） 和 （ ２ ）
Ｑ
－

学 习 决策 模 型 。
神经 网 络可 以解决高维动 作空 间 的 问 题 。 

通
过拟 合 函 数而 不是 Ｑ 表来生成 Ｑ 值 ， 我们 可 以 得 到 相 似 的 状 态 和 输 出 动 作 。 

因

此 ＤＮＮ 对 复 杂 特 征 的 提 取 有 很 好 的 效 果
， 。 同时 ， Ｄ ＱＮ 有
一

个类似于 Ｑ
－
ｌ ｅ ａｍｉｎｇ



的更新 公式 ， 可 以 最大 化 折 扣 长 期 回 报 ，
如 下 所示 

：


＇

Ｑ ｛ｓ ｒ
ｉ ４ Ｅ Ｒ
＇

？］ ＝
ｎ ＋ ｙｍ Ｑ ［Ｓ ｎ］ ？］
４ ３ ２６
－


＾
．

［ ＼ ［

，
） ｔ
（ ）  ［ ，
［ （ 

）
［
ｎ ］

）
Ｊ

其中 ７ 为折扣 因 子并且满足 ０ ＜ ＾ ＜ １ ， 当 ７ 趋 于 零 时 无人 机 主 要 考 虑 即 时 奖

 ，

励 。
当 ／ 趋于 １ 时 ， 无人 机主 要考虑 未来 的 奖励 

。

在 我 们 的 机制 中 每架 无 人 机 的 动 作 由 飞 行 方 向 飞 行 距 离 和 功 率选 择组 成 ， 、 

。

因此 ， 在 我 们 的 设计 和 实 现 中 ， 我 们 分 别 使 用 三个 相 同 的 Ｄ ＱＮ 模型 对它们 进行



３８



第三 章 基于 Ｍ ＡＤ Ｑ Ｎ 算 法 的 多 无 人机轨迹和 功 率分配 联合 优 化方 案 



训 练 。 它们可 以表示为三个行动 值函 数 －

七问 ，
、
么 （
＆ ？ ， 丨
爲 ， ） 

和
）

么 。 相应的 目 标 网 络可 以表示 为 ｙ 丨



ｑ
和 在每个 ｄ ｑｎ 模型 中 ， 我们 使 用
一

个 两 层 的 全连 接 的 神 经



网络 第 层有 个神 经元 第 二层有 个 神经元 Ｒｅ Ｌ Ｕ 用 作 激 活 函 数
一

。 ３０ ， ２０ 。 

。

在 学 习 和 更 新 过程 中 我们 使用 经 验 回 放缓冲 区 来更 新 和 存 储 收集 的 环境样

 ，

本 。 经验 回 放缓冲 区 以 大小 Ｄ 初始化 。 在每个时 隙 ， 观察到 的状态 、

动作 、 奖励


和下 个 状 态 被存 储 到 该 缓 冲 区 中 然 后 从 该 缓冲 区 中 随 机 抽 取 小 批状 态 序 列


一
一

来更新 Ｄ ＱＮ 网络 。 在 具 体 的 更新过程 中 ， 我 们 使 用 梯 度 下 降 法 来 更新权重 参 数



化ａａ 经过 定 次 数 的 迭代 后 ａ 么 么 网 络 的 参数被复制 到


一

。 ，
， ，

，
网络 。 我们 使用 最优 网 络和 ｑ 网 络 的 最小均方误差来


定 义损 失 函 数 。
两个损 失 函 数 ４ ＾ ，
；
）
，
４ ＾＾ ４ ０
，
，
３ ，
；
）
都可 以 表示 为 

：

五
［
（
２￥ ＂
＿

 ２ （ ？ 叫风 ，

） ）
１  （
３
＿

２ ７）



乙 化 和 ４ 的 能够 以 相 同 的 方式被获取
（ ） ）
，
，
是 目 标网络 的值 ， 可以



被 表示 为 

：


＇

Ｑ Ｒ ？ ＋ ＾＂ ２ ８）
＾０
＝
〇 ６ ３
－
＞

＾


ｓｃ ｔ Ｖ
ｔ ａｒ ，  ｉ  （ ） 
，
； ； ｜ ； ，
（ 


（ ）

，
和 能够 以 相 同 方式被获取 ，
化 ， 能够 通过 三个损 失 函 数


化 ）
，
４机 ，
） 人 化 利 用 梯度下 降来更新
（ ）
， 其可 以 被计算 

：

ｖ
ａ ， 
Ｌ
Ｍ ＝
￡
［
ａ＾ ｖ Ａ ｅ （
（
５
，
，
ｌ
ｆ
， ｉ
＾ ） 

］

五 Ｇ Ｓ “ 沒 ▽ ２（  沒
＿

． ．

［  （ 
ｙ
， 
１ ，  Ｉ  １ ，
） 
先 

Ｊ  １ ／
）］



（ 凡 能够 以 相 同 方式被获取
）


。

在 每个 时 隙 更 新 参 数 化 ，
０
２＜
，
＾ 后 行动 ％ ，
，
ａ
２，
．

，
％ 都会停止 。
并 可根 据 贪 婪 算


法 进 行选 择 ，
即 在 概率 为 ｓ 的 情 况 下 随 机探 索 动 作 ，
并 在 概率 １
－

ｓ 为 的情况下使


用 神 经 网 络 决策获得下 个 动 作 贪 婪 算 法 可 以 鼓 励 中 继 无 人 机 进 行 探索 并 防 止


一

程序 陷 入 局 部 最优 值 

。

３９



北京 邮 电大学工学硕士学位论文 



３ ３ ４
． ．
算 法 具 体 训 练流 程



开■ 炼



计算 当 前 的 网 名 



络状态 




星
完成 回 合
 


？

丫 

否

重置 中 继 无 人



ｒ §ｒ


中 继 无 人 机 基于 定 的
縣 癖或 最大 Ｑ酿
选 

作





〒
一

 ］ ［



中 继无 人纖行 动


作得 到 麵和 下


一

个 态

〒

 ］  ［ 



得 到 转 移 ＾ 包括 当 前 状

 ，

态 动作 麵 下 状 态
＇ 
 、 、
一

和 是 酸止 将斯 储在 经 
 ，

ｇ金 中


〒 



 １ 
 





否

  



从 经验 迪 中 随 机 取 样 ｂ ａ ｃ ｈ 大

 ｔ

小的 样 本 计算 当 前 网 络 下 的




实 际 Ｑ Ｍ 开獅 炼 
 ，

图 ３
－

２  ＭＡ Ｄ ＱＮ 训 练模块 图


４０



第三章 基 于 Ｍ ＡＤ ＱＮ 算 法 的 多 无 人 机 轨 迹 和 功 率 分 配 联 合 优 化 方 案 



步骤 开 始 进入 ＭＡ Ｄ Ｑ Ｎ 的 模 型 训 练 设置训 练 的 回 合数为 轮 

判
一

： ， ５ ００ ，

断是否完成 回合训 练 ， 如果完成 ， 则 模 型训 练完毕 ， 如 果 没 有 完成 ， 则 进入步骤



 
 

〇

步骤二 ：
随机重置每架无人机 的 位置状态 ， 状态空间 能够被表示为


耶 ］
＝

＆ ［
？］ ，
〇
２ ［
？］ ，
． ． ．

，
以 ［
ｗ］
｝
， ｃ ．

， ［
ｎ］ 为 无 人机 的 水 平 位 置 坐 标 

。

步骤三 ：
判 断 是否 完成每个 回 合 下 的 步 骤训 练 ，
步骤 训 练 值设置为 ５０ 步 

，

如 果 完 成 则 进入 回 合 判 断 进 入 新 轮 的 学 习 如 果 没有完成 则 进入步骤 四
一

， ， ， ， 

。

步骤 四 ： 中 继 无 人 机 利 用 概 率超 参 数 ｅ
ｐ ｓｉ ｌ ｏｎ 在 随机和 Ｑ 策略 间 选择动 作 来


探索 环境 ， 在探 索 环境 的 过程 与 环 境进行 数据 交 互 ， 该数据 包括加 入 中 继后 整个


网 络 的 参数 ， 如 每 条链 路 的 相 应 的 信 号 与 干 扰 加 噪 声 比 、 链 路速 率 及 链路 时 延 

。

动 作 的 选取 会在 飞 行方 向 飞 行 距 离 尤 ＜ ０ 尤＾ 中 分 别 选 择 特 定


。
￡ ０ ３ ６０
，
必 ［
，
； ｜
，
，

步长 ， 根据 每 次 行 动 ， 每架 无 人机 会 设 定 其 二 维 轨 迹 和 发 射 功 率 

。

步骤五 ： 得 到 与 环 境交 互 的 参 数 后 ， 通过 奖 励 公 式 得 到 相 应 的 奖 励 值 ， 建立



状态转换 同 时 将得 到 的 转 移 样 本 包 括 当 前 状态 动作 奖励 下 状态和 是


一

， ， 、 、 、

否 动 作 终 止 五种 状态储 存 在经验 池 中 

。

步骤六 判 断每架无人机 的 是 否完成 了 遍历 如 果 完 成 返 回 步骤三 否 则

： ， ， ， 

，

进入 步 骤七 

。

步 骤七 当 经验 池 中 的 经 验 数量 大 于
： ｂ ａｔ ｃ ｈ 的 大小 时 （ ｂ ａｔ ｃ ｈ 我们 设置为 ５００ ） 

，

从经验池 中 随机取 出 ｂ ａｔ ｃ ｈ 大 小 的 样本 ， 计算并更新 当 前 网 络 的 的 Ｑ 值 


。

步骤八 计算 当前 网 络状态 回 到步骤 如 果训 练完毕 输 出 训 练模型

一

： ， ， ， 

。

３ ４
．
仿 真结 果 与 分析



本 节 对 我 们 提 出 算法 的 仿 真 结 果 进 行 了 评 估 和 讨 论 在 仿 真 中 我们在 

个
一

。 ，

大 小 为 ２ ００ ／ ｍ ｘ ２０ ０ ｗ 的 地 理 区 域 内 部 署 了  ４ 架 追踪无 人 机 和 ４ 个移动 用 户 。
其它


仿真参数如 表 ３
－

１ 所示 

。

４ 

１

北京 邮 电 大学工学硕 士学位论 文




３ ４
． ． １ 仿 真场 景



表 仿 真参数表
３

－


 



参数
  描 述  值 ｜ ｜

Ｐｍ ａｘ

无 人 机 的 最 大 传 输 功 率 ｌ ＯＯｄＢｍ




Ｂ

＾ 
１ ＭＨｚ



Ｎ

追踪无人机个数 


４

／
３
０ 
信道系数 
－

５ ０ｄＢ




ｒ 
折扣 因 子 
Ｑ ９

 ．

Ｉ 
学习率 
０ ００００
． 

１

Ｐｕ ＼


惩罚 因子 １


２０



Ｐｕ ｌ

惩罚 因子 ２ ２０



 
共识 系 数 ０ ９５
． 


能 耗 系 数 ０ ． ０５



３ ４ ２
． ．
仿 真结 果 及 分析



图 ３
－

３ 显 示 了 不 同 算法下 的 平均 奖励 训 练结 果 。 我们可 以 看到 相 比于 ， Ｄ ＱＮ



算法 ， ＭＡ Ｄ ＱＮ 算法在 多 无人机场 景 下 相 比 于 每个无人机 只 考 虑 ，

自 己优化 自 己 

，

研 究无 人机之 间 的 关 系 以 提升 整体 效果具有 更 高 的 优 势 且算法本身 能 够 实现更


 ，

快的 收敛 。
除此之外 ， 在 ＭＡ Ｄ Ｑ Ｎ 算法 中 ， 我们 分别对 比 了 采 用 功 率分配和 未采


用 功 率 分 配对 训 练奖励 的 影 响 可 以 观察到 功 率分配在 定 程度上具 有更 高 的


一

， ，

平均奖励 回 报 对提高 网络 的 效用 值有 定 的成效 验证 了 我们 方案 的 有 效性

一

， ， 

。

５０ ０

Ｄ３ ０ ０
－

 Ｉ 

ｐ

 Ｌ ／
（

殳２ ０ ０

 
－  一



／
２




ｊ

ｓ  １０ ０
－



／

〇
－


ｊ


Ｍ Ａ Ｄ Ｑ Ｎｗ ｉ ｔｈ ｏ ｕ ｔｐ ｏ ｗ ｅ ｒａ ｌ ｌ ｏｃａｔ ｏ ｎ


 ｉ

Ｉ 
Ｍ Ａ Ｄ Ｑ Ｎｗ ｉ
ｔｈ
ｐ
ｏ ｗ ｅ ｒａ ｌ ｌ
ｏｃ ａ ｔ ｏ 
ｎ
 ｉ

ｌ ｏｏ
－

Ｉ —

Ｄ Ｑ Ｎ



０  １ ０ ０  ２ ０ ０  ３ ０ ０  ４０ ０  ５ ０ ０



ｎ ｕ ｍ ｂ ｅ ｒｏ ｆｔ ｒａ ｉ ｎｅ ｐ ｓ ｏ ｄ ｅ


 ｉ

４２



第三章 基于 ＭＡ Ｄ Ｑ Ｎ 算法 的 多 无人 机轨迹 和 功 率 分配 联 合 优 化方 案 



图 ３
－

３ 不 同 算法下 的平均 奖励训 练 图




图 ３
－

４ 显示 了 我们 的 多 无人机 网 络在 不 同 算法和 不 同 测 试次数 下 的 共 识 收敛



时 延对 比 。 我们
一

共 测 试 了 ２ ０ 次 ， 可 以看到 ， 当 我们 将效 用 函 数 ， 也 就是能量


消 耗和 共 识 收敛 时 延 函 数 解耦 时 采用 功 率 分配 的 方 案 明 显 优于 没有采 用 功 率 分

 ，

配 的方案 ， 可见 ， 功率分配对共识收敛时延 的 提升是有效果 的 ， 除此之外 


，

ＭＡ Ｄ Ｑ Ｎ 算法相 比于 Ｄ ＱＮ 算法对 共 识 收 敛 时 延提升 上 也 具 有 更 好 的 性 能 


。

６ ０
－



ｊ

§
—

Ｍ Ａ Ｄ Ｑ Ｎｗ ｔ ｈ ｏ ｕ ｔｐ ｏ ｗ ｅ ｒａ ｏｃａ ｔ ｏ ｎ




ｉ ｌ ｌ ｉ

４５

Ｍ Ａ Ｄ Ｑ Ｎｗ
＾  ｉ ｔｈ
ｐ
ｏ ｗ ｅ ｒａ ｌ ｌ ｏｃ ａｔ ｏｎ

 ｉ

ｃ  Ｄ Ｑ Ｎｗ ｉ ｔ ｈ ｏｕ ｔ
ｐ
ｏｗｅ ｒａ ｌ ｌ ｏｃａｔ ｏ ｎ

 ｉ

４０
Ｓ

ｉ
： ＾ ／ Ａ／ ｖ ｙＶＡ


２  ５ ７ １ ０ １２ １ ５ １７ ２ ０



Ｔｅ ｓ ｔ  ｎ ｕ ｍ ｂｅ 

ｒ

图 ３
－

４ 不 同 算 法 下 的 共识 收敛 时 延对 比 图



图 ３
－

５ 显示 了 我们 的 多 无人机 网 络在不 同 算法和 不 同测试次数下 的 能量消 耗



对于对 比 图中 我们 共 测 试 了２ ０ 次 可 以 明 显看 出 相 比 于 随 机轨迹来说
一

。 ， ， ， 

，

对 所有 追踪无人 机 进 行轨迹规划 都 能 显 著 减少 能 耗 ， 因 为无人 机 的 飞 行 能耗远远




高 于 传输 能耗 。
另外 ， 从 图 中 还可 以看 出 ， 对于 Ｄ ＱＮ 和 ＭＡＤ ＱＮ 算 法来说 ， 

是
否 进 行 功 率 分配对 能 耗 的 影 响 是 微弱 的 ，
功 率 分配 更 多 是对共识 收敛时延 带来提


升 ， 验证 了 我 们 前 期 的 猜想 。 但从整 体 效 果来看 ， ＭＡ Ｄ Ｑ Ｎ 算法相 比 于 Ｄ ＱＮ 

来
说 ，
能耗性 能上 也 带来 了 微弱 的 提升 

。

４３



北京 邮 电 大 学工学硕 士 学 位论文 



ｔ
ｉ

２ ８〇
］
－

 ＊
Ｍ Ｎ ｒ＾

 
 Ｍ Ａ Ｄ Ｑ Ｎ ｗ ｉ
＼

ｔｈ ｏ ｕ ｔｐ ｏ ｗ ｅ ｒａ ｌ ｌ ｏ ｃ ａｔ ｏ ｎ

 ｉ

＾

  Ｄ Ｑ Ｎｗ ｈｏｕｔ ｏｗｅ ｒａ ｏｃａ ｏｎ



■

ｔ ｔ
８ ｐ
ｉ ｌ ｌ
ｉ

２ ６０
 Ｒａ
＇

ｎｄｏ ｍ  ｔ ｒ ａ ｅ ｃ ｔ ｏ ｒ
ｙ

ｇ ；  ｊ

ａ 

＞

￡ ２ ４ ０


－

２ ２ 。

２ ０ ０ ？



２  ５ ７ １０ １ ２  １ ５ １ ７ ２ ０



Ｔｅ ｓ ｔ  ｎ ｕ ｍ ｂｅ 

ｒ

图 ３
－

５ 不 同 算 法下 的 能 耗对 比 图



３ ５
． 本章小结



在 本 章 中 我们 研 究 了 改 善 多 无人机之 间 信 息共识 收敛时延 以 及 多 无 人 机能

， 


效 的 第 二 种 策 略方案 在 该方案 中 我们提 出 了 种 基 于 多 智 能 体深 度 强 化 学 习



一

。 ，

算法 （ ＭＡ Ｄ Ｑ Ｎ ） ， 通 过 联 合 优 化 所有 追 踪 无 人 机 的 飞 行 轨 迹 及 其 传 输 功 率 分 配 来


改善 多 无人 机追踪 网 络 的 连通度 共识 性 能和 能 效 由 于 联合 优化 问 题 的 非 凸 性 、 。 

，

同 时 考虑 到 每架 无人 机 的 效用 是根据 网 络环 境和 其它 无人 机 的 行 为来确 定 的 ， 

我
们 可 以 将该 问 题建模为 个 随机博弈 问 题 针对 多 无人机 的 离 散动 作 空 间 以 及 大


一

状态 空 间 导致 的 计算复杂度高 的 问 题 ， 我们提 出 了利用 ＭＡ Ｄ ＱＮ 算法来 求解 该




问 题 的 最优策略 ， 最 后 通过 仿 真 对 我 们 的 方 案进 行 了 验证 ， 我们 的 算法与 其它 算


法相 比 ，
具有 明 显 的 优势 ，
有 效地减少 了 共 识 收敛 时延 和 网 络 的 能量消 耗 

。

４４


 第四章 多 无 人机 网 络 中 共识 收敛 时延 分 析
 



第 四 章 多 无 人 机 网 络 中 共 识收敢 时 延 分 析



本文提 出 了 针对 多 无人机追踪场 景 下 改善 网 络共识 收 敛时 延 和 无 人机系 统



能 耗 的 两 种 策 略方 案 分 别 包 括 引 入 架 中 继 无 人机和 对无人机 网 络进行功率 分


一

配 两种 方 案 能 改 善 共识策 略 的 收 敛 时 延 的 本质 原 因 都 是 改 变 了 无人 机 网 络 的 代
。


数连通度 ，
其 可 以 通 过 拉 普 拉斯矩 阵 的 第 二 最 小 特 征 值 来表 示 。 前者 引 入 中 继无


人 机 主 要 通 过增 加 和 删 除 边 来 改 变 网 络 拓 扑 结 构 进 步控 制 网 络 连通 度 后者


一

， 。

通过功 率分配来增 加 或减少 拓 扑 中 某 些边 的 权重 来 改变 网 络连通度 


。

本 章 详 细 介绍 了 影 响 多 无 人机 网 络信 息共识 收敛时 延 的 影 响 因 素 并且 详细

 ，

分 析 了 前 两 章 提 出 的 方 案 之 所 以 能 提 升 和 改 善 共 识 收敛 速 度 的 具 体 原 因 ， 同 时进



行 了 仿真 ， 验证 了 我们 相 应 的 分析 

。

４ １
．
共 识 收敛 时 延 的 影 响 因 素 分 析



本节我们 主要 分析影 响 共识 收敛时 延 的 主要 因 素 首先我们 引 入 些图论中



一

的 基 本概 念 ， 其可 以方 便我们 对共识算法 的 分析 。
其 次我 们 介 绍 了 什 么 是 网 络 中



的 共 识 问 题 以 及什么 会影 响 共识 收 敛 时 延 ， 最后 我们 给 出 了 仿真验证 

。

４ １
． ． １ 图 论基 础



我 们 的 网 络 拓 扑 可 以 表示 为 个图 沟 其中 ｊ 表示为该


一

＝ ＝
 ， ， 

图 的 邻 接矩 阵 ， 并且邻接元素满 足 Ｆ 
＝
 表示 网 络 中 所有 的节 点


组成 的 集合 ， 五 为 每 对节 点 之 间 边 的 集合 ，
节 点 的 邻 居节 点 集合 ／ ， 可 以 表示 为


ａ
一 
〇
｝
， 其中 ［
３０
］


：

 
？
，
＝
Ｖ Ｊ ，
 （
４ －

１


）

［
０ ，  ｏ ｔｈ ｅ ｒｓ



节 点 ｖ 的入度和 出 度 可 以 分别 被表示为
，


：

ｄｅｇ
， ” （
ｖ
，
）
＝

 Ｊ
＝
Ｘ


ｌ
（
４ ２）


－



Ｎ

ｄｅ ｇ ｖ
５＞  ４ ３
＝ ．
－

ｏｗ （ ） （ 

）
＆
，


＝


ｉ
ｙ

４５


 北 京 邮 电 大 学 工 学 硕 士 学 位论 文 




图 Ｇ 的 对 角 矩 阵 可 以 表示 为 Ａ 
＝

 ［
Ａ
ｊ ， 其 中 对于 所有 的 ／ ＊ ＿ ／ 都有 ？ ＝
０ ， 

并
且＼ ＝
＜１
呢 。 ？（ 〇＾
。 因此 ， 基 于 邻接 矩 阵 的 对 角 矩 阵 ， 图 ＜ ＾ 的 拉普拉斯矩 阵 ＿ ／： 可以



被 定义为 

：

Ｌ 
＝
 Ｌ
（
Ｇ） 
＝
 Ａ －

Ａ （
４ ４）


－

通 过 定 义 可 推得 拉 普 拉 斯 矩 阵 的 每 行 总 和 为 〇 因 此 对 于 拉普拉斯 图 来 说 ， ， 

，

总 是有 个值为 的特征值 同时 我 们 对 拉普 拉斯 矩 阵 的 特 征 值 按 照 大 小 来 排


一

０ 。 ，

序为 ， ； ２ ２
 ４ ， 其 中 对 于 图 连通 的 充 分 必 要 条件 必 须 满 足
， ；１
２
乏 ０ 

，

这个 倒 数第 二 大 的 特征 值 叫 做连通性特征值 ， 也 被 叫 做 费 德勒特征 值 （ Ｆ ｉ ｅ ｄ ｌ ｅｒ



ｅ ｉ ｇ ｅ ｎｖ ａ ｌ ｕ ｅ ）
［ ３ １
］
， 显然对 于连通 图 来说 ， 满足 岑 ＝
０ ，
４ 
２ ０ ， 且 ａｗ Ａ
ｒ ＾＾ ｉ Ｖ
－

ｌ 

。

４ ． １ ． ２ 网 络 中 的 共识 问 題



共 识 问 题 在 计 算 机科 学 中 有 着 悠 久 的 历 史 是 分 布 式计 算 领 域 的 基 础 然 而 ， 。 

，

在 通信 网 络 角 度 是指在 动态 网 络 中 根据 所有 代 理 的 状态 就 定 数量 的 利 益


一

， ， ，

达成 致 换句话说 共识是 种 交互规则 用 于 指 定代理与 其 网 络上 所有邻 居



一 一

， ， ，

之 间 的信 息交换 ［
４２］


。

因此 ， 离 散 时 间 的 共识算法可 以 被 表示 为 

：

ｘ
，
（
？ ＋ １
）
＝
 ｘ
ｆ
 （
／
）
＋ ｓｕ ｔ
 （
／
）  （
４ ５）


－

其中 表示在 时刻 的节 点 值 ／ ， ｓ 为共 识 步 长 ， 且满足 ｓ ＞ ０ ， 为 时刻节


 ｆ

点 的 输 入 控 制 向 量 主 要 包 括邻 居 节 点 的 ，
一

些相对信 息 。
一

般 通 信 网 络 的 链路 中 

，

通 常 存 在 通信 时 延 ， 因 此对于存在通信 时延 的 情 况 ， 我们 的 输 入 控 制 向 量 可 以 表


示为 

：

Ｕ
Ｍ ）
＝

 Ｈａ ｖ［
ｘ
ｊ（
？
－

 ＾）  
－

 （
＾ 
－

 ） ］ 
＝
 ＾ （？ 

－

 Ｔ
）  （
４ ６）


－

其 中 ＆ 为 无 人 机 和 无 人机 之 间 的 共 识 权 重 系 数
， ／
＿ ／
， Ｚ 为图 Ｇ 的 拉普拉 斯矩 阵 

。

因 此 离散动态 时 间 共 识 算法 的 表达式 如 下 所示
， 

：

（
／ ＋ １
）
＝
 ｘ ．

，
 （
ｔ
） 
＋
 ｙ
ｅｎ


，
［
ｘ
ｊ（
ｔ
－

Ｔ
ｙ ）
－

 ｘ
，
 （
ｔ
－

 Ｔ
ｙ ）］

 （
４ ７）


－

当  时 后 文 我们 会 专 门 定 义
＾ （ ） ， 所有 无人 机 的 值 将 逐 渐 达 成 共 识 

，

即 所 有 状态 收 敛 至 同 个值
一



：

雙 ＾ 〇
， ＝
４ ８）＿

名 （ ） ！ （ （ 

，

表示 网 络 的 共识 收敛 时延 。
如 果存在通信 时延 ， 则 网络 中 的任意节点将


会 对 来 自 其他节 点 的 延 迟 信 息 进 行 融 合 ， 这 将给 节 点 的 值 带 来 误 差 。
除此之 外 

。

４６



第四章 多 无 人机 网 络 中 共识 收敛 时 延 分 析




如 果 时 间 延迟 足够 大 ， 上述 方程 更 有 可 能 不 收敛 。 通过 ［
３５
］
的 分析 和 证 明 ， 我们


可 以 得 到 网 络 中 容许 时 延 的 最 大 上 界 以 满 足方程 收敛条 件 

：

＜ ＾
ｒ  ４ ９）
— －―
－

（ 


 ４＾
，

Ｇ
７

＿ （ 

）

其中 表示 多 无人机 网 络 图 Ｇ 最 大 的 出 度个数 ， 可 以 被计算 


：

Ｇ、
ｄ臟
兔ａ  ４
＝
（
－

１ ０）
｛ ｆ 

ｊ

４ １ ３
． ．
共 识算 法 的 收敛性分析 及 性 能 仿真



前 小节 中 我们 定 义 了 什 么 叫 共 识 问 题 这 小 节我们 将 具 体 分析共 识 问


一 一

， ，

题 的 收敛性 

。

首先我们先 分析稳定性 ， 我们 利 用 Ｌｙ ａｐ ｕｎ ｏ ｖ 直接法来 分 析 稳 定 性 ， 选取



Ｌｙ ａｐ ｕｎ ｏ ｖ Ｃ ａ ｎｄ ｉ ｄ ａｔ ｅ  

：


２
Ｔ
Ｖ （ ｘ） ＝
ｘ Ｌｘ ＝

Ｘ ｘ
 ４
－ －
＿
＿

 １ １
（ 

）
＾

（ ７ ）
＾
ｊｅｓ


ｉ

由于 Ｚ 的 特 征 值 都 大于 等 于 ０ ， 所有我 们 有 Ｓ ０
 ， 因 此我们 可知 

，

该 系 统是有 界 的 ， 但 是 我 们 并 不 知 道 会 收敛 到 哪 里 ， 但是 Ｌａ Ｓ ａｌ ｌ ｅ 不变集原 理告


诉我们 ， 收 敛 到 不 变集 ， 系 统 的 不 变集 也 就 是 Ｆ （
ｘ） 
＝
 ０ 的点 ， 那么 当 

可

推得 ， 对于边 ｙ ｅ ｓ 满足 如 果 图 是 连通 的 ， 这就意 味着所有节 点 满足




＆
＝
 ． ． ． 
＝
 Ｘ
ｊ ｙ
，
即 系 统达到共 识 

。

在 图 连通 的 状态 下 ， 我 们 可知 ， 系 统 终 将会 收 敛 ， 且 达到 共 识 。 但是从 ［
３ ６］



的 分析和 证 明 可知 ， 即 使 系 统满 足 可 收 敛 的 条件 ， 但 是 不 同 的 网 络 拓扑 结 构 ， 

即

图结构 ， 会 导 致 共 识 算 法 的 收敛 速 度 也 不 同 。 这个 收 敛 速 度 ，
我们 也 叫 做 共 识 收


敛时延 ， 其 可 以 被 定义为 

：


Ｔ ４ ２）

－

１
－


＇

ｃｏｎ  （ 

Ｋ ＋
／
？

／
ｌ
＊
＿

（ ｉ ） ！
（ ）

其中 ９ 和 ４ 为正常数 ，
＆ ￡
（
〇 ，
：

０
， Ａ ｒ
２
ｅ
（
ｌ
，
ｏｏ
）
。 由 该式子可 以看 出 ，
影 响 共识 收敛


时 延 的 主要 因 素 为 ； 叫 做连通性特 征 值 ， 当毛 越大 时 ， 越小 ， 

当

毛 越小 时 ， 越大 。 因此 ， 为 了 验证该 结 论 ， 我 们 仿 真 了 不 同 连通度 的 图 

：

４７


 北 京 邮 电大学 工学 硕士学 位论文
 



Ｎ ｅ ｔｗ ｏ ｒ ｋ  ｔ ｏ
ｐｏ ｏｇｙ
ｌ




一 
．
＾

 ＃ Ｕ ＡＶ ２
 


？＿ ｒ 、


、
、

 
、

Ｉ Ｉ
， Ｕ ＡＶ １



／
 ｙ

 ｉ

Ｉ ／

 ．
．
．
－
｜ 
Ｈ Ｕ ＡＶ ５



？ Ｕ ＡＶ ４
 




／


／


／
’

？ Ｕ ＡＶ ６



“
 稀疏
’ ’

图 ４ －

１ 

图

Ｄ ｉ ｓｔｒｕ ｂ ｉ ｔ ｅ ｄＣ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ


    



１ ．
２ １ １

Ｕ ＡＶ １


 Ｕ ＡＶ ２ 



－

１ ．
１
＾
＼
＼  

Ｕ ＡＶ ３



—
Ｕ 

Ｕ ＡＶ ４



Ｕ ＡＶ Ｓ





Ｕ ＡＶ ６





云 
 ０ ９   Ｘ、． 
 


－

ｓ
＊ ■
— 

■
一
—
／


一

ｃ ｕ  ，

巨 ０ ．
８
－

／ 
１  ／

 ／

？ ／ ７
－


－

０ ．

Ｃ 

Ｄ

亡０ ６  ／
－


－

０ ５
－  

－

０ ４
－ 

 １  １   １ 



０ ．
３

０  ２ ４ ６ ８ １ 

０

ｔ ｉ
ｍ ｅ（ ｓ 

）

“ ”

图 ４ ２ －

 稀疏 图 的 共识 收敛 时延



４８



第四章 多 无人机 网 络 中 共识收敛时延 分析




Ｎ ｅ ｗ ｏ ｒｋ ｏ ｐ ｏ ｏ ｇ ｙ
ｔ


ｔ ｌ

９ Ｕ ＡＶ ６
 


／＼
／
：

 １


＼
／／
、



＼

？ Ｕ ＡＶ ３
／ ，   


‘ 一 －

…
—

４





；
？ Ｕ ＡＶ ４
 

：

／  ＼ 

ｉ
＼
ｊｘ

 ？ Ｕ ＡＶ ２
 







？ Ｕ ＡＶ
 

１

“ ”
图 ４ －

３  稠密 

图

ｅ ｄＣ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ

Ｄ ｉ ｓｔ ｒｕ ｂ ｉ
ｔ 

１ ＾

 Ｕ ＡＶ １


 Ｕ ＡＶ ２




｜
１

 Ｕ ＡＶ ３ 
？

＾


Ｕ ＡＶ ４





Ｕ ＡＶ ５





公  Ｕ ＡＶ ６ 


－

０ ．
９
、
   

￣

［
 ／
． ２
 ／ 

８



－

ｏ
ｇ
－

／ ／

￡ 

／

ｃ ＿

 ｉ 


：

ｄ 

ｉ



Ｍ
■



｜
０ ．
６ｔ

０ ５
－
 

－

４
 ＇
 １  １
 



０ ．

０  ２ ４ ６ ８ １ 

０

ｔ ｉ
ｍ ｅ（ ｓ 

）

“ ”

图 ４ －

４  稠密 图 的 共识收敛时延



“ ” “ ”
从以上四张图可以看 出 ，
稠密 图相 比于 稀疏 来说 ，
共识 收敛时延更


“ ”
小 ， 直 观来看 ，
稠密 图 的边更多 ， 边越 多 ， ； 越大 ， 从公式角 度也可 以 分


析 ， ，
因此可 以看 出 牟 网 络 连通度可 以 影 响 共识 收敛


时延 ， 越大 ，
共识收敛时延越小 

。

４９



北 京 邮 电 大学 工 学 硕士 学 位论文 



４ ２ ．
改变 网 络 连通度 的 方 案分 析



通过上 节 的 分析 我们 可知 影 响 共 识 收敛时延 的 主要 因 素来 自 于
一

， 

；

也 叫 网 络 连通度 。
本节我们 主 要针对第二 章 、 第 三 章 提 出 的 方案 ， 具 体 分析 这 些



方案 是 如 何 改 变 网 络连 通 度 进 而 提 升 共 识 收敛 时 延 的 

。

４ ２ ． ． １ 增减拓扑边 一

中 紙人机 總方案



在 多 无人机 网 络 中 ， 网 络连 通度 的 大 小 主 要 依赖 于 网 络拓 扑 结 构 的 变化 ， 

在
多 无 人机场 景 中 这 种 改 变 网 络拓 扑 的 方法 也 叫 编 队 重 构 然而 在 追踪 网 络 中 ， ， 。 

，

拓 扑 的结构 的 变化主 要 却 决于 追踪用 户 的 位置变化 这种 变化是 随 机且 几乎不 可


 ，

规划 的 ， 因 此编 队 重 构 不 再 适 用 

。

但 是 我 们 也 可 以 通 过 增 加 或 删 除 网 络 边 来控 制 。 然而 ， 增 加 和 删 除边 以 获得


期望 的 代数连通度是 个 难问题 因此 在 我 们 的 方案 中 通过加 入 

个
一 一 一

ＮＰ 。 ， ，

新 的 中 继无人机 ， 可 以 有 效 改变 网 络 的 拓 扑结 构 ，
实 现增 加 和 删 除 边 的 目 的 。 

我
们 的优化 问 题可 以 定义为 

：

ｍａ ｘ ／ｉ
ｊ
 （
１
（
ｃ
） ）  （
４ －

１ ３）



２ ２
ｓ ｔ ｃｌ 〇 １１
－

１１
＞ Ｄ Ｖ ｉ ｅ Ｎ ｉ ＾
＾
． ． ：
｜ ｜  ；
［ ］ ［ ］ ｜ ｜
ｍ ｎ ｉ
，  ，  ｊ ，  

ｊ

其中 Ｃ＝  ［
ｃ ｆ
，
， 表 示 所 有 无 人 机 的 位置 向 量 。 Ｚ 为 追踪 网 络 的 拉普 拉 斯 矩 阵 。
限制


条件 表示 在 飞 行过 程 中 为 了 避免所有无人机之 间 可能 出 现 的 飞 行冲 撞 

无
一

， ， ，

人 机 的 冲 撞避 免 限 制 ， 其 中 Ｉ 为 任 意两架 无人机之 间 的 最小 间 隔 距 离 

。

显然 ， 由 于 无 人 机 之 间 距 离 和 拉普 拉 斯矩 阵 之 间 的 非线 性 依 赖 性 ， 上述 问 题


是 个 非 线 性优化 问 题 为 了 便于 分析 将通过 以 下操 作转换 问 题
一

（ ４ －

１ ３ ） 。 ，
［
３３
］


。

命題 １ ： 考虑 ｍ 维的子空间 ｇ ｅ Ｆ 由 向量 仏 £ 及＇ 丨
＝
１
，
２ ，
． ． ．
，
／ ？ 生成 

，

穿
＝
［ 免而 矩 阵 Ｍ 有 以 下 的 性质 

：

对 于 所 有 非零 ｃ ｅ ｇ ， Ｚ Ｍｏ Ｏ ，
当且仅 当



证明 ： 首先对于 非零元素 ｃ  ｅ ｇ 可 以写成 以下形式 


：

ｃ 
＝
 ＋ ａ２ ｇ ２  ＋   … ＋ （
４ －

１ ４）



其 中 为 实 数 且 不 等 于 ０ ， 也 可 以 写 成 ｃ 
＝
 ２ｙ ， 其 中



＿ ｙ 
＝
 ［
ａ １
，
ａ２ ，
． ． ．
，
ａｍ ｆ ， 所以 ， 我们 可 以 得 到 构少 ＞ ０ ， 由于 

是
＇

非零 向 量 进 步 可推得 ０ Ｍ２ ＞
一

，
（
〇 

。

推论 １ ： 对于拉普拉斯矩 阵 Ｌ ， 相等于 其 中



〃
￡ 及 是单 位 正 交矩 阵 ， 且满足 

：

５０


 第四章 多 无 人 机 网 络 中 共 识 收 敛 时 延 分析 




Ｕｆ ＝
０ ，  ｉ


＝

＼
ｑＪ ｑｊ
＝
〇 ，  ｉ 丰 ｊ

 

证 明 ： ｉ： ＞ ０ 且Ｌ １
＝
 ０ ， 因 此 最 小 的 特 征 值 ４ （
Ｌ
）
将始 终等 于 零 

，

ｒ
Ｆ
ｒ ｒ
认 （Ｚ ） Ｓ ｉ Ｖ －

ｌ ， 可以证明 ， 对于所有 非零 ｘ ｅ ｌ ， 其中 ｌ
＝

｛
ｃ ｅ
｜
ｌ ｃ＝ 〇
｝


，

毛 （
Ｌ
）
２ ０

相等于 ｃ ｉｅ ＞ ０ 

。

因此 ， 联系 命题 １ ， 我 们 可 以 得 到 ｃＹ ｃ ＞ ０ 相等于 ，
！ Ｓ Ｙｇ 〉 。 ， 其中 ｇ 表示



生 成子 空 间 ｘ ｅ ｆ 的 向 量矩 阵 ， 因 此 我们 的 问 题 （ ４ －

１ ３ ） 可 以 转换为 

：

ｍ ａｘ ／ｌ
２
（
Ｚ
（
ｃ
））  （
４ －

１ ６）



２ ２

ｓ ｔ ． ． ｃｌ ：
 ｜ ｜ 
Ｃ
ｌ ［
ｎ］ 
－

 Ｃ ［
ｎ ］ ｜ ｜
＞  Ｄｍ ｎ ｉ
， 
Ｖ ｉ
，  ｊ
６  Ｎ ，
ｉ ＾  

ｊ
ｊ

ｔ
Ｑ Ｌ （ｃ Ｑ ）
＞ ０



解 决 这 种 非线 性 优 化 问 题 ， 我们 可 以 利 用 深度强化学 习 ， 具 体解 决方 案描 述



在第 二 章 

。

４ ２ ２
． ．
增减麟 权重 一

功率 分配方 案



另
一

种 情况 ， 在 信道严重恶化 的 情 况 下 ， 由 于距离 的 限制 ， 可 以 允许无人机




节 点 的 传 输功 率 发 生 变 化 ， 以 提 高通 信链路 的 质 量 ， 从而增加 网络拓 扑 中 某些边




的 权重 ， 也 就 是 我们 所 说 的 共 识 权 重 系 数 ， 其 具 体 体 现 为 无 人 机 网 络 中 每 条 链路



的 大小 ， 这 是 我 们 改 变 网 络连 通 度 的 另
一

个角 度 。 通常 ， 在总 功 率开 销 固



定 或 开 销 最 小 化 的 情 况 下 为 不 同 无 人 机 网 络 链路分 配 不 同 的 功 率 也 是 个重要


一

的优化 问 题 

。

因此 上述功 率优 化 问 题可 转化为 个 非 线 性规 划 问 题
一

，


：

ｍａｘ ／ｌ
２ （
Ｚ
）  （
４ －

１ ７）



 ／   ＼
？

ＮＮ

ｓ ｔ ． ． ｃｌ ：  ＶＶ ｌ Ｏ ｌｏｇ  —

＜
＾
／
（
ｄＢ ）



ｔｆ ｎ  ｛
Ｐ ｉ
ｊ 

Ｊ

Ｑ Ｌ （ｐ） Ｑ ＞ ０



其中 ｉ 表示权重 为 ｗ 的 拉普 拉 斯矩 阵 ， 每 条 边 的 权 重 可 表示为 ％ 。
２ 表示生成



Ｏ 表 示在 总 功 率 Ｖ 被 分 配 后 获 得拉 普拉 斯 矩 阵
’

子空 间 ｘ ｅ ｆ 的 向 量矩 阵 ， ｉ ）


，

表示 完 成 功 率 分 配 后 的 共 识 权 重 。 解决这种 非线 性优化 问 题 ， 我们 依 旧 可 以利 用



深度强化学 习 ， 具 体 解 决方案 描述在第 三章 


。

５ 

１
 北 京 邮 电 大 学 工 学 硕 士 学 位论文
 



４ ３
．
仿 真 结 果 及 性 能评估



本节我们主要对上 节 所 提 出 的 两 个方案 分 别 进 行 仿 真 评估 和 讨 论 在 仿 真


一

中 我们 在 个 大 小 为 ２００ ｗ ｘ ２００ｗ 的 地 理 区 域 内 部 署 了 架追踪无人 机 其他



一

，
４ 。

仿 真 参数 如 表 ４ －

１ 所示 

。

表 仿真 参数表
４

－







参 数 描 述
  值 ｜

Ｐｍ ａｘ

无人机 的 最大 传输功 率 
ｌ ＯＱｄＢ ｍ




Ｂ

Ｍ 
１ ＭＨｚ



Ｎ

追踪无 人机个 数 
４




 ＾ 
信道系数 
－

５ ０ｄＢ


￣ 

￣

Ｄ ｍｍ  防 冲 撞 距 离 ２０ｍ 

Ｄ ｉ ｓｔｒ ｉ ｂ ｕ ｔ ｅ ｄＣ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ



Ｌ ５ °

｜
Ｌ２５  —  —

 Ｕ ＡＶ ｌ


｜
Ｌ Ｏ Ｏ Ｕ ＡＶ ２
—



－ 

％  ／  Ｕ ＡＶ ３




／
０ ７５
－

 Ｕ ＡＶ ４


—

０  ２ ５  ５０  ７ ５  １ ０ ０  １２ ５  １ ５ ０  １ ７ ５  ２ ０ ０



ｔ ｉ ｍ ｅ ｍ ｓ
（ 

）

Ｄ ｉ ｓ ｔ ｒ ｂ ｕ ｔ ｅ ｄ  Ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｗ ｔ ｈ  ｒｅ
ｉ ｉ ｌ ａ ｙ  Ｕ ＡＶ



１ ５〇

．

１
Ｅ ＂

 Ｕ ＡＶ ｌ



｜    
—

 Ｕ ＡＶ ２



 Ｕ ＡＶ ３
—

１ ． ０ ０
－



丟  Ｉ  

 ＵＡ Ｖ ４



° ７５
＇



 ｒｅ ａ  Ｕ ＡＶ
 
－ 

２ ｙ
ｌ

０  ２ ５  ５０  ７ ５  １ ０ ０  １ ２ ５  １ ５ ０  １ ７ ５  ２ ０ ０



ｔ ｉ ｍ ｅ ｍ
（ ｓ 

）

图 ４ －

５ 方案 一

收敛 时 延对 比 图



５２


 第四章 多 无人机 网 络 中 共识收敛时延分析 




ｃ Ｄ ｉ ｓｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄＣ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ


０ 



１ ５０


－

ｇ
．

Ｕ ＡＶ １

  

￣

〇Ｌ ２ ５ － 

Ｃ —

 Ｕ ＡＶ ２



ｕ ｌ  —

Ｕ ＡＶ ３



Ｕ ／


０ ７５
．
－

 ／ … …

Ｕ ＡＶ ４



Ｕ 
（
Ｉ     Ｉ
Ｉ
Ｉ Ｉ 

Ｉ

ｂ  ０ ２ ０ ４０ ６ ０ ８ ０ １０ ０ １２ ０



ｔ ｉ ｍ ｅ ｍ ｓ （ 

）

ｃ Ｄ ｉ ｓｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄＣ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓｗ ｉ ｔｈ
ｐ ｏ ｗ ｅ ｒａ ｌ ｌ ｏｃａｔ ｏ ｎ

 ｉ

１ ５ ０


－

＾ 

＊

〇 １ ２ ５
．
－

—

 Ｕ ＡＶ １ 
＂

Ｅ ／ Ｕ ＡＶ ２


—

／
０
ｃ
１ 
Ｌ０°
 ／
／
 － － －

 Ｕ ＡＶ ３


．



０７ ５ ｉ
．
－


 Ｕ ＡＶ ４


ｕ
」 



ｂ Ｏ ２ ０ ４０ ６ ０ ８ ０ １ ０ ０ １ ２ ０



ｔ ｉ ｍ ｅ ｍ ｓ （ 

）

图 ４ ６ －

方 案 二收敛 时延对 比 图



图 和图 分 别 为 我 们 所提方 案 和 方 案二 的 共识 收敛 时 延对 比 图 

从
一

４ －

５ ４ ６ －

图 中可以看 ， 当 我 们 以 网 络 连通 度 为 优 化 目 标 ，
最大化 夾 （
Ｚ） ， 并 分别 从增 减拓



扑 边 以 及 增 减 链路权 重 的 角 度 来优 化 我 们 的 无人 机 网 络部 署 都 可 以 减少 共 识 收

 ，

敛时延 ，
仿 真 结 果 验证 了 我 们 的 理 论 分 析 

。

４ ４
． 本章小结



本 章 我 们 主 要针对 改变 网 络连通 度可 以 减少 共识 收敛时 延 的 具 体 原 因 详细


 ，

分析 了 影 响 多 无人机 网 络 信 息共识 收敛 时 延 的 影 响 因 素 网 络 连通度 并通过方



一

案验证 了 我 们 的 分析 其 次我 们还详 细 分析 了 前两 章 提 出 的 方案之所 以 能提升 和

。 


改善共 识 收敛速度 的 具 体 原 因 ，
同 时进行 了 仿真 ， 验证 了 我 们 的 分 析及方案 的 有


效性 

。

５３



北 京 邮 电 大 学 工 学 硕士 学 位 论 文 



５４


 第五章 总结与展望
 



第五章 总结与 展望



５ １
．
研 究 内 容 总结



近年来 ， 无 人机被部署 在各种 各样 的 应用 中 ， 从搜 索 救援 到 野 火监 测 ， 从移



动 物体 的 追踪 到地理映射等 标 追 踪 是 无 人 机 的 关键 应 用 之 其 主 要任 务 是


一

。
目 ，

通 过将 目 标 保 持 在 其 视野 内 来跟 踪 地 面 上 的 移 动 目 标 。 与 单无人机相 比 ， 团 队式


的 无 人机 在 协 作 任 务 方 面 具 有 显 著 优 势 多 无 人机 协 同 追 踪 ， 目 前 受到 了 广泛 的 关


注 。 在 追 踪场 景 中 ， 为 了 实 现对 目 标精准 的 追踪 ， 有 效 的 分布 式估计 方法 ， 也就


是 网 络 共 识 策 略越 来 越 受 到 重 视 。 然而 ， 在 多 无 人机追 踪 网 络 中 ， 追踪无人机 的



移动 性会严重影响 网 络 的 性能 ， 导 致信 道环境复 杂 多 变 ， 网 络拓 扑会 随时发生 改



变 些 现 有 的 通 信 链路 也 会 发 生 频繁 地 中 断 因此 无人 机之 间 的 网 络连通度


一

， ， ，

很容 易 受到影 响 ， 导 致通信 质 量下 降 ， 严 重影 响 共识 策 略 的 准 确 性和 收敛时 延 


，

以 至 于 无 法 满 足追 踪 要 求 。 通过分 析 ， 我们 可知 ， 共识 收敛时延 与 网 络连通 度密



切相关 。
除此之外 ， 无 人 机 在追 踪 和 共 识 的 过 程 中 ， 能 效 优化 对 于 由 电 池 供 电 的



无人机来说 也是 个 关键 问 题 和 性 能 指 标 因此 针对 以 上指 标 本文主要提 出


一

。 ， ，

了 改 善 追踪 网 络 连 通 度 、 提 升 多 无 人 机 追 踪 网 络 共 识 收 敛 时 延 及 网 络 能 效 的 两种


方案 。 我 们 的 主要 研 究工 作 和 成 果可 以 总 结 如 下 

：

首先 我们 以 增 加 网 络 拓 扑 边 的 方式建立 了 个新 的 网 络框架 将移动 中 继



一

， ，

无 人 机 部 署 到 多 无 人 机追 踪 网 络 中 ， 以 适应通信 环境 。 通 过 中 继 无 人机 的 轨 迹 设


计 为共 识 算法 性 能 的 改 进 提 供 了 新 的 契 机 基于 该框架 本文分别 提 出 了 

种
一

， 。 ，

基于 Ｄ ＱＮ 的 中 继 无 人 机 部 署 算 法 与 基 于 Ｄ Ｑ Ｎ 的 中 继 无 人 机 轨 迹 规划 算 法 ，


分
别 优 化 了 网 络 的 共 识 收 敛 时 延 能 效 以 及 追 踪 网 络 的 共 识 成功 概 率 及 网 络 中 断 概
、


率 。
仿真结 果表 明 我们 基于 Ｄ ＱＮ 的 算法相 比 于 Ｑ
－

ｌ ｅ ａｒ ｎｉ ｎ
ｇ 算法 、 随 机 位置 部署


算 法 来 说 都 具 有 更好 的 性 能 ， 且 利 用 我 们 的 算 法 寻 找 最佳 部署 位 置 时 ， 可以用更


少 的 步 骤 获 得更 高 的 回 报 

。

其 次 我 们 以 多 无 人 机追 踪 网 络 为 基 本 部 署 框架 提 出 了 种 基于 Ｍ ＡＤ Ｑ Ｎ


一

， ，

算 法 的 多 无 人 机 轨 迹 和 功 率 分 配 联 合 优 化 方案 以 优 化 网 络 的 共 识 收敛 时 延 和 能

 ，

效 我们 对 多 无人 机 追 踪 网 络 中 的 共 识 收 敛 时 延 和 能 耗 问 题进 行 了 效 用 函 数 的 合
。


并 ， 并利 用 ＭＡ Ｄ Ｑ Ｎ 算法来求解 该 问 题 的 最优策 略 ， 通 过 仿 真 对 我们 的 方 案 进


行 了 验证 ， 与 其 它 优 化 方法相 比 ， 我 们 的 方案具 有 明 显 的 优 势 ， 有 效 地改变 了 网



络 的 拓 扑权重 ， 同时 ， 所 提 出 的 方案 确 实 可 以 有 效 地 减 少 共 识 收敛 时 延 和 网 络 的



能 量消 耗 

。

５５


 北京 邮 电大学 工 学硕士 学 位论文 




最后 ， 我 们 基 于 前 两个方案 提 升共 识 时 延 的 具 体 原 因 ， 利 用 图 论详细分析 了



影 响 多 无 人机 网 络信 息 共识 收敛 时 延 的 影 响 因 素 一

网 络 连通 度 通 过 对 网 络 拉 普

 ，

拉斯矩 阵 的 第 二最 小 特征值进行仿真 ， 网 络 连通 度 确 实 可 以 影 响 共 识 收 敛 时 延 

，

且第 二最 小 特征 值越大 ， 共识 收敛 时 延越小 。
最后 ，
从 前 两 个 方案 的 优 化 角 度 建


模 、 建 立优 化 问 题 ， 仿 真 结 果验证 了 我们 相 应 的 分 析 ， 从 原 理 解 释 了 我们 的 方 案


确 实 可 以 减 少 共 识 收敛 时 延 

。

综上 所述 ， 本 文 主 要 考 虑 在 多 无 人 机 追 踪场 景 下 ， 为 了 实现精准追踪 、 快速


共识 ， 针对 改 善 追 踪 网 络 的 共 识 收 敛 时 延 及 能 效 问 题 进 行 了 研 究 。 通过对 多 无 人


机追踪 网 络进 行 系 统 建模 分 别 以增 减 网 络拓 扑 边和 增 减 网 络拓 扑 权重两 种 方式 ， 

，

提 出 了 优化 共识 收敛时 延和 能 效 的 两 种 方案 此 外 ， ， 还具体分析 了 影响 共识 收敛


时延 的 具体原 因 ， 并给 出 了 相 应 的仿真验证 

。

Ｓ ２
． 后续工 作 展 望



无人机 的 多 种 应用 包括 目 标追踪 ， 然而 ， 在 复 杂 的 追 踪任务背 景下 ， 单架 无



人 机 的 能 力 往 往 很有 限 ， 无法 满 足 精 确 、 连 续追 踪 目 标 的 要求 ， 因此 ， 本文主 要


聚 焦 多 无人 机 协 作 的 追踪 场 景 并对 追踪 问 题 中 的 个重要 问 题 也就是共识 策


一

， ，

略进 行 了 研 究 ， 但是 由 于时 间 有 限 ， 未 能对 该 问 题 进行 更 深 入 的 研 究 ， 现将该 问



题的进 步研宄工作总结如 下
一



：

１
） 考 虑 多 无 人 机之 间 的 任 务 分配


前 本 文 虽 然 考 虑 了 多 无人 机 的 追 踪 但是仅仅 聚焦在 追 的情况 也就


一 一

目 ， ，

是 架无人机追踪 个目标 但 随着追踪 目 标 的 增 多 追踪 环 境变 复 杂 追

一 一 一 

一

， 、 ，

也 许存 在 资 源 利 用 效 率 低 的 问 题 因此 未 来 我 们 可 以 考虑 追多 或多追多 的


一

， ， ，

场 景 在 这种 情况下 个 有 效 的 追踪 任 务 分 配 是 实 现 多 无 人 机 精准 追 踪 的 关键
一

。 ， 

。

在 分布式 的控制 架构 下 ， 将 更 加 依 赖 于 无人 机 之 间 可 靠 的 信 息 和 数据 交换 ，
以及


实 时 动 态 的 策 略 变 化 同 时 有 效 的 路径 规划 也 是 实 现任务 分配 的 个重要研 宄子


一

课题 

。

２） 考 虑 多 无人 机 对 追踪 目 标 的 精 准 定 位


本文对追踪 目 标 信 息 的 定 位 来 源 于 地 面 中 央控 制 中 心 的 信 息 传 输 ， 然而 

，

在 实 时 动 态 的 追 踪场 景 中 考虑 无人机之 间 独立完成 标 的 定位 定 程度上可



一

， 目 ，

以省去 些 不 必 要 的 信 息 传输 减少 通信 时 延 前 几 种 定 位 方法 中 多向定


一

， 。
目 ， ，

位对 于 精 确 确 定 用 户 目 标 位置非 常 重要 ， 对于 这种 方法 ， 至 少 需 要 对节 点 与 三个


不 同 的 无人 机 定 位置之 间 的 距离 进 行 三 次估 计 。 距 离 估计通 常 使 用 基 于 时 间 或


（ 接收信号强度 ）
＿

基 于 接 收信 号 强度 （ ＲＳ Ｓ ） 的 技 术 来完 成 。 同时 ， 利 用 无 人机


５６


 第五章 总 结与 展 望
 



定位 ， 因 为 其在更 高 的 高度 ， 阴 影 较少 ， 且 满 足视 距 通 信 ， 因 此可 能会产生更 高


的 ＲＳ Ｓ 分辨率 

。

３） 考虑 目 标预 测 及 信 息 补 偿 估 计 算 法


本文 在考虑 共识 策 略 的 时 候 ， 只 考 虑 了 如 何 通 过 改 变 网 络 连 通 度来 提 升共 识


的 收敛时 延 ， 进而 减 少 收 敛 时 延 所 带 来 的 共 识 误 差 ， 然而 ， 通信 链路时 延 所带来


的 共 识 误 差 并 没有 考 虑 ， 因此 ， 我 们 可 以 考 虑 用 机器 学 习 的 方 法来对 追 踪 目 标的



移 动 轨 迹 进 行 预 测 也 可 以 在 每 架 无 人 机 上 使 用 滤 波 器 预 测 来 在 其余 无 人 机 的 通
， 


信延迟信 息 ， 通过共识算法 与 机器 学 习 及 滤波算法相 结合 ， 得 到 通信 时 延 信 息 补



偿 的 估计算法 ， 进而 实现对 目 标 更精 准 的 估 计 

。

５７



北 京 邮 电 大 学工 学 硕士 学 位论文 



５８


 参考 文 献 




转 文献



［
１
］  Ｓ ｏｎ ｇ 
Ｙ Ｘ ，
ｉ
 Ｑ ，  Ｘ ｉ ｎ ｇ  Ｘ  ｅ ｔ  ａ ｌ  Ｍ ｕ ｌｔ ｉ ，
．
－

Ｕ ＡＶ  ｃ ｏ ｏ ｐ ｅ ｒ ａ ｔｉ ｖ ｅ  ｍ ｕｌｔ ｉ －

ｔａｒ
ｇ ｅ ｔ  ａ ｌ ｌ ｏ ｃ ａｔ ｉ ｏｎ  ｍ ｅ ｔ ｈｏ ｄ  ｂ ａ ｓ ｅ ｄ  ｏ ｎ



ｄ ｉ ｆ ｆｅ ｒ ｅ ｎ ｔ ｉ ａ ｌ ｉ ｔ ｈ ｍ ［ Ｃ ］ ／／ ２ ０ ２ ０ ３ ９ ｔ ｈ
ｅｖ ｏ ｌ ｕ ｔ ｉ ｏｎ ａ ｒ ｙ  ａ ｌ ｇ ｏ ｒ   Ｃ ｈ ｎ ｅ ｓ ｅ Ｃ ｏ ｎｔ ｒ ｏ Ｃ ｏ ｎ ｆｅ ｒ ｅｎ ｃ ｅ
ｉ  ｌ 
 （
Ｃ Ｃ Ｃ） ．  Ｉ ＥＥ Ｅ ， 
２ ０２ ０ 

：

１ ６５ ５ －

１ ６ ６０ 

．

［
２］ Ｌ ｉ ｕ  Ｘ  Ｌ ｉ ｕ  Ｙ  Ｃ ｈ ｅ ｎ  Ｙ  Ｒ ｅ ｎ ｆｏ ｒ ｃ ｅ ｍ ｅ ｎ ｔ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ  ｉ ｎ  ｍｕ
， ，
． ｉ ｌ ｔｉ
ｐｌｅ
－

Ｕ ＡＶ  ｎ ｅ ｔ ｗ ｏ ｒ ｌ ｃｓ ：  Ｄ ｅ ｐ ｏｙ ｍ ｅ ｎ ｔ  ａ ｎ ｄ

 ｌ

ｍ ｏｖ ｅ ｍ ｅ ｎｔ ｄ ｅ ｓ ｉ ｇｎ ［ Ｊ］  ． Ｉ Ｅ Ｅ Ｅ Ｔｒ ａ ｎ ｓ ａ ｃ ｔ  ｉ ｏ ｎ ｓ  ｏｎ  Ｖｅｈ ｉ ｃｕ ｌ ａｒ  Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇｙ ， 
２０ １ ９ ，
６８（８） ： ８ ０ ３ ６ ８ ０４ ９ －


．

［
３ ］ Ｚｅ －
ｌ ｉ ｎ ｇＣ ，  Ｑ ｉ  Ｗ Ｙｅ ， 
－

ｑ ｎｇ 
Ｙ  Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ  ｏ ｎ  ｏ ｐ ｔ ｍ ｚ ａｔ
ｉ ｉ ｏ ｎ  ｍ ｅ ｔ ｈ ｏ ｄ  ｏ ｆ ｍｕ
． ｉ ｉ  ｌ ｔｉ
－

ＵＡＶ  ｃ ｏ ｌｌ ａｂ ｏ ｒ ａｔ ｉ ｖ ｅ  ｔ ａ ｓ ｋ



ｐ ｌ ａ ｎ ｎ ｉ ｎ ｇ ［ Ｃ ］ ／／ ２ ０ １ ８  Ｉ ＥＥ Ｅ  Ｃ Ｓ ＡＡ Ｇ ｕ  ｉ ｄ ａｎ ｃ ｅ ， 
Ｎ ａｖ ｉ
ｇ ａｔ ｉ ｏｎ  ａ ｎｄ  Ｃ ｏ ｎ ｔ ｒ ｏ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  （ Ｃ Ｇ Ｎ ＣＣ ） ． Ｉ ＥＥ Ｅ 

，

２０ １ ８ １ ：
－

６ 

．

［
４］ Ｌ ｉ Ｂ Ｆｅ ，
ｉ Ｚ  Ｚｈ ａｎ ｇ Ｙ 
，

．  ＵＡＶ Ｃ ｏｍ ｍ ｕ ｎ  ｉ ｃ ａｔ ｉ ｏｎ ｓ  ｆｏ ｒ  ５ Ｇ  ａ ｎ ｄ  Ｂ ｅ
ｙ ｏｎｄ ：  Ｒ ｅ ｃ ｅ ｎｔ Ａ ｄ ｖ ａ ｎ ｃ ｅ ｓ  ａ ｎ ｄ  Ｆ ｕｔ ｕ ｒ ｅ



Ｔｒ ｅ ｎ ｄ ｓ ［
Ｊ
］
． Ｉ Ｅ ＥＥ  Ｉｎｔ ｅｒ
ｎ ｅｔ  ｏ ｆ  Ｔｈ ｎｇｓ ｉ  Ｊ ｏｕ ｒ
ｎ ａｌ ，  ２ ０ １ ９ ２２４ ： １
－

２２ ６３ 

．

［
５］ Ｄｕ ｔｔ ａ  Ｒ ， 
Ｓ ｕｎ  Ｌ Ｐ ａ ｃｋ Ｄ ，
 ．  Ａ  ｄ ｅ ｃ ｅ ｎｔ ｒ ａ ｌ ｚ ｅ ｄ ｉ  ｆｏ ｒ ｍ ａｔ ｉ ｏ ｎ ａ ｎ ｄ   ｎ ｅ ｔ ｗ ｏ ｒｋ ｃ ｏ ｎ ｎ ｅ ｃ ｔ ｉ ｖ ｉ ｔ ｙ 

ｔ ｒ ａｃ ｋ ｉ ｎｇ 
ｃ ｏｎ ｔ ｒ ｏ ｌ ｌ ｅｒ  ｆｏｒ



ｍ ｕ ｌ ｔ ｉ ｐ ｌ ｅ  ｕ ｎ ｍ ａ ｎ ｎ ｅ ｄ  ｓｙ ｓ ｔ ｅ ｍ ｓ ［ Ｊ ］ ． Ｉ ＥＥＥ Ｔｒ ａ ｎ ｓ ａｃ ｔ  ｉ ｏ ｎ ｓ  ｏｎ  Ｃ ｏ ｎｔ ｒ ｏ ｌ  Ｓ ｙ ｓ ｔ ｅ ｍ ｓ  Ｔｅ ｃ ｈｎ ｏ ｌ ｏ ｇ ｙ ， 
２０ １ ７ ， ２ ６（６） 

：

２２ ０ ６ ２ ２ －

１ ３ 

．

［
６］  Ｓ ｏ ｎｇ 
Ｙ Ｘ Ｑ Ｘ ， 
ｉ
 ， 
ｉ ｎｇ 
Ｘ ， 
ｅｔ  ａｌ ．  ＵＡＶ  ｃ ｏ ｏ ｐ ｅ ｒ ａｔ ｉ ｖｅ  ｍ ｕ ｌ ｔ ｉ
－

ｔ ａ ｒｇ ｅ ｔ ａ ｌ ｌ ｏ ｃ ａｔ ｉ ｏ ｎ ｍ ｅ ｔ ｈ ｏ ｄ  ｂ ａ ｓ ｅ ｄ  ｏ ｎ  ｄ ｉ ｆｅ ｒｅ ｎ ｔ ｉ ａ ｌ
 

Ｃ ｏｎ ｆｅｒ ｅ ｎ ｃ ｅ （ Ｃ Ｃ Ｃ ） Ｅ ＥＥＥ
ｅ ｖ ｏ ｌｕｔ ｉ ｏ ｎ ａｒ ｙ  ａ ｌ
ｇ ｏ ｒ ｉｔ ｈ ｍ ［ Ｃ ２ ０ ２ ０ ３ ９ ｔｈ Ｃｈ ｎｅｓｅ Ｃ ｏｎ ｒｏ ｌ ２０ ２ ０ ６５ ５ ６６０
－

／／   ｉ  ｔ  ．  ： １ １ 

．

］  ， 

［
７］  Ｃｕ ｉ Ｙ  Ｒｅ ｎ ，
Ｊ
， 
Ｄ ｕ Ｗ  ｅｔ 
，
 ａｌ ．  Ｕ ＡＶ  ｔａｒ
ｇ ｅｔ  ｔｒ ａｃ ｋｉ ｎｇ  ａ ｌ ｇ ｏｒ ｉ ｔｌａ ｍ  ｂ ａ ｓ ｅ ｄ  ｏ ｎ  ｔ ａ ｓ ｋ  ａ ｌ ｌ ｏ ｃ ａｔ ｉ ｏ ｎ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ ｆ Ｊ ］ 

．

Ｊｏ ｕｒｎ ａ ｌ  ｏ ｆ Ｓ 
ｙｓｔｅ ｍ ｓ  Ｅｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎｇ  ａ ｎ ｄ  Ｅ ｌ ｅ ｃ ｔ ｒｏ ｎ ｉ ｃ ｓ ， 
２０ １ ６ ，
２ ７ （６ ） ： １ ２０７ －

１ ２ １ ８ 

．

［
８］  Ｙｕ  Ｚ ， 
Ｗａ ｎｇ Ｚ  Ｇ ｕ ａ ｒ ａ ｎ 
． ｔｅ ｅ ｄ  ｃ ｏ ｓ ｔ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｆｏ ｒ  ｍｕ ｌ ｔ
ｉ ｐ
ｌ ｅ  ｇ ｅｎ ｅ ｒ ａ ｌ  ｄ ｙ ｎ ａ ｍ ｉ ｃ  ｓ ｙ ｓ ｔ ｅｍ ｓ  ｗ ｉ ｔ ｈ  ｓ ｗ ｉ ｔ ｃ ｈ ｉ ｎ ｇ



ｔ ｏｐ ｏ ｌ ｏ ｇ ｉ ｅ ｓ ｆ Ｊ］ ．  Ｉ Ｅ ＥＥ Ａ ｃ ｃ ｅ ｓ ｓ 
， 
２０ １ ９ ， 
７ ： ３ ７０ ８ ８
－

３ ７０ ９ ９ 

．

［
９］ Ｊ ｉ ａｎ  Ｈ  Ｒ ｏｎ ｇｈａ ｏ  Ｚ  Ｈ
，
． ｉ ｅｒ ａ ｒ ｃ ｈ ｉ ｃ ａ ｌ  Ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  Ｐ ｒ ｏ ｂ ｌ ｅ ｍ  ｖ ｉ ａ  Ｇ ｒｏｕ ｐ  Ｉ ｎ ｆｏ ｒ ｍ ａｔ ｉ ｏ ｎ  Ｅｘ ｃ ｈ ａ ｎ ｇ ｅ ［ Ｊ ］ ． Ｉ Ｅ ＥＥ



Ｔｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏｎ ｓ  ｏ ｎ  Ｃｙ ｂ ｅｒ
ｎ ｅｔ ｉ ｃｓ ， 
２０ １ ８ ，
４９ ２３ ５ ５ ：
－

２３ ６ １ 

．

［
１ ０ ］  Ｓｕｔｔ ｏ ｎ  Ｒ  Ｓ ，
Ｂ ａ Ｒｔ ｏ Ａ Ｇ Ｒ ｅ   
．  ｉ ｎ ｆｏ ｒｃ ｅ ｍ ｅ ｎｔ  ｎ ｎ ｇ Ａ ｎ Ｉ ｎｔ ｒ ｏ ｄ ｕ ｃ ｔ
Ｌ ｅ ａｒ ｉ ：   ｉ ｏ ｎ ［ Ｊ］ ．  Ｉ ＥＥ Ｅ Ｔｒａ ｎ ｓ ａ ｃ ｔ  ｉ ｏｎ ｓ ｏｎ   Ｎ ｅｕ ｒ ａ 

ｌ

Ｎ ｅｔ ｗ ｏ ｋ ｓ ｒ
， １ ９９ ８ ， ９ （５） ： １ ０５４ 

．

［
１ １
］ 
Ｌ ｕ ｏ ｎ ｇ  Ｎ  Ｃ  Ｈ ｏ ａ ｎ ｇ  Ｄ  Ｔ  Ｇ ｏｎ ｇ  Ｓ  ｅ ｔ  ａ ， ？ ９
ｌ ．  Ａ ｐｐ ｌ ｉ ｃ ａｔ ｉ ｏｎ ｓ  ｏ ｆ  ｄ ｅ ｅ ｐ  ｒ ｅ ｎ ｆｏｒ ｃ ｅ ｍ ｅ ｎ ｔ  ｌ ｅ ａ ｒ
ｎ ｉｎｇｉｎ

 ｉ

ｃ ｏ ｍｍｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ  ａ ｎ ｄ ｎ ｅｔ ｗ ｏ ｒ ｋ ｎ ｇ  ｉ ：  Ａ  ｓｖｉｒｖ ｅ
ｙ ［ Ｊ］ ． Ｉ Ｅ ＥＥ Ｃ ｏｍｍ ｕ ｎ  ｉ ｃ ａ ｔｉ ｏ ｎ ｓ  Ｓ ｕ ｒ ｖ ｅｙ ｓ  ＆  Ｔｕｔ ｏ ｒ ｉ ａｌｓ ， 
２０ １ ９ 

，

２ １
（
４） ： ３ １ ３３
－

３ １ ７４ 

．

［
１ ２ ］  Ｃ ｈｉ  Ｈ Ｌ Ｃ ｈ ｅ ｎ Ｚ Ｔａ ｎ ｇ

， 

，  
Ｊ，  ｅｔ ａ ｌ  ．  Ｅｎ ｅ ｒｇｙ Ｅ ｆ
ｉｃ －
ｉ ｅ ｎｔ  Ｕ ＡＶ Ｃ ｏ ｎｔ ｒｏ  ｌ ｆｏ ｒ  Ｅ ｆｅ ｃ ｔ ｉ ｖｅ  ａｎ ｄ  Ｆａ ｉ ｒ  Ｃ ｏ ｍｍ ｕ ｎ ｉ ｃ ａｔ ｉ ｏｎ



Ｃ ｏｖ ｅ ｒ ａ ｇ ｅ ：  Ａ  Ｄ ｅ ｅ ｐ  Ｒ ｅ ｎ ｆｏ ｒ ｃ ｅ ｍ ｅ ｎｔ  Ｌ ｅ ａ ｒ
ｎ ｉ ｉ ｎ ｇ  Ａ ｐ ｐｒ ｏ ａ ｃ ｈ ［ Ｊ ］  Ｉ Ｅ ＥＥ  Ｊ ｏｕ ｒ ｎ ａ ｌ  ｏｎ  Ｓ ｅ ｌ ｅ ｃ ｔ ｅ ｄ  Ａ ｒｅ ａ ｓ  ｉ ｎ
．



Ｃ ｏｍ ｍ ｕｎ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ ， 
２０ １ ８ ， ３ ６ （９
）
： ２０５ ９ ２０ ７０ －



．

［
１ ３
］ 
Ｌ ｕＸ ｉ
，  Ｌ ｉ ｕ  Ｙ  Ｃ ｈ ｅ ｎ  Ｙ  Ｒｅ ｎ ｆｏ ｒ ｃ ｅ ｍ ａ ｉ ｔ  ｌ ｅ ａ ｒ ｎ ｎ ｇ  ｉ ｎ  ｍ ｕ ｌ ｔ ｉ ｐ ｌ ｅ
，
． ｉ ｉ
－
ＵＡＶ  ｎ ｅ ｔ ｗ ｏ ｒｋ ｓ  Ｄ ｅｐ ｏ ｙ ｍ ｅ ｎ ｔ  ａ ｎｄ

 ： ｌ

ｍ ｏ ｖ ｅ ｍ ｅ ｎｔ ｄ ｅ ｓ ｇ ｎ ［ Ｊ ］  ｉ ． Ｉ ＥＥＥ Ｔｒ ａ ｎ ｓ ａ ｃ ｔ  ｉ ｏ ｎｓ  ｏ ｎ  Ｖｅ ｈ ｉ ｃｕ ｌ ａｒ  Ｔｅ ｃｈｎ ｏ ｌ ｏｇｙ ， 

２０ １ ９ ， 
６ ８ （８） ： ８ ０３ ６ －
８ ０４ ９ 

．

５９



北 京 邮 电大 学工学 硕士学位论文 



４］Ｚｅ ｎｇ  Ｃ  Ｑ  Ｗ  Ｙｅ  Ｙ  Ｒ ｅ ｓ ｅ ａ ｒ ｃｈ  ｏｎ  ｏ ｐ ｔ ｍ ｉ ｚａｔ ｉ ｏ ｎ ｍ ｅ ｔ ｈ ｏ ｄ  ｏ ｆ  ＵＡＶ  ｃ ｏ ｌ ｌ ａ ｂ ｏ ｒ ａｔ ｉｖ ｅ  ｔ ａ ｓ ｋ



－

１ ｌｉ ｉ ． ｉ
［ ， ５

ｐ ｌ ａ ｎ ｎ ｉ ｎ ｇ ［ Ｃ ］ ／／２ ０ １ ８  Ｉ ＥＥＥ  Ｃ Ｓ ＡＡ Ｇｕ  ｉ ｄａｎｃ ｅ ， 

Ｎ ａｖ ｉ
ｇ ａｔ ｉ ｏｎ  ａ ｎ ｄ  Ｃ ｏｎ ｔ ｒｏ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  （ Ｃ ＧＮ Ｃ Ｃ ） ． Ｉ ＥＥＥ 

，

２０ １ ８ １ ：
－

６ 

．

５ ］ Ｓ ｉｎ
ｇ ｈ  Ｓ  Ｋ  Ａ ｇ ｒ ａｗ ａ ｌ  Ｓ ｉ ｎ ｇ ｈ  ｅ ｔ  ａ ｌ  Ｏ ｎ  ＵＡＶ  ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ  ａ ｎ ｄ  ｐ ｏ ｓ ｉ ｔ ｉ ｏ ｎ ｂ ａ ｓ ｅ ｄ  ｔ ｈ ｒ ｏ ｕｇ ｈ ｐ ｕｔ
－

１ 
 ．

［ ｊ

ｍ ａ ｘ ｉ ｍ ｚａｔ ｉ ｏ ｎ ｉ ｉ ｎ ｍｕ ｌ ｔ ｉ 
－

ＵＡＶ  ｒｅ ｌ ａ
ｙ ｎｇ ｎ ｅｔ ｗ ｏ ｉ ｋｓ ［ Ｊ］
ｉ

． Ｉ ＥＥＥ Ａ ｃ ｃｅ ｓ ｓ 
， 
２０ ２０ ， 
８  １ ４４ ０ ３ ９
：
－

１ ４４ ０ ５ ０ 

．

［
１ ６ ］  Ｌｉｕ  Ｘ ，  Ｌ ｉ ｕ  Ｙ  Ｃ ｈｅ ｎ  Ｙ  Ｒ ｅ ｎ ｆｏ ｒ ｃ ｅ ｍ ｅｎｔ 
，
． ｉ ｌ ｅ ａｒ
ｎ ｉ ｎｇ  ｉ ｎ  ｍ ｕ ｌ ｔ ｉ ｐ ｌｅ
－
ＵＡＶ  ｎ ｅ ｔ ｗ ｏ ｒｋ ｓ ：  Ｄ ｅ ｐ ｌ ｏｙ ｍ ｅ ｎ ｔ  ａ ｎ ｄ



ｍ ｏ ｖ ｅ ｍ ｅｎ ｔ ｄ ｅ ｓ ｉ ｇ ｎ ［ Ｊ ］  ．  Ｉ ＥＥＥ Ｔｒ ａ ｎ ｓ ａ ｃ ｔ  ｉ ｏ ｎ ｓ  ｏｎ  Ｖｅ ｈ ｉ ｃ ｕ ｌ ａ ｒ  Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ，  ２ ０ １ ９ ， 
６ ８ （８ ） ： ８ ０３ ６ －
８ ０４ ９ 

．

１ ７ ］  Ｃ ｈ ｉ  Ｈ ａ ｒｏ ｌ ｄ ，  Ｌ ｉ ｕ ，  ｅ ｔ  ａ ｌ  Ｅ ｎ ｅ ｒ －

Ｅｆ
ｉＢ ｃ ｉ ｅｎ ｔ  Ｕ ＡＶ  Ｃ ｏ ｎ ｔ ｒ ｏ ｌ  ｆｏ ｒ  Ｅ ｆ ｆｅ ｃ ｔ ｉ ｖ ｅ  ａ ｎ ｄ  Ｆ ａ ｉ ｒ  Ｃ ｏ ｍ ｍ ｕ ｎ ｉ ｃ ａ ｔ ｉ ｏ ｎ


ｇｙ
．

［ ，

Ｃ ｏｖ ｅ ｒ ａ ｇ ｅ ：  Ａ  Ｄ ｅ ｅ ｐ  Ｒｅ ｉ ｎ ｆｏ ｒ ｃｅ ｍ ｅ ｎ ｔ  Ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ  Ａ ｐｐ ｒ ｏ ａ ｃｈ ［ Ｊ ］  Ｉ Ｅ ＥＥ  Ｊ ｏｕ ｒ
ｎ ａ ｌ  ｏｎ  Ｓ ｅ ． ｌ ｅ ｃ ｔｅｄ  Ａ ｒｅ ａ ｓ  ｉ 

ｎ

Ｃ ｏ ｍ ｍｕｎ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ ，  ２ ０ １ ８， ３６
（
９） ２ ０ ５ ９ ２０ ７ ０
：
－



．

８
 Ｓ ｈ ｉ  Ｘ  Ｂ ｉ  Ｂ  Ｚ ｈ ａ ｎ ｇ  Ｑ  ｅ ｔ  ａ ｌ  Ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ ｂ ａ ｓ ｅ ｄ  ｍ ｕ ｌ ｔ ｉ ｕ ａｖ  ｔ ａ ｒｇ ｅ ｔ  ｔ
ａ ｃｋ ｉ ｎ ｇ  ｗ ｉｔ ｈ  ｃ ｏ ｍ ｍ ｕ ｎ ｉ ｃ ａｔ ｉ ｏｎ

 － －

１ ．

［ ］ ， ， ，

ｄ ｅ ｌ ａｙ ｓ ［ Ｃ ］ ／／ ２ ０ ｎ ａｔ ｉ ｏ ｎ ａ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｉ ｎ ｔ ｅ ｌ ｌ ｉ
７  ９ ｔ ｈ  Ｉ ｎ ｔ ｅｒ
ｇ ｅ ｎ ｔ  Ｈｕｍ ａ ｎ Ｍ ａｃ ｈ ｎ ｅ  Ｓ ｙ ｓ ｔ ｅｍ ｓ  ａ ｎｄ


－
１ ｉ

Ｃｙ ｂ ｅｒ
ｎ ｅｔ ｉ ｃｓ（Ｉ ＨＭ Ｓ Ｃ ） ． Ｉ ＥＥＥ ， 
２０ １ ７ ，
２ ：  ３３２ －

３３６ 

．

［
１ ９ ］  Ｍ ａ ｏ  Ｘ  Ｇ ｕ  Ｙ  Ｙ ｎ  Ｗ  Ｗａ ｋ  ｐ ｒｏ ｘ ｉ ｍ ａ ｌ  ｇ ｒ ａ ｄ ｉ ｅ ｎ ｔ  Ａ ｎ  ｅ ｎ ｅ ｉ ｇ ｙ ｅ ｆ
， ，
ｉ ｃ ｉ ｅ ｎｔ  ａ ｌ ｇ ｏ ｒ ｉｔ ｈｍ  ｆｏ ｒ  ｃ ｏｎ ｓ ｅ ｎ ｓ ｕ ｓ
ｉ ． ｌ ：
－

ｏ ｐｔ ｍ ｉ ｚａ ｔ ｉ ｏ ｎ ［ Ｊ］
ｉ ． Ｉ ＥＥＥ  Ｉ ｎ ｔ ｅｒ
ｎｅｔ ｏ ｆ   Ｔｈ ｎｇ ｓ ｉ  Ｊｏｕｒ
ｎ ａｌ ，  ２ ０ １ ８ ， 
６ （２ ） ：  ２０４８ －
２ ０６ ０ 

．

［
２０
］ 
Ｙｕ Ｚ Ｗａ ｎ ｇ Ｚ Ｇ ｕ ａ ｒ ａ ｎ ｔｅ ｅ ｄ Ｃ ｏ ｓ ｔ Ｃ ｏ ｎ ｓ ｅｎ ｓ ｕ ｓ

，  
．     ｆｏｒ  Ｍｕ ｌｔ ｉ
ｐ ｌｅ  Ｇ ｅ ｎ ｅｒ ａ Ｄ ｙ ｎ ａ ｍ ｌ  ｉｃ Ｓ ｙ ｓ ｔ ｅｍ ｓ  Ｗ ｉｔ ｈ Ｓ ｗ ｉ ｔｃ ｈ ｎ ｇ


 ｉ

Ｔｏ ｐ ｏ ｌ ｏ ｇｉｅ ｓ ［ Ｊ］ ．  Ｉ ＥＥＥ Ａ ｃ ｃ ｅ ｓ ｓ 
， 
２０ １ ９ ， 
７ ３ ７０８８
：
－

３ ７０９ ９ 

．

［
２ １
］
ＨｏｕＪ ，  Ｚｈ ｅｎ ｇ  Ｒ  Ｈ ． ｉ ｅ ｒ ａ ｒｃ ｈ ｉ ｃ ａ ｌ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ
 ｐ ｒｏ
ｂ ｌ ｅｍ  ｖ ａ  ｇ ｒｏｕｐ  ｉ ｎ ｆｏ ｒ ｍ ａｔ ｉ ｏ ｎ  ｅｘ ｃｈ ａ ｎ ｇ ｅ ［ Ｊ ］  Ｉ ＥＥＥ
ｉ 
 ．

ｔｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ  ｏ ｎ  ｃ ｙ ｂ ｅｒ ｎ ｅ ｔ ｉ ｃ ｓ ， 
２０ １ ８ ，
４ ９ （６ ） ：  ２３ ５ ５ ２３ ６ －
１ 

．

Ｐ２ ］  Ｈ ａｏ  Ｌ ， Ｑ ｉ  Ｘ ，  Ｙａ ｎ ｇ  Ｚ ．  Ｔｏ ｐ ｏ ｌ ｏ ｇ ｙ  ｏ ｐ ｔ ｍ ｉ ｓ ｅ ｄ  ｆ
ｉ ｘｅ ｄ ｉ
－

ｔｉ ｍ ｅ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｆｏ ｒ  ｍｕ ｌ ｔ ｉ －

ＵＡＶ  ｓｙ ｓ ｔ ｅｍ  ｉｎ ａ



ｍ ｕ ｌ ｔ ｉ ｐ ａ ｔ ｈ ｆａ ｄ ｎｇ  ｃ ｈ ａ ｎ ｎ ｅ ｌ ｆ Ｊ ］  ｉ ．  Ｉ Ｅ Ｔ Ｃ ｏ ｍ ｍ ｕｎ  ｉ ｃ ａｔ ｉ ｏｎ ｓ ， 
２ ０２０ ，
１ ４（ １ １
）
： １ ７３ １
－

１ ７３９ 

．

［
２ ３ ］  Ｔｒ ｉ ｍ ｂ ｌ ｅ  Ｊ， 
Ｐ ａｃ ｋ  Ｄ Ｒｕ ｂ ， 
ｌ ｅ  Ｚ Ａｄ ．   ｉ ｓ ｔｒｉ ｂ ｕ ｔｅ ｄ  ｓ
ｙ ｓ ｔ ｅ ｍ ｆｏ ｒ ｃ ｏ ｎ ｎ ｅｃ ｔ ｉ ｖ ｉ ｙ
  ｔ

ｔｒ ａ ｃ ｋ ｉ ｎ ｇ ｗ ｉ ｔ ｈ ｕ ａ ｖ ｓ ［ Ｃ ］ ／ ／２ ０

 １ ９  Ｉ ＥＥ Ｅ



Ｎａ ｔｉ ｏ ｎ ａｌ  Ａ ｅｒ ｏ ｓ ｐ ａｃ ｅ  ａｎ ｄ  Ｅ ｌ ｅ ｃ ｔ ｒ ｏｎ ｉ ｃ ｓ  Ｃ ｏ ｎ ｆｅｒ ｅ ｎ ｃ ｅ  （ Ｎ Ａ ＥＣ Ｏ Ｎ ） ． Ｉ ＥＥＥ ２ ０ １ ９ ， 
： １ ５５
－

１ ６２ 

，

［
２ ４］  Ｚｈａ ｎｇ 
Ｙ Ｚｈａ ｎｇ Ｂ Ｘ Ｙ
，  
， 
 ｉ
， 
ｅ ｔ ａｌ  ．  Ｔｒ ａ ｎ ｓ ｍ ｉｔｔ ｅ ｒ Ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏｎ ａ ｉ ｄ ｅ ｄ
－

  Ａ ｄ ａｐ ｔｉ ｖｅ  Ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ Ｂ ａ ｓ ｅ ｄ Ｄ ａｔ ａ －

  Ｓ ｈ ａｒ ｉ ｎｇ



ｆｏ ｒ  Ｕ ＡＶ  Ｓ ｗ ａ ｎｎ ｓ ［ Ｊ ］ ． Ｉ ＥＥ Ｅ Ａ ｃ ｃｅ ｓ ｓ 
， 
２０ １ ９ ， 
Ｐ Ｐ（９ ９） ： １
－



Ｌ

２ ５ ］Ｋ Ｎ ｇｏ ｃ  Ｔ Ｈ Ｋ ａｗ ａ ｎ ｈｉ  Ｍ Ａ  Ｓ ｙ ｎ ｃｈ ｒ ｏ ｎ ｚｉｎ ｇ  Ａ
ｐｐ ｒ ｏ ａ ｃ ｈ  ｆｏ ｒ  Ｎ ｏｎ Ｕｎ
［
ｉ ｋ ｕ ｃｈ ｉ Ｓ  ，

， 
ｉｓ
，  ｅｔ  ａｌ ．  ｉ
－

ｉ ｆｏ ｎ ｎ  Ｔｉ ｍ ｅ


－

Ｖａ ｒ ｙ ｉ ｎ ｇ  Ｃ ｏ ｍ ｍ ｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ  Ｄｅ ｌ ａｙ ｓ  ｏ ｎ  ｔ ｈ ｅ  Ａｖｅ ｒ ａ ｇ ｅ Ｃ ｏ ｎ ｓ ｅｎ ｓｕ ｓ   ｏｆ  Ｍｕ ｌｔｉ  Ａ ｇ ｅｎｔ  Ｓ ｙ ｓ ｔ ｅ ｍ ［ Ｃ ］ ／ ／２ ０ １ ９  Ｉ ＥＥ Ｅ




Ｖｅｈ ｉ ｃ ｌ ｅ  Ｐ ｏｗ ｅ ｒ  ａ ｎ ｄ  Ｐｒ ｏ
ｐｕ ｌ ｓ ｉ ｏ ｎ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ （ Ｖ Ｐ Ｐ Ｃ ） 
． Ｉ ＥＥＥ ， 
２０ １ ９ ： １
－

６ 

．

２ ６ ］ＳｕＨ Ｚｈ ａ ｎ ｇ  Ｔ  Ｑ ａｎ  Ｌ Ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｃｏ ｎ ｒ ｏ ｌ  ｓ ｔ ｒ ａｔ ｅ ｎ ｖ ｅｒ ｔ ｅｒ  ａ ｒ  ｃ ｏｎｄ ｉｔ ｉ ｏ ｎ ｉ ｎ
 ｅｔ  ａ 
ｇｙ  ｏ ｆ ｇ  ｇ ｒ ｏ ｕｐ  ｆｏ ｒ


ｉ ｌ ｔ ｉ ｉ

．

［ ， ， ，

ｒ ｅｎ ｅ ｗ ａ ｂ ｌ ｅ  ｅ ｎｅ ｉ ｇ ｙ 
ｃ ｏ ｎ ｓ ｕ ｍ ｐ ｔ ｉ ｏｎ ｂ ａ ｓ ｅ ｄ  ｏ ｎ  ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ ａｄ  
＾ｔ ｉ ｖ ｅ  ｓ ｙ ｓｔ ｅ ｍ ［ Ｃ ］ ／／ ２ ０  １ ７ ９２ ：
－

９６ 

．

［
２ ７ ］  Ｓ ｕｎ  Ｃ ， 
Ｙａ ｎ ｇ  Ｃ ，  Ｆ ａｎ  Ｓ  ｅｔ  ａ ｌ  ５
． Ｄｅｓ ｉ
ｇ ｎ  ｏ ｆ  ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕｔ ｅｄ  ｃ ｏ ｎ ｓ ｅｎ ｓ ｕ ｓ  Ｋ ａ ｌ ｍ ａ ｎ  ｆ ｉ ｌｔ ｅ ｒ  ｂ ａ ｓ ｅ ｄ  ｏ ｎ  ｅｎ ｅｒｇ ｙ



ｏ ｐ ｔ ｉ ｍ ｉ ｚ ａｔ ｉ ｏ ｎ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ  ｏ ｆ  ｔ ｈｅ  ３ ３ ｒｄ  Ｃｈ ｉ ｎｅｓ ｅ  Ｃ ｏｎ ｔ ｒｏ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ ．  Ｉ ＥＥＥ ， 
２０ １ ４ ： ７ １ ３３
－
７ １ ３ ８ 

．

６０



参考文 献 



［
２ ８ ］  Ｃ ｈ ｅｎ Ｊ 
， 
Ｙｅ  Ｆ ， 
Ｊｉ ａｎ
ｇ 
Ｔ ， 
ｅ ｔ ａｌ  ．  ＵＡＶ －

ｅ ｎ ａｂ ｌ ｅ ｄ  Ｗ ｉ ｒｅ ｌ ｅ ｓ ｓ  Ｅ ｎ ｅ ｒｇ ｙ Ｔｒ ａ ｎ ｓ ｍ 
ｉ ｓ ｓ ｉ ｏ ｎ  ａ ｎ ｄ  Ｉ ｎ ｆｏ ｎｎ ａｔ ｉ ｏ ｎ  Ｃｏ ｌ ｌ 

ｅ ｃ ｔ ｉ ｏｎ

Ｂ ａｓ ｅ ｄ  ｏｎ  Ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ ｂ ａ ｓ ｅ ｄ －

 Ｂ ｕｎ ｄ ｌ ｅ  Ａ ｌ
ｇ ｏｒ
ｉ ｔ ｈ ｍ ［ Ｃ ］ ／／ ２ ０ ２ ０  ９ ｔ ｈ   Ａｓ ｉ ａ －

Ｐ ａｃ ｉ ｆ ｉ ｃ  Ｃ ｏ ｎ ｆｅｒ ｅ ｎ ｃ ｅ ｏ ｎ   Ａ ｎ ｔ ｅｎｎ ａ ｓ



ａｎｄ  Ｐｒｏ
ｐ ａｇ ａｔ ｉ ｏ ｎ  （
Ａ Ｐ ＣＡ Ｐ） ．  ２ ０ ２０ 

．

２ ９ ］  Ｍ ａ ｏ  Ｘ ，  Ｇ ｕ  Ｙ  Ｙ ｉ ｎ  Ｗ  Ｗａ ｌ ｋ ｒｏ ｘ ｉｍ ａｌ ａ ｄ ｉ ｅ ｎ ｔ  Ａ ｎ  ｅｎ ｅ ｉ ＾ ｙ ｅ ｆ
ｉｆ ｉ ｃ ｉ ｅ ｎｔ  ａｌ ｇｏ ｒ ｉ ｔ
ｉ ｉ ｍ  ｆｏ ｒ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ
 ｇｒ
－



ｐ
． ：
［ ，

ｏ ｐ ｔ ｉ ｍ ｉ ｚ ａｔ
ｉｏ ｎ ［ Ｊ］ ． Ｉ ＥＥ Ｅ  Ｉ ｎ ｔｅｒ
ｎ ｅｔ ｏ ｆ   Ｔ ｈ ｎｇ ｓ ｉ  Ｊ ｏ ｕｒｎ ａｌ ， 
２０ １ ８，６
（
２
）
：  ２ ０４ ８ ２０６０ －



．

［
３ ０ ］ Ｌｕ Ｘ  Ｘ ， ｉ ａｏ  Ｌ ， 
Ｄａ Ｃ ｉ
， 
ｅｔａｌ ．  ＵＡＶ Ａ －

ｉ ｄ ｅ ｄ ５ Ｇ  Ｃ ｏ ｍｍ ｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ ｗ ｉ ｔ ｈ
   Ｄ ｅ ｅｐ Ｒ ｅ 
ｉ ｎ ｆｏ ｒ ｃｅ ｍ ｅ ｎ ｔ  Ｌｅ ａｒｎ ｉ ｎｇ



Ａ ｇａ ｉ ｎ ｓｔ  Ｊａ ｍｍ ｉ ｎ
ｇ ［ Ｊ］ ． ２ ０ １ ８ 

．

［
３ １
］  Ｓｈ ａｍ ｓ ｏ ｓｈ ｏ ａｒａ  Ａ  Ｋｈ ａ ，
ｌ ｅ ｄｉ  Ｍ Ａ ｆｇ ｈ ａ ｈ  Ｆ
，  ｓ  ｅｔ  ａ ｌ  ． Ｄ ｉ ｓｔ ｒ ｉ ｂ ｕｔ ｅ ｄ  ｃ ｏ ｏ
ｐ ｅ ｒ ａ ｔ ｉ ｖ ｅ  ｓ ｐ ｅ ｃ ｔ ｒ ｕｍ  ｓ ｈ ａ ｒ ｉ ｎ ｇ  ｎ  ｕ ａ ｖ

 ｉ

ｎ ｅ ｔ ｗ ｏ ｒｋ ｓ  ｕ ｓ ｎ ｇ  ｍｕ ｌ ｔ ｉ ａ ｇ ｅ ｎ ｔ  ｒ ｅ ｎ ｆｏ ｒ ｃ ｅ ｍ ｅ ｎ ｔ  Ｉ ｅ ａ ｍ ｎ ｇ ［ Ｃ ］ ／ ／ ２ ０
ｉ
－

ｉ ｉ １ ９  １ ６ ｔ ｈ  Ｉ ＥＥ Ｅ  Ａ ｎｎ ｕ ａ ｌ  Ｃ ｏ ｎ ｓ ｕｍ ｅ ｒ



Ｃ ｏ ｍｍ ｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ  ＆ Ｎ ｅ ｔ ｗ ｏ ｒｋ  ｉ ｎｇ 
Ｃ ｏ ｎ ｆｅ ｒ ｅｎ ｃ ｅ  （
Ｃ ＣＮ Ｃ ） ． Ｉ Ｅ ＥＥ ， 
２０ １ ９ ： １
－

６ 

．

［
３２
］ 
Ｏ ｉ ａｌｌ ｉ ｔａ  Ｕ ， 
Ｓ ａ ａｄ  Ｗ Ｂ ｅｔ ， 
ｔｓ ｔ ｅｔｔ ｅｒ  Ｃ  Ｃｅ ． ｌｌ ｕ ｌ ａｒ ｃ ｏ ｎｎ ｅ ｃｔ ｅｄ－

 Ｕ ＡＶ ｓ  ｏ ｖ ｅｒ ５ Ｇ  ：  Ｄ ｅｅｐ 
ｒ ｅ ｉ ｎ ｆｏ ｒ ｃ ｅ ｍ ｅ ｎ ｔ  ｌ ｅ ａ ｒ ｎ ｉ ｎ


ｇ

ｆｏ ｒ  ｉ ｎｔ ｅ ｒ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｍ ａ ｎ ａ ｇ ｅ ｍ ｅｎ ｔ ［ Ｊ
］
．  ａｒ Ｘ ｉ ｖ ｐ ｒ ｅ ｐ ｒ ｎｔ

ｉ  ａｒ Ｘ ｉ ｖ ：  １ ８０ １ ． ０５ ５００ ，
２０ １ ８ 

．

［
３３
］ 
Ｌ ｉ ｕ  Ｙ Ｑ ， 
ｉ ｎ  Ｚ Ｃａ Ｙ ， 
ｉ 

， 
ｅ ｔ ａｌ  ．  ＵＡＶ  ｃ ｏ ｍ ｍ ｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ  ｂ ａ ｓ ｅ ｄ ｏ ｎ ｎ ｏ ｎ ｏ ｒ ｈ ｏ ｇ ｏ ｎ ａ ｌ ｍ ｕ ｌｔ ｉ ｐ ｅ ａ ｃ ｃ ｅ ｓ ｓ ［ Ｊ ］
 
－

ｔ  ｌ  ． Ｉ Ｅ ＥＥ



Ｗ ｉ ｒｅｌ ｅ ｓ ｓ  Ｃ ｏ ｍｍ ｕｎ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ ，  ２ ０ １ ９ ，
２６（ １
）
： ５ ２ ５７－



．

［
３ ４ ］  Ｌｉ ｕ  Ｃ  Ｈ ， 
Ｃ ｈ ｅ ｎ Ｚ Ｔａ ｎ ｇ 
， 
Ｊ，ｅｔａｌ ．  Ｅｎ ｅ ｒｇ ｙ －
ｉ ｃ ｉ ｅ ｎｔ
ｅ ｆｆ  ＵＡＶ  ｃ ｏ ｎｔ ｒ ｏ ｌ  ｆｏ ｒ  ｅ ｆ ｆ
ｅ ｃ ｔ ｉ ｖ ｅ  ａ ｎ ｄ  ｆａ ｉ ｒ  ｃ ｏｍ ｍ ｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ




ｃ ｏｖ ｅｒ ａ
ｇｅ ：  Ａ  ｄｅ ｅ ｐ  ｒ ｅ ｎ ｆｏ ｒｃ ｅｍ ｅ ｎ ｔ  ｉ ｌ ｅａ ｒ
ｎ ｉ ｎｇ  ａ ｐ ｐ ｒ ｏ ａ ｃ ｈ ｆ Ｊ ］  Ｉ Ｅ ＥＥ Ｊ ｏ ｕｒ
ｎａ ． ｌ ｏｎＳ ｅ ｌ ｅ ｃｔ ｅ ｄ  Ａ ｒｅ ａｓ  ｉ 

ｎ

Ｃ ｏ ｍｍｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ ，  ２ ０ １ ８ ， ３ ６（９） ：  ２ ０ ５ ９ ２０７ ０ －



．

Ｏ Ｓ ａ ｂ ｅ ｒ  Ｒ ，  Ｍ ｕ ｒ ｒ ａｙ  Ｒ Ｍ  Ｃ ｏ ｎ ｓ ｅｎ ｓ ｕ ｓ
３ ５ ］ ｆａｔ ｉ
ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｓ  ｎ ｎ ｅ ｔ ｗ ｏ ｒｋ ｓ  ｏ ｆ ａｇ ｅ ｎ ｔ ｓ  ｗ ｉ ｔ ｈ  ｓ ｗ ｉ ｔ ｃ ｈ ｎ ｇ  ｔ ｏ ｐ ｏ ｌ ｏ ＾


－

ｌ  ． ｉ   ｉ
［ 

ａ ｎｄ ｔｉ ｍ ｅ ｄ ｅ ｌ ａｙ ｓ ［ Ｊ ］
－

．  Ｉ ＥＥＥ Ｔｒ ａ ｎ ｓ ａｃ ｔ  ｉ ｏｎ ｓ  ｏ ｎ  Ａｕ ｔ ｏ ｍ ａ ｔ ｉ ｃ  Ｃ ｏ ｎｔ ｒ ｏ ｌ
，
２ ０ ０４ ，
４９ ９
（ ）
：  １ ５２０ －

１ ５３３ 

．

［
３６
］  Ｏ ｆａｔ ｉ
ｌ
－
Ｓ ａ ｂ ｅｒ  Ｒ Ｍｕ ｒ ｒ ａｙ Ｒ Ｍ  Ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ
，  
 ．

 ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｓ  ｉ ｎ ｎ ｅ ｔ ｗ ｏ ｒｋ ｓ  ｏ ｆ ａ ｇ ｅｎｔ ｓ  ｗ ｉ ｔ ｈ  ｓ ｗ ｉ ｔ ｃ ｈ ｎ ｇ  ｔ ｏ ｐ ｏ ｌ ｏ ｇ ｙ


  ｉ

ａｎ ｄ  ｔｉ ｍ ｅ ｄ ｅ ｌ ａｙ ｓ ［ Ｊ ］
－

．  Ｉ Ｅ Ｅ Ｅ Ｔｒ ａ ｎ ｓ ａ ｃ ｔ  ｉ ｏｎ ｓ ｏ ｎ   Ａｕ ｔ ｏ ｍ ａｔ ｉ ｃ  Ｃ ｏ ｎ ｔ ｒ ｏ ｌ ， 
２ ０ ０４， ４９ （９
）
；  １ ５ ２０ －
１ ５３３ 

．

［
３７
］  Ｚ ｈ ｏ ｕ  Ｚ  Ｆ ｅｎ ｇ 
Ｊ
 ， ，
Ｇ ｕＢ ，  ｅｔ  ａ ｌ  ． Ｗ ｈｅ ｎ  ｍ ｏ ｂ ｉｌ ｅ  ｃ ｒ ｏ ｗ ｄ  ｓ ｅｎｓ ｉ ｎ ｇ  ｍ ｅ ｅ ｔ ｓ  ＵＡＶ ：  Ｅｎ ｅ ｒｇｙ ｅ ｆｆｉ ｃ ｉ ｅ ｎ ｔ  ｔ ａ ｓ ｋ
－




ａｓ ｓ ｉ
ｇ ｎ ｍ ｅ ｎ ｔ  ａ ｎｄ
 ｒｏ ｕｔ ｅ  ｐ ａｎ ｎｉ ｎ ｇ ［Ｊ ］ Ｉ ． Ｉ ＥＥＥ  Ｔｒ ａ ｎ ｓ ａ ｃｔ ｉ ｏ ｎ ｓ  ｏ ｎ  Ｃ ｏ ｍ ｍ ｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ ｓ ， ２ ０ １ ８ ， ６ ６
（
１ １
）
： ５ ５ ２ ６ 

－

５５３ ８ 

．

［
３ ８］ Ｈ ｏｕ  Ｊ ，  Ｚ ｈｅ ｎ ｇ  Ｒ  Ｈ ｉ ｅ ｒ ａ ｒ ｃ ｈ ｉ ｃ ａ ｌ  ｃ ｏ ｎ ｓ ｅ ｎ ｓｕ ｓ  ｐ ｒ ｏ ｂ ｌ ｅ ｍ  ｖ ｉ ａ  ｇ ｒ ｏ ｕ ｐ  ｎ ｆｏ ｒ ｍ ａｔ ｉ ｏ ｎ  ｅ ｘ ｃ ｈ ａ ｎ ｇ ｅ ［ Ｊ ］
． ｉ ．  Ｉ ＥＥＥ



ｔｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏｎ ｓ  ｏ ｎ  ｃ
ｙｂ ｅｒ
ｎ ｅｔｉ ｃ ｓ ， 
２０ １ ８， ４９ （６） ：  ２３ ５ ５ ２３ ６ －
１ 

．

［
３９
］ 
Ｍｅ ｓ ｂ ａｈ Ｍ Ｏｎ ｉ ．   ａ ｄｙ ｎ ａ ｍ ｉ ｃ  ｅ ｘ ｔ ｅ ｎ ｓ ｉ ｏ ｎ ｏ ｆ ｔ ｈ ｅ
   ｔ ｈ ｅ ｏ ｒ ｙ ｏ ｆ ｇ ｒ ａｐ ｈ ｓ ｆ Ｃ ｌ ／  
ｙ ＾ ｒｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ  ｏ ｆ ｔ ｈｅ ２ ０ ０２   Ａ ｍ ｅｒ ｉ ｃ ａｎ



Ｃ ｏ ｎ ｔ ｒｏ Ｃ ｏ ｎ ｆｅ ｒｅ ｎ ｃ ｅ ｌ
 （
ｉ ＥＥ Ｃ ａ
ｆ  ｔ ．  Ｎ ｏ ＣＨ ３ ７ ３ ０ ．  １
）
．  Ｉ ＥＥＥ ， 
２ ０ ０２ ，
２ ： １ ２３ ４ －

１ ２３ ９ 

．

４ ０ ］  Ｚ Ｈ ＡＮ Ｇ  Ｑ ｉ ｎ ｅ Ｚ Ｈ Ｕ  Ｈ ｕ ａｙ ｏ ｎ ｇ ａ ｎｄ  Ｓ ＨＥ Ｎ Ｌ ｎｃｈ ｅｎ ｇ Ａ Ｓ ｕ ｒ ｖ ｅｙ  ｏ ｆ Ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ Ｔ ｈ ｅ ｏ ｒ ｙ  ｎ  Ｍｕ 

－

［ ｇ ｊ
ｉ
，  
 ｉ ．     ｉ ｌ ｔｉ

Ａ ｇ ｅｎｔ  Ｓ
ｙ ｓ ｔ ｅｍ ［ Ｃ ］ ．  Ｎ ａｖ ｉ
ｇ ａｔ ｉ ｏ ｎ  ａｎ ｄ  Ｃｏｎ ｔｒ ｏ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅｎ ｃ ｅ ，  ２ ０ １ ０ ：  ４ ０ ４６ －


．

［
４ １ ］ＳｈｉＸ ？  Ｂ ｉ Ｂ ，  Ｚ ｈａ ｎ ｇ  Ｑ ，  ｅｔ  ａ ｌ  Ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ ｂ ａ ｓ ｅ ｄ  ｍｕ ｌ ｔ ｉ ｕ ａ ｖ  ｔ ａ ｒｇ ｅ ｔ  ｔ ｒ ａｃ ｋ ｉ ｎ ｇ  ｗ ｉ ｔ ｈ  ｃ ｏ ｍｍ ｕ ｎ ｉ ｃ ａｔ ｉ ｏ ｎ
．
－


 －

ｄ ｅ ｌ ａｙ ｓ ［ Ｃ ］ ／ ／２ ０ １ ｎ ａｔ ｉ ｏ ｎ ａ ｌ  Ｃ ｏ ｎ ｆｅ ｒ ｅ ｎ ｃ ｅ  ｏ ｎ  Ｉ ｎｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎｔ  Ｈ ｕ ｍ ａ ｎ
７  ９ ｔ ｈ  Ｉ ｎ ｔ ｅｒ
－

Ｍａｃ ｈ ｉ ｎ ｅ  Ｓｙ ｓｔ ｅｍ ｓ  ａｎ ｄ



Ｃｙ ｂ ｅｒ ｎｅｔ ｉ ｃｓ（Ｉ ＨＭ Ｓ Ｃ ） ． Ｉ ＥＥＥ ， 

２０ １ ７ ，
２ ： ３ ３ ２ ３３６ －



．

６ 

１

北 京 邮 电 大 学工 学 硕 士 学 位 论 文 



［
４ ２ ］  Ｈａｏ  Ｌ ， Ｑ ｉ  Ｘ ，
Ｙａ ｎ ｇ  Ｚ ．  Ｔｏｐ ｏ ｌ ｏ ｇｙ  ｏｐ ｔ ｉ ｍ ｉ ｓ ｅ ｄ  ｆ
ｉｘｅ ｄ －

ｔｉ ｍ ｅ  ｃ ｏ ｎ ｓ ｅ ｎ ｓ ｕ ｓ  ｆｏ ｒ  ｍ ｕ ｌ ｔ ｉ －

ＵＡＶ  ｓ ｙ ｓ ｔ ｅｍ  ｉ ｎａ



ｍｕ ｌ ｔ ｉ ｐ ａｔ ｈ  ｆａ ｄ ｎ ｇ ｉ

ｃ ｈ ａ ｎｎ ｅ ｌ ［ Ｊ ］ ． Ｉ Ｅ Ｔ Ｃ ｏ ｍ ｍ ｕｎ
 ｉ ｃ ａ ｔｉ ｏｎ ｓ ， 
２ ０２ ０ ，
１ ４（ １ １
）
： １ ７３ ０ －

１ ７３ ８ 

．

６２

