Download as pdf or txt
Download as pdf or txt
You are on page 1of 69

Security of Cyber Physical Systems

State Estimation and Control 1st


Edition Chengwei Wu
Visit to download the full and correct content document:
https://ebookmeta.com/product/security-of-cyber-physical-systems-state-estimation-a
nd-control-1st-edition-chengwei-wu/
More products digital (pdf, epub, mobi) instant
download maybe you interests ...

Security and Resilience in Cyber Physical Systems


Detection Estimation and Control Masoud Abbaszadeh

https://ebookmeta.com/product/security-and-resilience-in-cyber-
physical-systems-detection-estimation-and-control-masoud-
abbaszadeh/

Security and Resilience of Cyber Physical Systems 1st


Edition Krishan Kumar

https://ebookmeta.com/product/security-and-resilience-of-cyber-
physical-systems-1st-edition-krishan-kumar/

Cyber-physical Systems and Industry 4.0: Practical


Applications and Security Management 1st Edition Dinesh
Goyal (Editor)

https://ebookmeta.com/product/cyber-physical-systems-and-
industry-4-0-practical-applications-and-security-management-1st-
edition-dinesh-goyal-editor/

Merging Optimization and Control in Power Systems :


Physical and Cyber Restrictions in Distributed
Frequency Control and Beyond 1st Edition Feng Liu

https://ebookmeta.com/product/merging-optimization-and-control-
in-power-systems-physical-and-cyber-restrictions-in-distributed-
frequency-control-and-beyond-1st-edition-feng-liu/
Safety and Security of Cyber-Physical Systems:
Engineering dependable Software using Principle-based
Development Frank J. Furrer

https://ebookmeta.com/product/safety-and-security-of-cyber-
physical-systems-engineering-dependable-software-using-principle-
based-development-frank-j-furrer/

Networked and Event Triggered Control Approaches in


Cyber Physical Systems 1st Edition Jinhui Zhang
Yuanqing Xia Zhongqi Sun Duanduan Chen

https://ebookmeta.com/product/networked-and-event-triggered-
control-approaches-in-cyber-physical-systems-1st-edition-jinhui-
zhang-yuanqing-xia-zhongqi-sun-duanduan-chen/

Cyber-Physical, IoT, and Autonomous Systems in Industry


4.0 1st Edition Vikram Bali

https://ebookmeta.com/product/cyber-physical-iot-and-autonomous-
systems-in-industry-4-0-1st-edition-vikram-bali/

Optimal State Estimation for Process Monitoring, Fault


Diagnosis and Control 1st Edition Ch. Venkateswarlu
M.Tech Phd

https://ebookmeta.com/product/optimal-state-estimation-for-
process-monitoring-fault-diagnosis-and-control-1st-edition-ch-
venkateswarlu-m-tech-phd/

Innovations in Cyber Physical Systems Select


Proceedings of ICICPS 2020 1st Edition Jawar Singh

https://ebookmeta.com/product/innovations-in-cyber-physical-
systems-select-proceedings-of-icicps-2020-1st-edition-jawar-
singh/
Studies in Systems, Decision and Control 396

Chengwei Wu
Weiran Yao
Guanghui Sun
Ligang Wu

Security
of Cyber-Physical
Systems: State
Estimation and
Control
Studies in Systems, Decision and Control

Volume 396

Series Editor
Janusz Kacprzyk, Systems Research Institute, Polish Academy of Sciences,
Warsaw, Poland
The series “Studies in Systems, Decision and Control” (SSDC) covers both new
developments and advances, as well as the state of the art, in the various areas of
broadly perceived systems, decision making and control–quickly, up to date and
with a high quality. The intent is to cover the theory, applications, and perspectives
on the state of the art and future developments relevant to systems, decision
making, control, complex processes and related areas, as embedded in the fields of
engineering, computer science, physics, economics, social and life sciences, as well
as the paradigms and methodologies behind them. The series contains monographs,
textbooks, lecture notes and edited volumes in systems, decision making and
control spanning the areas of Cyber-Physical Systems, Autonomous Systems,
Sensor Networks, Control Systems, Energy Systems, Automotive Systems,
Biological Systems, Vehicular Networking and Connected Vehicles, Aerospace
Systems, Automation, Manufacturing, Smart Grids, Nonlinear Systems, Power
Systems, Robotics, Social Systems, Economic Systems and other. Of particular
value to both the contributors and the readership are the short publication timeframe
and the world-wide distribution and exposure which enable both a wide and rapid
dissemination of research output.
Indexed by SCOPUS, DBLP, WTI Frankfurt eG, zbMATH, SCImago.
All books published in the series are submitted for consideration in Web of Science.

More information about this series at http://www.springer.com/series/13304


Chengwei Wu · Weiran Yao · Guanghui Sun ·
Ligang Wu

Security of Cyber-Physical
Systems: State Estimation
and Control
Chengwei Wu Weiran Yao
Department of Control Science Department of Control Science
and Engineering and Engineering
Harbin Institute of Technology Harbin Institute of Technology
Harbin, China Harbin, China

Guanghui Sun Ligang Wu


Department of Control Science Department of Control Science
and Engineering and Engineering
Harbin Institute of Technology Harbin Institute of Technology
Harbin, China Harbin, China

ISSN 2198-4182 ISSN 2198-4190 (electronic)


Studies in Systems, Decision and Control
ISBN 978-3-030-88349-2 ISBN 978-3-030-88350-8 (eBook)
https://doi.org/10.1007/978-3-030-88350-8

© The Editor(s) (if applicable) and The Author(s), under exclusive license to Springer Nature
Switzerland AG 2022
This work is subject to copyright. All rights are solely and exclusively licensed by the Publisher, whether
the whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse
of illustrations, recitation, broadcasting, reproduction on microfilms or in any other physical way, and
transmission or information storage and retrieval, electronic adaptation, computer software, or by similar
or dissimilar methodology now known or hereafter developed.
The use of general descriptive names, registered names, trademarks, service marks, etc. in this publication
does not imply, even in the absence of a specific statement, that such names are exempt from the relevant
protective laws and regulations and therefore free for general use.
The publisher, the authors and the editors are safe to assume that the advice and information in this book
are believed to be true and accurate at the date of publication. Neither the publisher nor the authors or
the editors give a warranty, expressed or implied, with respect to the material contained herein or for any
errors or omissions that may have been made. The publisher remains neutral with regard to jurisdictional
claims in published maps and institutional affiliations.

This Springer imprint is published by the registered company Springer Nature Switzerland AG
The registered company address is: Gewerbestrasse 11, 6330 Cham, Switzerland
To My Family
C. Wu
To Yang Chen
W. Yao
To My Family
G. Sun
To My Family
L. Wu
Preface

The past decades have witnessed a great development of the control theory, the
communication technology, the computer science, smart devices and so on, which
make it possible to design CPSs. In CPSs, the cyber realm is in charge of gathering,
processing, transmitting data and interacting with human, and the physical system
is used to govern system dynamics. Such systems can integrate the cyber realm and
the physical world into a unified frame, improving the degree of automation and
intelligence of physical systems. CPSs can benefit many fields, for example, the
transportation, the basic infrastructure, robotics, smart building, etc. Due to the inte-
gration of the open and shared cyber layer, CPSs are not closed anymore. CPSs are
vulnerable to adversaries while they improve the performance of systems. Adver-
saries can invade into the cyber layer by using some illegal attacks, example of
which are DoS attacks, false data injection attacks and replay attacks. By imple-
menting these attacks, adversaries can realizing their illegal goals including gaining
benefits, decreasing even destroying the performance of the system. The notorious
case is Stuxnet, which destroys the Iran nuclear devices. Recently, attacks frequently
occur around the world. It is an urgent but challenging task to secure CPSs. Although
researchers have proposed many remarkable secure schemes from the computer and
the communication protocol prospective, the performance of the physical system,
which is fair important for CPSs is excluded. To solve such a problem, this mono-
graph attends to give some novel secure schemes for CPSs from the automation
control prospective.
The problems of secure control, estimation and optimal attack design for CPSs in
the presence of malicious attacks are thoroughly investigated. Both DoS attacks and
false data injection attacks are addressed. By introducing some techniques such as
the game-theoretical approach, moving target defense, reinforcement learning and
optimal control, several novel results are proposed. This monograph includes two
parts. One focuses on the problems of secure estimation and control for CPSs under
DoS attacks. The other is concerned with the problems of secure estimation and
control for CPSs with false data injection attacks. Specifically, the main contents of
the first part are as follows:

vii
viii Preface

1. optimal DoS attack scheduling for CPSs under energy constraints,


2. active defense based resilient sliding mode control under DoS attacks,
3. learning tracking control for CPSs,
4. adaptive fuzzy control for nonlinear networked control systems,
5. reliable filter design for sensor networks in the IT2 fuzzy framework.
The main contents of the second part are as follows:
1. secure estimation for CPSs via sliding mode,
2. zero-sum game based optimal secure control under actuator attacks,
3. attacks mitigation in CPSs: a MTD and reinforcement learning approach,
4. observer-based adaptive fault-tolerant tracking control of nonlinear nonstrict-
feedback systems,
5. deep reinforcement learning control approach to mitigating actuator attacks.
Among the topics, practical applications are adopted to validate the effective-
ness and advantages of the proposed optimal DoS attack sequence design, secure
estimation and control algorithms.

Harbin, China Chengwei Wu


Harbin, China Weiran Yao
Harbin, China Guanghui Sun
Harbin, China Ligang Wu
May 2021
Acknowledgements

There are numerous individuals without whose help this book will not have been
completed. Special thanks go to Prof. Zhong-Ping Jiang from New York University,
Prof. Jianxing Liu from Harbin Institute of Technology, Prof. Xingjian Jing from The
Hong Kong Polytechnic University, Prof. Hongyi Li from Guangdong University of
Technology, Prof. Wei Pan from Delft University of Technology, Dr. Xiaolei Li from
Harbin Institute of Technology, for their valuable suggestions, constructive comments
and support.
The writing of this book was supported in part by the National Key R&D
Program of China (No. 2019YFB1312001), National Natural Science Founda-
tion of China (62033005, 62022030), China Postdoctoral Science Foundation
(2021TQ0091,2020M681098), Heilongjiang Provincial Natural Science Foundation
of China (ZD2021F001).

ix
Contents

1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Current Research on Securing CPSs . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.1 Advances in Detecting Attacks . . . . . . . . . . . . . . . . . . . . . 3
1.1.2 Advances in Securing CPSs Under DoS Attacks . . . . . . . 4
1.1.3 Advances in Securing CPSs Under Deception
Attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Publication Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Publication Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Part I Secure Estimation and Control for CPSs Under DoS


Attacks
2 Optimal DoS Attack Scheduling for CPSs . . . . . . . . . . . . . . . . . . . . . . . 15
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2 System Formulation and Preliminaries . . . . . . . . . . . . . . . . . . . . . . 16
2.2.1 Physical Process Description . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.2 SINR-Based Communication Model . . . . . . . . . . . . . . . . . 17
2.3 Remote Estimator Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4 Attack Sequence Design and Energy Allocation . . . . . . . . . . . . . . 19
2.5 Simulation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3 Active Defense Control of CPSs via Sliding Mode . . . . . . . . . . . . . . . . 33
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 System Formulation and Preliminaries . . . . . . . . . . . . . . . . . . . . . . 34
3.2.1 Physical Process Description . . . . . . . . . . . . . . . . . . . . . . . 34
3.2.2 DoS Attack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3 Resilient Sliding Mode Control Design . . . . . . . . . . . . . . . . . . . . . . 36
3.3.1 Estimator Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.3.2 Sliding Mode Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

xi
xii Contents

3.3.3 Stability Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40


3.3.4 Resilient Sliding Mode Controller Design . . . . . . . . . . . . 41
3.4 Active Defense-Based Resilient Control . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 Optimal Defense Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.2 Defense Scheme-Based Estimator . . . . . . . . . . . . . . . . . . . 47
3.4.3 Sliding Dynamics Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4.4 Resilient Sliding Mode Control Design
with Defense Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4 Learning Tracking Control for CPSs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.2 System Formulation and Preliminaries . . . . . . . . . . . . . . . . . . . . . . 61
4.2.1 Physical Process and Reference Model
Descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2.2 SINR-based Communication Model . . . . . . . . . . . . . . . . . 63
4.2.3 Control Objective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.3 Optimal Tracking Controller Design and Stability Analysis . . . . . 65
4.3.1 Analysis of the Value Function . . . . . . . . . . . . . . . . . . . . . 65
4.3.2 Optimal Tracking Controller Design . . . . . . . . . . . . . . . . . 67
4.3.3 Analysis of the Solution to the Riccati Equation . . . . . . . 68
4.4 Q-Learning Optimal Tracking Scheme Design . . . . . . . . . . . . . . . . 71
4.4.1 Convergence Analysis of Algorithm . . . . . . . . . . . . . . . . . 73
4.5 Off-Policy Learning Control Algorithm . . . . . . . . . . . . . . . . . . . . . . 79
4.5.1 Model-Based Off-Policy Learning Control
Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.5.2 Model-Free Off-Policy Learning Control Scheme . . . . . 83
4.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5 Intelligent Control for Nonlinear Networked Control Systems . . . . . 89
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.2 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.2.1 System Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2.2 Fuzzy Logic Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.3 Adaptive Control Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.4 Simulation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
6 Reliable Filtering of Sensor Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.2 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6.2.1 IT-2 T-S Fuzzy Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6.2.2 Failure Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.2.3 IT2 Fuzzy Reliable Distributed Filter Design . . . . . . . . . 116
6.2.4 Filtering Error System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.3 Main Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Contents xiii

6.4 Simulation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125


6.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

Part II Secure Estimation and Control for CPSs Under False


Data Injection Attacks
7 Secure Estimation for CPSs via Sliding Mode . . . . . . . . . . . . . . . . . . . . 135
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
7.2 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
7.2.1 CPSs Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.2.2 CPSs Model in Descriptor Form . . . . . . . . . . . . . . . . . . . . 139
7.2.3 Minimization Optimal Problem . . . . . . . . . . . . . . . . . . . . . 139
7.2.4 Sliding Mode Observer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.3 Secure Estimation Algorithm Design . . . . . . . . . . . . . . . . . . . . . . . . 141
7.3.1 Projection Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
7.3.2 Sliding Mode Observer Secure Estimation
Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7.4 Convergence Analysis of Algorithm 1 . . . . . . . . . . . . . . . . . . . . . . . 144
7.4.1 Analysis for Time Update . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.4.2 Analysis for Projection Operator . . . . . . . . . . . . . . . . . . . . 145
7.4.3 Analysis for Estimation Update . . . . . . . . . . . . . . . . . . . . . 146
7.4.4 Analysis for Terminated Conditions of Inner Loop . . . . . 147
7.4.5 Analysis of Sliding Mode Error Rejection Term
Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.5 Simulation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
7.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
8 Zero-Sum Game Based Optimal Secure Control . . . . . . . . . . . . . . . . . . 161
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
8.2 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
8.2.1 Physical Process Description . . . . . . . . . . . . . . . . . . . . . . . 162
8.2.2 Actuator Attack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
8.3 Main Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
8.3.1 Optimal Estimator Design . . . . . . . . . . . . . . . . . . . . . . . . . . 165
8.3.2 Zero-Sum Game Based Optimal Policies Design . . . . . . 165
8.3.3 Convergence of the Scheme . . . . . . . . . . . . . . . . . . . . . . . . 168
8.4 Extended Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
8.5 Simulation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
8.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
9 Proactive Secure Control for CPSs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
9.2 System Formulation and Preliminaries . . . . . . . . . . . . . . . . . . . . . . 182
9.2.1 Physical Process: A Switching System
Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
9.2.2 The Closed-Loop System Under Attacks . . . . . . . . . . . . . 183
xiv Contents

9.3 Moving Target Defense Control Scheme . . . . . . . . . . . . . . . . . . . . . 186


9.3.1 Controller and Moving Target Defense Design . . . . . . . . 186
9.3.2 Stability Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
9.4 Attack Detection and Isolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
9.4.1 Attack Detection Observer Design . . . . . . . . . . . . . . . . . . 189
9.4.2 Attack Isolation Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
9.5 Moving Target Defense Control Design . . . . . . . . . . . . . . . . . . . . . . 194
9.5.1 Reinforcement Learning Based Reactive Control
Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
9.5.2 Moving Target Defense Design . . . . . . . . . . . . . . . . . . . . . 201
9.6 Simulation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
9.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
10 Fault-Tolerant Tracking Control for Nonstrict-Feedback
Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
10.2 System Description and Preliminaries . . . . . . . . . . . . . . . . . . . . . . . 215
10.2.1 Nonstrict-Feedback System . . . . . . . . . . . . . . . . . . . . . . . . 216
10.2.2 Fault Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
10.2.3 Control Objective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
10.2.4 Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
10.2.5 Observer Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
10.3 Observer-Based Adaptive Fault-Tolerant Control Design . . . . . . . 221
10.4 Simulation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
10.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
11 Deep Reinforcement Learning Control Approach
to Mitigating Attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
11.2 System Formulation and Preliminaries . . . . . . . . . . . . . . . . . . . . . . 239
11.2.1 Physical System Description . . . . . . . . . . . . . . . . . . . . . . . 240
11.2.2 CPSs Under Cyber Attacks . . . . . . . . . . . . . . . . . . . . . . . . . 241
11.3 Deep Reinforcement Learning Based Secure Controller
Design and Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
11.3.1 Markov Decision Process . . . . . . . . . . . . . . . . . . . . . . . . . . 242
11.3.2 Reinforcement Learning Algorithm . . . . . . . . . . . . . . . . . . 243
11.3.3 Deep Neural Networks Approximation . . . . . . . . . . . . . . . 245
11.3.4 Implementation of Lyapupnov-Based Soft
Actor-Critic Deep Reinforcement Learning
Control Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
11.4 Convergence and Stability Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 248
11.4.1 Algorithm Convergence Analysis . . . . . . . . . . . . . . . . . . . 249
11.4.2 Data-Based Stability Analysis . . . . . . . . . . . . . . . . . . . . . . 250
11.5 Simulation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
11.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
Contents xv

12 Conclusion and Further Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265


12.1 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
12.2 Further Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
Notations and Acronyms

 is defined as
∈ belongs to

 for all
sum
R field of real numbers
Rn space of n-dimensional real vectors
Rn×m space of n×m real matrices
E{·} mathematical expectation operator
lim limit
max maximum
min minimum
sup supremum
inf infimum
rank(·) rank of a matrix
trace(·) trace of a matrix
λmin (·) minimum eigenvalue of a real symmetric matrix
λmax (·) maximum eigenvalue of a real symmetric matrix
I identity matrix
In n×n identity matrix
0 zero matrix
0n×m zero matrix of dimension n×m
X transpose of matrix X
X∗ conjugate transpose of matrix X
X −1 conjugate transpose of matrix X
X > (<)0 X is real symmetric positive (negative) definite
X ≥ (≤)0 X is real symmetric positive (negative) semi-definite
2 {[0, ∞), [0, ∞)} space of square summable sequences on {[0, ∞); [0, ∞)}
(discrete case)
|·| Euclidean vector norm
· Euclidean matrix norm (spectral norm)

xvii
xviii Notations and Acronyms


· 2 2 − norm : 0 |·|
2

· E E{ · 2 }
Diag block diagonal matrix with blocks {X1 , . . . , Xm }
CPSs cyber-physical systems
DoS denial-of-service attack
MDP Markovian decision process
IT2 interval type-2
FLS fuzzy logic systems
SISO single input single output
SINR signal-to-interference-plus-noise
T−S Takagi-Sugeno
LQG linear quadratic Gaussian
MTD moving target defense
List of Figures

Fig. 1.1 The conceptual model of CPSs . . . . . . . . . . . . . . . . . . . . . . . . . . 2


Fig. 1.2 Review diagram of research on CPSs under attacks . . . . . . . . . . 3
Fig. 1.3 Diagram of secure control under DoS attacks . . . . . . . . . . . . . . . 4
Fig. 1.4 Diagram of secure estimation under deception attacks . . . . . . . . 6
Fig. 1.5 Diagram of secure control under deception attacks . . . . . . . . . . 6
Fig. 1.6 Main contents of this publication . . . . . . . . . . . . . . . . . . . . . . . . . 9
Fig. 2.1 System blueprint. Here, x̂f ,i (k) means the i-th element
of x̂f (k) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Fig. 2.2 The results of different attack sequences . . . . . . . . . . . . . . . . . . . 28
Fig. 2.3 The traces of the expected terminal error covariance
matrices PT (k) under different situations. The response
Joa (blue line) corresponds to the proposed optimal
attack sequence, Jsa (green line) shows the response
under the random attack sequence and Jwa (red dash)
depicts the response without any attacks . . . . . . . . . . . . . . . . . . . 29
Fig. 2.4 The average of the original x1 (k), smart sensor
measurement xf ,1 (k) and the remote estimation x̂1 (k) . . . . . . . . 29
Fig. 2.5 The average of the original x2 (k), smart sensor
measurement xf ,2 (k) and the remote estimation x̂2 (k) . . . . . . . . 30
Fig. 2.6 The average of the original x3 (k), smart sensor
measurement xf ,3 (k) and the remote estimation x̂3 (k) . . . . . . . . 30
Fig. 2.7 The average of the original x4 (k), smart sensor
measurement xf ,4 (k) and the remote estimation x̂4 (k) . . . . . . . . 31
Fig. 2.8 The average of the original x5 (k), smart sensor
measurement xf ,5 (k) and the remote estimation x̂5 (k) . . . . . . . . 31
Fig. 3.1 System blueprint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Fig. 3.2 Example of attack frequency and attack duration . . . . . . . . . . . . 36
Fig. 3.3 Responses of states x1 and x2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Fig. 3.4 Responses of state x1 and its estimation x̂1 under DoS
attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

xix
xx List of Figures

Fig. 3.5 Responses of state x2 and its estimation x̂2 under DoS
attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Fig. 3.6 DoS attack frequency and duration . . . . . . . . . . . . . . . . . . . . . . . 45
Fig. 3.7 Responses of states x1 , x2 and x3 . . . . . . . . . . . . . . . . . . . . . . . . . 53
Fig. 3.8 Iterative processes of the game values ϑ0.5 (θ1 ) and ϑ0.5 (θ2 ) . . . 54
Fig. 3.9 Evolution of the policies f (θ1 ) and g(θ1 ) . . . . . . . . . . . . . . . . . . 55
Fig. 3.10 Evolution of the policies f (θ2 ) and g(θ2 ) . . . . . . . . . . . . . . . . . . 55
Fig. 3.11 Trajectories of state x1 and its estimation x̂1 under DoS
attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Fig. 3.12 Trajectories of state x2 and its estimation x̂2 under DoS
attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Fig. 3.13 Trajectories of state x3 and its estimation x̂3 under DoS
attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Fig. 3.14 Trajectories of state x1 and its estimation x̂1 under DoS
attacks in Example 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
Fig. 3.15 Trajectories of state x2 and its estimation x̂2 under DoS
attacks in Example 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Fig. 3.16 Trajectories of state x3 and its estimation x̂3 under DoS
attacks in Example 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Fig. 4.1 The system blueprint. The definitions of the symbols
x(k), y(k), u(k) etc. are defined in the chapter . . . . . . . . . . . . . . 62
Fig. 4.2 Tracking performance comparisons under attacks
and without attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Fig. 4.3 Tracking errors under attacks and without attacks . . . . . . . . . . . 75
Fig. 4.4 The error of Qi − Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Fig. 4.5 The error of K̄i − K̄ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Fig. 4.6 The trajectories of the output y(k) and reference signal
r(k) in the learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
Fig. 4.7 The response of the added probing noise in the learning . . . . . . 77
Fig. 4.8 The learning times under different probability ᾱ. (“Error”
denotes Qi − Q .) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Fig. 4.9 Responses of the output signal y(k) and reference signal
r(k) under DoS attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Fig. 4.10 Response of K̄i − K̄ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Fig. 5.1 Responses of x1 , x2 and x3 for Case A in Example 1 . . . . . . . . . 101
Fig. 5.2 Response of x4 for Case A in Example 1 . . . . . . . . . . . . . . . . . . . 102
Fig. 5.3 Trajectory of input u for Case A in Example 1 . . . . . . . . . . . . . . 102
Fig. 5.4 Trajectories of θ̂1 , θ̂2 and θ̂3 for Case A in Example 1 . . . . . . . . 103
Fig. 5.5 Trajectories of x1 , x2 and x3 for Case B in Example 1 . . . . . . . . 103
Fig. 5.6 Trajectory of x4 for Case B in Example 1 . . . . . . . . . . . . . . . . . . 104
Fig. 5.7 Trajectory of input u for Case B in Example 1 . . . . . . . . . . . . . . 104
Fig. 5.8 Trajectories of θ̂1 , θ̂2 and θ̂3 for Case B in Example 1 . . . . . . . . 105
Fig. 5.9 One-link manipulator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
Fig. 5.10 Trajectories of x1 , x2 and x3 for Case A in Example 2 . . . . . . . . 107
Fig. 5.11 Trajectory of x4 for Case A in Example 2 . . . . . . . . . . . . . . . . . . 107
List of Figures xxi

Fig. 5.12 Trajectory of input u for Case A in Example 2 . . . . . . . . . . . . . . 108


Fig. 5.13 Trajectories of θ̂1 , θ̂2 and θ̂3 for Case A in Example 2 . . . . . . . . 108
Fig. 5.14 Trajectories of x1 , x2 and x3 for Case B in Example 2 . . . . . . . . 109
Fig. 5.15 Trajectory of x4 for Case B in Example 2 . . . . . . . . . . . . . . . . . . 109
Fig. 5.16 Trajectory of input u for Case B in Example 2 . . . . . . . . . . . . . . 110
Fig. 5.17 Trajectories of θ̂1 , θ̂2 and θ̂3 for Case B in Example 2 . . . . . . . . 110
Fig. 6.1 Blueprint of the distributed fuzzy filter to be designed
in the sensor network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
Fig. 6.2 Membership functions for the first fuzzy rule . . . . . . . . . . . . . . . 127
Fig. 6.3 Membership functions for the second fuzzy rule . . . . . . . . . . . . 128
Fig. 6.4 z(k) and its observations ẑp (k) when σ = 0.5 . . . . . . . . . . . . . . . 129
Fig. 6.5 Estimation errors ep (k) when σ = 0.5 . . . . . . . . . . . . . . . . . . . . . 130
Fig. 6.6 z(k) and its observations ẑp (k) when σ = 0.6 . . . . . . . . . . . . . . . 130
Fig. 6.7 Estimation errors ep (k) when σ = 0.6 . . . . . . . . . . . . . . . . . . . . . 131
Fig. 6.8 z(k) and its estimations ẑp (k) when σ = 0.7 . . . . . . . . . . . . . . . . 131
Fig. 6.9 Estimation errors ep (k) when σ = 0.7 . . . . . . . . . . . . . . . . . . . . . 132
Fig. 7.1 Diagram of secure estimation for CPSs . . . . . . . . . . . . . . . . . . . . 136
Fig. 7.2 Response of x1 − x̂1 with different attacked sensors . . . . . . . 152
Fig. 7.3 Response of x2 − x̂2 with different attacked sensors . . . . . . . 153
Fig. 7.4 Response of x3 − x̂3 with different attacked sensors . . . . . . . 153
Fig. 7.5 Response of x4 − x̂4 with different attacked sensors . . . . . . . 154
Fig. 7.6 Response of x5 − x̂5 with different attacked sensors . . . . . . . 154
Fig. 7.7 Response of x6 − x̂6 with different attacked sensors . . . . . . . 155
Fig. 7.8 Response of x7 − x̂7 with different attacked sensors . . . . . . . 155
Fig. 7.9 Response of states x1 , x2 and estimations x̂1 , x̂2 . . . . . . . . . . . . . 156
Fig. 7.10 Response of states x3 , x4 and estimations x̂3 , x̂4 . . . . . . . . . . . . . 156
Fig. 7.11 Response of states x5 , x6 and estimations x̂5 , x̂6 . . . . . . . . . . . . . 157
Fig. 7.12 Response of state x7 and estimation x̂7 . . . . . . . . . . . . . . . . . . . . 157
Fig. 7.13 Response of unknown input w and estimation ŵ . . . . . . . . . . . . 158
Fig. 7.14 Response of attacks and estimations . . . . . . . . . . . . . . . . . . . . . . 158
Fig. 7.15 Response of the function V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Fig. 8.1 System blueprint. Here, the attacker can monitor and read
the estimations, based on which it constructs the malicious
signal ua (k) and attempts to inject it into the computed
control signal uc (k). For the malicious attack uc (k),
the variable α(k) taking value in the set {0, 1} denotes
whether each attack is launched successfully or not.
α(k) = 1 implies a successful attack, otherwise α(k) = 0 . . . . 162
Fig. 8.2 The average of the state x1 (k) and the estimated state
x̂1 (k) of the filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Fig. 8.3 The average of the state x2 (k) and the estimated state
x̂2 (k) of the filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Fig. 8.4 The average of the state x3 (k) and the estimated state
x̂3 (k) of the filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
xxii List of Figures

Fig. 8.5 The average of the state x4 (k) and the estimated state
x̂4 (k) of the filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
Fig. 8.6 The response of the performance index J with α = 0.6 . . . . . . . 177
Fig. 8.7 The norm of the solution P with different attack probability . . . 177
Fig. 8.8 The errors of Kd ,i − Kd and Ka,i − Ka (i means
the learning times) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
Fig. 8.9 The error of H̄i − H̄ (i means the learning times) . . . . . . . . . 178
Fig. 9.1 System blueprint. Here, the “Switch” means
that if the residual signal generated by the detector is
greater than the predefined threshold, the alarm will be
triggered . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Fig. 9.2 The flow chart of defense control scheme. Here, MT is
short for moving target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
Fig. 9.3 Attack isolation using the parallel unknown input
observers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
Fig. 9.4 Setup of a three-tank system . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
Fig. 9.5 The moving target switching signal under the probabilities
pl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
Fig. 9.6 The levels of tank 1, tank 2 and tank 3 without attacks
using the optimal control gain K3 . . . . . . . . . . . . . . . . . . . . . . . . 205
Fig. 9.7 The levels of tank 1, tank 2 and tank 3 without attacks
using the moving target defense control scheme . . . . . . . . . . . . . 205
Fig. 9.8 Control costs respectively under the optimal control gain
K3 and moving target defense (MTD) control scheme . . . . . . . . 206
Fig. 9.9 The attack alarm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
Fig. 9.10 The estimates of attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
Fig. 9.11 Levels of tanks 1, 2, 3 when all actuator signals are
compromised using the control scheme . . . . . . . . . . . . . . . . . . . . 208
Fig. 9.12 Error evolutions of Kli − Kl∗ and Lil − L∗l . . . . . . . . . . . . . . 208
Fig. 9.13 Levels of tanks 1, 2, 3 when all actuator signals are
compromised using the reactive secure control scheme . . . . . . . 209
Fig. 9.14 The attack alarm in Case 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Fig. 9.15 Moving target switching signal in Case 2 . . . . . . . . . . . . . . . . . . 210
Fig. 9.16 Levels of tanks 1, 2 and 3 in Case 2 . . . . . . . . . . . . . . . . . . . . . . . 211
Fig. 9.17 Estimates of attack signals in Case 2 . . . . . . . . . . . . . . . . . . . . . . 211
Fig. 9.18 Levels of tanks 1, 2 and 3 using Algorithm 2 . . . . . . . . . . . . . . . 212
Fig. 9.19 The attack alarm using Algorithm 2 . . . . . . . . . . . . . . . . . . . . . . 212
Fig. 9.20 Estimates of attack signals using Algorithm 2 . . . . . . . . . . . . . . 213
Fig. 10.1 Trajectories of yd and y in Example 1 . . . . . . . . . . . . . . . . . . . . . 230
Fig. 10.2 Trajectories of x1 and x̂1 in Example 1 . . . . . . . . . . . . . . . . . . . . 231
Fig. 10.3 Trajectories of x2 and x̂2 in Example 1 . . . . . . . . . . . . . . . . . . . . 232
Fig. 10.4 Trajectories of x3 and x̂3 in Example 1 . . . . . . . . . . . . . . . . . . . . 233
Fig. 10.5 Trajectory of u1 and u2 in Example 1 . . . . . . . . . . . . . . . . . . . . . 234
Fig. 10.6 One-link manipulator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
Fig. 10.7 Trajectories of yd and y in Example 2 . . . . . . . . . . . . . . . . . . . . . 235
List of Figures xxiii

Fig. 10.8 State x1 and its estimation x̂1 in Example 2 . . . . . . . . . . . . . . . . . 235


Fig. 10.9 State x2 and its estimation x̂2 in Example 2 . . . . . . . . . . . . . . . . . 236
Fig. 10.10 State x3 and its estimation x̂3 in Example 2 . . . . . . . . . . . . . . . . . 236
Fig. 10.11 Trajectories of u1 and u2 in Example 2 . . . . . . . . . . . . . . . . . . . . 237
Fig. 10.12 Output signal y and its reference signal yd
without fault-tolerant control in Example 2 . . . . . . . . . . . . . . . . 237
Fig. 11.1 Control framework of CPSs under actuator false data
injection attacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
Fig. 11.2 Deep neural networks constructed for the “critic”
and “actor” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
Fig. 11.3 Offline training process of the proposed learning
algorithm. Here, the simulator module include the system
(11.4) and the reference model (11.3) . . . . . . . . . . . . . . . . . . . . . 246
Fig. 11.4 Euler angle responses of the reference model using a PD
controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
Fig. 11.5 Mean responses of Euler angles of the satellite system
using the learned controller under different initial
conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
Fig. 11.6 Mean responses of Euler angles of the satellite system
using a PD controller under different initial conditions . . . . . . . 257
Fig. 11.7 Mean responses of Euler angles of the satellite system
under random attacks using the learned controller
under different initial conditions . . . . . . . . . . . . . . . . . . . . . . . . . 257
Fig. 11.8 Mean responses of Euler angles of the satellite system
under attacks using a PD controller under different initial
conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
Fig. 11.9 Mean responses of Euler angles of the satellite system
under attacks using a learned controller under different
initial conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
Fig. 11.10 Mean responses of Euler angles of the satellite system
under attacks using a PD controller under different initial
conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
Fig. 11.11 Mean responses of Euler angles of the satellite system
under attacks using a learned controller under different
initial conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
Fig. 11.12 Mean responses of Euler angles of the satellite system
under attacks using a PD controller under different initial
conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
Fig. 11.13 Mean responses of states without attacks using a learned
controller under different initial conditions . . . . . . . . . . . . . . . . . 262
Fig. 11.14 Mean responses of states without attacks using a PD
controller under different initial conditions . . . . . . . . . . . . . . . . . 262
Fig. 11.15 Mean responses of states under attacks using a learned
controller under different initial conditions . . . . . . . . . . . . . . . . . 263
xxiv List of Figures

Fig. 11.16 Mean responses of states under attacks using a PD


controller under different initial conditions . . . . . . . . . . . . . . . . . 263
List of Tables

Table 2.1 Meanings of the parameters in the UAV . . . . . . . . . . . . . . . . . . . 27


Table 3.1 Action pairs for θ1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Table 3.2 Action pairs for θ2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Table 3.3 Transition probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Table 4.1 P under different ᾱ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Table 11.1 Hyperparameters for Example 11.13 . . . . . . . . . . . . . . . . . . . . . . 256
Table 11.2 Hyperparameters for Example 11.14 . . . . . . . . . . . . . . . . . . . . . . 261

xxv
Chapter 1
Introduction

CPSs, whose conceptual model is shown in Fig. 1.1 consist of the cyber realm and
the physical layer. The cyber realm is mainly utilized to be in charge of interactions
between the cyber world and the physical world, and the physical layer governs
the physical dynamics [13, 67, 71]. The increasing development of computer and
communication devices promotes the application of CPSs. The cyber realm ubiqui-
tously embeds such devices to process, exchange, and gather the information and
then directly interacts with the physical components. As promising engineered sys-
tems, CPSs have tremendous economic and societal impact and potential [70]. The
applications of CPSs can range from the military to the civil critical infrastructure,
and more. Antsaklis in [6] has scrutinized the relevant definition, applications, and
challenges of CPSs and pointed out that CPSs would transform the way that human
interacts with the physical environment.
In CPSs, the quality of the cyber realm can affect the performance of the physical
process and vice versa. It is noted that CPSs provide more access to the cyber world,
while adversaries also have the same opportunity to attack the cyber layer. Examples
of attack cases include the worm virus Stuxnet [38], attacking the Maroochy water
services in Australia [137], cutting cities power [42], etc. Specifically, the adversaries
intruded into the Siemens industrial control systems by a USB flash disk, causing
substantial damage to Iran’s nuclear program [38]. The Maroochy Shire Council’s
sewage control systems have been successfully attacked, which led to a flooding
with a million liters of sewage [137]. Some other attack incidents can refer to [14].
As can be seen from the cases mentioned above, malicious attacks can damage even
deteriorate the system performance, leading to economic loss or threading safety. It is
thus extremely urgent to dissuade CPSs from being intruded. Effective mechanisms
for CPSs security need to be designed.
Based on the computer and communication technologies, we can design secure
algorithms, for example, the encryption algorithm, prevent the cyber layer from being

© The Author(s), under exclusive license to Springer Nature Switzerland AG 2022 1


C. Wu et al., Security of Cyber-Physical Systems: State Estimation and Control,
Studies in Systems, Decision and Control 396,
https://doi.org/10.1007/978-3-030-88350-8_1
2 1 Introduction

Fig. 1.1 The conceptual


model of CPSs

intruded and preserve the CPSs security. It is noted that the potential adversaries can
acquire sufficient knowledge of their targeting systems by long-time monitoring.
They get illegal access to launching their attacks and realizing their objectives. Once
the cyber layer is successfully intruded, the security methods implemented on the
cyber layer is useless. The physical components will be exposed to the attacks. In
such a situation, it is important for the physical system to deal with attacks to maintain
system performance. For physical systems, attacks can be regarded as faults. How to
cope with these special faults and maintain the desired system performance becomes
a control problem. It is thus necessary to design an approach from the control-
theoretical perspective to protect the CPSs.

1.1 Current Research on Securing CPSs

Different kinds of cyber attacks can be executed to deteriorate the system performance
and realize the adversaries’ illegal objectives. The authors of [144] have discussed
different cyber attacks, for example, denial-of-service (DoS) attack, replay attack,
zero dynamics attack, bias injection attack. Such attacks are often classified into
two categories, namely, the DoS attack and the deception attack (a.k.a., fault data
injection attack). As to the security problem of CPSs under attacks, considerable
results can be found in the literature [35, 102, 116, 132, 182]. The main research
directions on CPSs under attacks are summarized in Fig. 1.2. Several survey papers
have reviewed the recent advances in these directions, see, for example, [27, 62, 98,
133]. In what follows, we will give a concise review of the existing results.
1.1 Current Research on Securing CPSs 3

Resea rch on CPS under


Attacks

Detection of Attacks DoS Attacks Deception Attacks

Weighted
χ2 based Model ing Securi ng Model ing Securi ng
least
Kal man DoS control deception estimation
square
filter attacks approaches attacks approaches
approaches

Quasi fault detection


Attack scheme Securi ng control
and isolation
approaches
techniques

Fig. 1.2 Review diagram of research on CPSs under attacks

1.1.1 Advances in Detecting Attacks

In CPSs, it is full of great importance to design an effective attack detection scheme.


There mainly exist three kinds of detectors in literature, such as the weighted least
square approach [57], Kalman filter based χ2 detector [99] and the quasi fault detec-
tion and isolation technique.
The weighted least square approach can distinguish bad data from measurements.
By comparing the constructed measurement residual with a predefined threshold,
the attack can be timely detected when it occurs. Such an approach is often adopted
to detect attacks in power systems [57] and smart grid [94]. However, if attacks
are designed elegantly using system dynamics, such a detection approach can fail
to work. Instead of computing the weighted least square, the characteristic of filter
residual is analyzed in a Kalman filter based χ2 detector. If the residual distribution
violates the predefined threshold, the χ2 detector reports an alarm. In [102], the
χ2 detector has been equipped with the system to detect stealthy attacks, and the
performance degradation resulting from attacks has been quantified. The authors of
[8] extended the χ2 detector to be able to detect individual compromised sensors. As
an alternative technique without using the Kalman filter, the quasi fault and detection
technique is widely adopted in networked control systems. By monitoring the system,
it can identify the occurrence of faults and locate them. Such an approach also attracts
much attention in CPSs. For example, the authors of [116] described CPSs under
attacks as a descriptor system, and both centralized and distributed monitors have
been designed to identify attacks. Using a geometric approach, a fault detector has
been designed for power networks in [110].
4 1 Introduction

1.1.2 Advances in Securing CPSs Under DoS Attacks

DoS attacks are often used to occupy the communication resources to prohibit
the transmission of sensing/control signals. The adversaries can deploy them with
many alternative techniques. For instance, it can send superfluous requests to flood
the targeted communication network to attempt to prevent all legitimate requests
from being fulfilled. In existing results, there exist mainly five categories of mod-
els describing DoS attacks, namely, the Bernoulli distribution [136], Markov chain
[9], a signal-to-interference-plus-noise ratio based communication model [123], the
periodic model [184] and the attack frequency and the attack duration approach [21].
For the Bernoulli model, and the Markovian model, they require an attacker to fol-
low a probabilistic packet drop model, but it is hard to justify the incentive. Thus,
the attack frequency and attack duration time model is proposed. In such a model,
no assumption is made regarding the DoS attack underlying strategy. It considers a
general attack model that only constrains the attacker’s action in time by posing lim-
itations on the frequency of DoS attacks and their duration. This makes it possible to
capture many different types of DoS attacks, including trivial, periodic, random and
protocol-aware jamming attacks. As to the SINR-based model, it is different from the
models mentioned above. It can address the interaction between the attacker and the
system defender. In a periodic model, DoS attacks are assumed to occur periodically
in a given time interval. Based on these DoS attack models, researchers have paid
considerable attention to the secure control and the optimal DoS attack scheme.
As shown in Fig. 1.3, adversaries can launch DoS attacks by intruding into the
communication links. Under DoS attacks, data packet dropout occurs, degrading the
system performance. Describing attacks as a Markovian model, the authors of [104]
proposed an LQG control scheme against DoS attacks, and an upper bound on the
attack probability has been derived, beyond which the stability of CPSs cannot be
guaranteed. Based on the attack frequency and the attack duration approach initially
proposed in [21], several interesting results have been reported, for example, the
secure control using the robust design approach [36], secure control under multiple
communication-link attacks [95], a sliding mode control using a switching approach

Actuator Physical Plant Sensor

Communication DoS attacks Communication


links links

Controller

Fig. 1.3 Diagram of secure control under DoS attacks


1.1 Current Research on Securing CPSs 5

[155]. In addition, the event-triggered scheme has been widely designed to reduce the
communication burden, and save limited computing resource in CPSs [31, 39, 117].
Researchers have applied the event-triggered scheme to secure consensus control for
multi-agent systems [37, 160], and power systems [54, 118]. To understand the way
that adversaries attack CPSs, the authors of [122, 171, 174] proposed optimal DoS
attack scheduling to ultimately degrade the system performance from the adversary’s
perspective. In these results, the linear quadratic cost function has been introduced,
and the relation between the attack sequence and the control performance has been
revealed. Using such a relation and optimal theory, the optimal attack sequence can
be designed and the attack energy allocation problem has been also solved. Different
from the above results, both the defender and the adversary are considered in a unified
framework by introducing the game-theoretical approach, and plenty of novel results
have been published, see, for example, [34, 168, 173, 173, 178, 179, 183].

1.1.3 Advances in Securing CPSs Under Deception Attacks

As to deception attacks (a.k.a., false data injection attacks), they are executed to
deteriorate the integrity of transmitted data. These attacks can be designed to pass
the attack detection scheme and affect the system performance [4, 114, 153, 162].
The well-known example of such attacks is the Stuxnet, which tapers the code in
PLCs, causing a deviation from the required behaviors [38]. Several papers have been
published to show the design and detection of such attacks [7, 115, 175]. In CPSs,
deception attacks are injected into the sensing data and the control signal. Under
attacks, they are described as ũ(k) = u(k) + u a (k), ỹ(k) = y(k) + ya (k). The attack
under both single communication link and multiple communication links have been
addressed in literature [52, 84]. Such attacks are common in power systems, and it can
refer to [92] for more discussion on modeling such attacks. Based on these attack
models, considerable results concerning the secure estimation and secure control
have been published.
The secure estimation problem of CPSs under deception attacks has been a hot
topic in CPSs. Figure 1.4 shows the blueprint of secure estimation under deception
attacks. In this figure, we only give the case which uses multiple communication chan-
nels. As shown in Fig. 1.4, the estimator is often designed as a filter or an observer.
By using the optimal theory and linear system theory, the secure estimation scheme
can be designed [44, 103, 116]. For example, the authors of [100] designed a Kalman
filter to estimate the states under bias injection attacks, and a χ2 -based detector has
been adopted to detect the anomalies. In [101], a Kalman filter based secure algorithm
has been designed for stochastic physical plants. The secure estimation performance
was characterized by the upper bound on the number of attacked sensors. Consid-
ering sparse attacks, the authors of [35] derived the upper bound on the number of
attacked sensors, beyond which the secure estimation problem cannot be solved.
Based on the above work, an adaptive observer has been designed in [5]. Regarding
false data injection attacks as unknown input, an unknown input interval observer
6 1 Introduction

Channel 1

Attacker
Channel 2

Physical Plant Smart Sensor . Estimator


.
.

Channel n

Fig. 1.4 Diagram of secure estimation under deception attacks

has been designed for smart grids in [154]. Using such an observer, the attacks can
be effectively detected and isolated. Other interesting results can be found in [24,
72, 93, 162] and the references therein.
There exist considerable results about the secure control against deception attacks
in literature. Figure 1.5 depicts the blueprint of secure control for CPSs under decep-
tion attacks. For the blueprint of secure control equipped with an attack detector, it can
refer to [103]. By adopting the linear quadratic control, sliding mode control, fuzzy
control, and adaptive control techniques, secure control schemes can be designed
to maintain system performance. Specifically, the authors of [26] discussed how to
design a secure control scheme using the quadratic cost criterion. Using the linear
quadratic Gaussian control, a two-stage secure control algorithm has been proposed
in [18], in which the worst-case damage that the adversary can cause by introduc-
ing false data was limited. To improve the robustness of the control scheme, sliding
mode controllers have been designed for CPSs under false data injection attacks in
[12, 79]. In [56], both the sensor and actuator attacks have been considered, and
an adaptive fuzzy controller has been designed to preserve the security of CPSs.
In [80], the consensus control problem for multi-agents under false data injection
attacks has been studied. As to the investigation on smart grids under false data injec-
tion attacks, [106] reviewed the recent results. It is noted that the results mentioned

Actuator Physical Plant Sensor

Communication Communication
False data injection attacks
links links

Controller

Fig. 1.5 Diagram of secure control under deception attacks


1.1 Current Research on Securing CPSs 7

above are designed by the defender’s perspective. The dynamics of adversaries is not
considered in the design process. To take both sides into a unified framework, the
game-theoretical approach is adopted. The attacker and the defender are modeled as
players in a game, and then secure schemes are proposed [85, 91, 129, 177].

1.2 Publication Contribution

From the automation control perspective, some state-of-the-art results concerning


on secure schemes for CPSs under malicious attacks are given in this monograph,
the main contents of which includes 4 parts. First, in this chapter introduces the
background and reviews advances of CPSs. Second, Chaps. 2, 3, 4, 5 and 6 address
the secure problems of CPSs under DoS attacks. From the defender side, Chap.
2 presents the optimal DoS attack sequence design using limited attack energies.
Using the zero game theory, sliding mode control and switching system theory, an
active defense based secure sliding mode controller is given in Chap. 3, in which the
zero sum game approach is used to establish an active defense scheme in the cyber
layer, guaranteeing that the used DoS attack model is feasible. Chapter 4 presents the
learning based secure optimal tracking control algorithm to get rid of the dependence
of exact system knowledge when designing the control algorithm. Chapters 5 and
6 investigates the problems of adaptive fuzzy control and fuzzy filter design when
data packet dropouts occur. Third, The secure problems of CPSs under false data
injection attacks are studied in Chaps. 7, 8, 9, 10 and 11. In Chap. 7, a secure
estimation algorithm is given for CPSs in the presence of sparse false data injection
attacks. Chapter 8 proposes a zero-sum game based secure optimal control scheme,
in which both the adversary and the defender (controller) are modeled in a unified
frame, and the relation between the system performance and the attack probability is
discussed. Chapter 9 gives a different secure control algorithm. In such an algorithm,
the moving target defense technique is introduced to decrease the advantages that
the adversary has over the defender. Chapters 10 and 11 consider the reliable/secure
control problems when the physical dynamics are described by nonlinear models
respectively. Finally, Chap. 12 draws conclusions of this monograph and gives the
future work.
Compared with existing results, the main contributions of this book can be sum-
marised as follows:
1. The relation between the system performance and the attack probability/the num-
ber of attacked sensor nodes are revealed. We have derived the critical value of the
attack probability/the number of attacked sensor nodes, beyond which the system
performance cannot be preserved.
2. The moving target defense technique is introduced to design a proactive secure
control algorithm, into which the attack detection and isolation schemes are inte-
grated. Using such an algorithm, the advantages that the adversary has over the
defender are effectively decreased. To deal with a special situation that the moving
8 1 Introduction

target defense mechanism fails, the zero-sum game based reinforcement learning
secure controller is designed to guarantee that the system performance can be still
preserved.
3. A novel Lyapunov-based soft actor-critic secure control algorithm is proposed
by using the deep reinforcement learning approach. Such an algorithm only uses
data to train the deep neural networks, which are utilized to approximate the value
function and the policy. More importantly, the stability of the physical system
using the learned policy is proved, which is a great progress.
This publication is a timely reflection of the developing new area of secure esti-
mation and control for CPSs under malicious attacks. It is a collection of latest
research results and therefore serves as a useful textbook for senior and/or gradu-
ate students who are interested in knowing recent advances in optimal DoS attack
sequence design, secure estimation and control, learning based secure control, and
proactive defense scheme design problems. It can also be used as a practical research
reference for engineers dealing with securing CPSs.
Generally, this is an advanced publication aimed at 3rd/4th-year undergraduates,
postgraduates and academic researchers. Prerequisite knowledge includes optimal
control, linear algebra, game theory, and reinforcement learning. Expected readers
include (1) control engineers working on secure schemes design for CPSs; (2) system
engineers working on secure control and CPSs; (3) postgraduate students majoring
in control engineering, computer science and cyber security.

1.3 Publication Outline

The general layout of presentation of this monograph includes two parts, which
investigate secure problems of CPSs under DoS attacks and false data injection
attacks, respectively. The main contents of this monograph are shown in Fig. 1.6.
This chapter presents the research background, recent results, motivations and
research problems, which involve the attack detection, the secure estimation and
control under DoS attacks, the secure estimation and control under false data
injection attacks and optimal attack scheme design. The outline of this monograph
is given in the end of this chapter.

Part One focuses on the secure analysis and design for CPSs in the presence
of DoS attacks. It begins with Chap. 2 and consists of 5 chapters as follows.

Chapter 2 investigates the optimal DoS attack scheduling and the energy allo-
cation problems for CPSs with multiple communication channels. In the attack
process, the adversary is assumed to have limited resources (i.e., the adversary
cannot attack the communication channel all the time nor can he/she attack all
the channels simultaneously). The attacker’s objective is to maximize the terminal
1.3 Publication Outline 9

Security of Cyber-Physical Systems: State Estimation and Control

Secure Problems under DoS Attacks Secure Problems under False Data Injection Attacks

Chapter 2: Optimal DoS Attack Scheduling for CPSs Chapter 7 : Secure Estimation for CPS via Sliding Mode

Chapter 3 : Active Defense Control for CPSs via Sliding


Chapter 8 : Zero-Sum Game Based Optimal Secure Control
Mode

Chapter 4 : Learning Tracking Control for CPS Chapter 9 : Proactive Secure Control for CPSs

Chapter 5 : I n t e l l i g e n t Control for Nonlinear Networked Chapter 10 : Fault-Tolerant Tracking Control for Nonlinear
Control Systems Nonstrict-Feedback Systems

Chapter 11 : DRL Control Approach to Mitigating Actuator


Chapter 6 : Reliable Filtering of Sensor Networks
Attacks

Fig. 1.6 Main contents of this publication

estimation errors of the remote estimator. To realize the attack objective, the prob-
lem of how to attack which of the multiple communication channels is solved.
This chapter proposes an algorithm to determine how many consecutive attacks
and which channels should be attacked. Based on the proposed optimal attack
sequence, the optimal closed-form solution of how to allocate the limited attack
energy is derived. Finally, simulation results are given to demonstrate the effec-
tiveness of the proposed optimal attack scheme and energy dispatch approach.

Chapter 3 investigates the problem of the resilient control for CPSs in the presence
of malicious sensor DoS attacks, which result in the loss of state information.
The concepts of DoS frequency and DoS duration are introduced to describe
the DoS attacks. According to the attack situation, that is, whether the attack
is successfully implemented or not, the original physical system is rewritten as a
switched version. A resilient sliding mode control scheme is designed to guarantee
that the physical process is exponentially stable, which is a foundation of the main
results. Then, a zero-sum game is employed to establish an effective mixed defense
mechanism. Furthermore, a defense-based resilient sliding mode control scheme
is proposed and the desired control performance is achieved. Compared with the
existing results, the differences mainly lie in two aspects, that is, one is that a
switched model is obtained, based on which the average dwell-time like approach
is utilized to derive the resilient control scheme, and the other is to employ the
zero-sum game to make the attacks satisfy the concepts of DoS frequency and DoS
10 1 Introduction

duration. Finally, simulation results are given to demonstrate the effectiveness of


the proposed resilient control approach.

Chapter 4 investigates the problem of optimal tracking control for CPSs when the
cyber realm is attacked by DoS attacks which can prevent the control signal trans-
mitting to the actuator. Attention is focused on how to design the optimal tracking
control scheme without using the system dynamics and analyze the impact of
DoS attacks on tracking performance. First, a Riccati equation for the augmented
system including the system model and the reference model is derived under the
framework of dynamic programming. The existence and uniqueness of its solu-
tion are proved. Second, the impact of the successful DoS attack probability on
tracking performance is analyzed. A critical value of the probability is given,
beyond which the solution to the Riccati equation cannot converge. The track-
ing controller cannot be designed. Third, reinforcement learning is introduced to
design the optimal tracking control schemes, in which the system dynamics are
not necessary to be known. Finally, both a dc motor and an F16 aircraft are used
to evaluate the proposed control schemes in this chapter.

Chapter 5 studies the problem of adaptive fuzzy control for a category of SISO
nonlinear networked control systems with network-induced delay and data loss
based on adaptive backstepping control approach. Fuzzy logic systems are used to
approximate the unknown nonlinear characteristics existing in the system, while
Pade approximation is introduced to handle network-induced delay. Data loss
occurs intermittently and stochastically in the data transmitting process, which is
regarded as the delay in the controller design. In the framework of adaptive fuzzy
backstepping technique, a novel state-feedback adaptive controller is constructed
to ensure all signals in the resulting closed-loop system to be bounded and the
state variables can be regulated to the origin. Finally, two examples are given to
show the validity of the proposed results.

Chapter 6 studies the problem of reliable filter problem for a category of sensor
networks in the framework of IT2 fuzzy model. In the filter design, the random
link failures, which are caused possibly by missing measurements as well as
by probabilistic communication failures, are considered to illustrate more realis-
tic dynamical behaviors of sensor networks. In order to tackle the uncertainties
existing in systems, IT2 fuzzy approach is utilised to establish the model, wherein
upper and lower membership functions together with weighting coefficients are
employed to express the uncertainties. An distributed IT2 fuzzy filter model is
constructed to estimate system states. Using the Lyapunov theory, sufficient con-
ditions have been given to ensure that the filtering error system is mean-square
asymptotically stable and satisfies the predefined average H∞ performance level.
Moreover, the criteria to design the filter parameters are developed through using
cone complementary linearization approach. Finally, a practical example is given
to validate the proposed method.
1.3 Publication Outline 11

Part Two is concerned with the secure analysis and design for CPSs under
false data injection attacks. It begins with Chap. 7 and consists of 5 chapters
as follows.

Chapter 7 is concerned with the problem of secure state reconstruction for CPSs.
CPSs are more vulnerable to the cyber world, yet to attackers, who can attack any
sensor of the considered systems and modify values of attacked sensors to be arbi-
trary ones. In the design process, both malicious attacks on sensors and unknown
input are taken into consideration. Firstly, a linear discrete-time state space model
is utilized to describe such systems, and then a sparse vector is adopted to model
attacks. By collecting sensor measurements and using an iterative approach, a new
model in descriptor form is obtained, which paves the way for estimating system
states under unknown input situation. Secondly, the problem of secure state esti-
mation is transformed into an optimal version. A novel sliding mode observer
is proposed to estimate system states from collected sensor measurements cor-
rupted by malicious attacks. In order to guarantee the estimations to be sparse, a
projection operator is designed. Thirdly, a projected sliding mode observer-based
estimation algorithm is developed to reconstruct system states, where an event-
triggered scheme is integrated to save limited computational resource. In addition
to proposing such an algorithm, the effectiveness of both projection operator and
sliding mode observer is analyzed. Furthermore, the convergence of the proposed
secure estimation algorithm is proved. Finally, some simulation results are given
to demonstrate the effectiveness of the proposed algorithm.

Chapter 8 investigates the zero-sum game based secure control problem for CPSs
under the actuator false data injection attacks. The physical process is described
as a linear time-invariant discrete-time model. Both the process noise and the
measurement noise are addressed in the design process. An optimal Kalman filter
is given to estimate the system states. The adversary and the defender are mod-
eled as two players. Under the zero-sum game framework, an optimal infinite-
horizon quadratic cost function is defined. Employing the dynamic programming
approach, the optimal defending policy and the attack policy are derived. The
convergence of the cost function is proved. Moreover, the critical attack proba-
bility is derived, beyond which the cost cannot be bounded. Finally, simulation
results are provided to validate the proposed secure scheme.

Chapter 9 investigates the secure control problem for cyber-physical systems


when the malicious data is injected into the cyber realm which is directly connect-
ing to the actuators. Based on moving target defense and reinforcement learning,
we propose a novel proactive and reactive defense control scheme. First, the sys-
tem (A, B) is modeled as a switching system consisting of several controllable
pairs (A, Bl ) to facilitate the construction of the moving target defense control
scheme. The controllable pairs (A, Bl ) can be altered to stabilize the system
under certain unpredictable switching probabilities for each subsystem, which
can prevent the adversaries from effective attacks. Second, both attack detection
12 1 Introduction

and isolation schemes are designed to accurately locate and exclude the com-
promised actuators from a switching sequence. Third, a reinforcement learning
algorithm based on the zero-sum game theory is proposed to design the defense
control scheme when there exist no controllable subsystems to switch. To demon-
strate the effectiveness of the defense control scheme, a three-tank system under
unknown cyber attacks is illustrated.

Chapter 10 studies an output-based adaptive fault-tolerant control problem for


nonlinear systems with nonstrict-feedback form. Neural networks are utilized to
identify the unknown nonlinear characteristics in the system. An observer and a
general fault model are constructed to estimate the unavailable states and describe
the fault, respectively. Adaptive parameters are constructed to overcome the diffi-
culties in the design process for nonstrict-feedback systems. Meanwhile, dynamic
surface control technique is introduced to avoid the problem of “explosion of
complexity”. Furthermore, based on adaptive backstepping control method, an
output-based adaptive neural tracking control strategy is developed for the con-
sidered system against actuator fault, which can ensure that all the signals in the
resulting closed-loop system are bounded, and the system output signal can be
regulated to follow the response of the given reference signal with a small error.
Finally, simulation results are provided to validate the effectiveness of the control
strategy proposed in this chapter.

Chapter 11 investigates the deep reinforcement learning based secure control


problem for CPSs under false data injection attacks. We describe the CPSs under
attacks as an MDP, based on which the secure controller design for CPSs under
attacks is formulated as an action policy learning using data. Rendering the soft
actor-critic learning algorithm, a Lyapunov-based soft actor-critic learning algo-
rithm is proposed to offline train a secure policy for CPSs under attacks. Different
from the existing results, not only the convergence of the learning algorithm but
the stability of the system using the learned policy is proved, which is quite impor-
tant for safety and stability-critical applications. Finally, a satellite attitude control
system is used to show the effectiveness of the proposed scheme, and comparisons
between the proposed learning algorithm and the classical PD controller are also
provided to demonstrate the advantages of the control algorithm designed in this
chapter.

Chapter 12 draws conclusions on the book, and points out some possible research
directions related to the work done in this book.
Part I
Secure Estimation and Control for CPSs
Under DoS Attacks
Chapter 2
Optimal DoS Attack Scheduling for CPSs

2.1 Introduction

This chapter investigates the problem of how to design an optimal DoS attack
sequence to deteriorate the performance of the remote estimator from the attacker’s
perspective. For the system setup, the system designer utilizes multiple communi-
cation channels to transmit data to the remote estimator. In this way, the reliability
of the cyber layer can be improved [28]. The adversary attempts to attack these
channels. Due to the limited energies, the adversary cannot attack the cyber layer
all the time [171]. Besides, not all communication channels can be hijacked at any
given. We assume that the number of channels allowed to be attacked is no greater
than m (m means the total number of channels that can be attacked with limited
resources) [75]. To clearly show the interaction between the system designer and the
attacker, a signal-to-interference-plus-noise ratio (SINR) based model is introduced
to describe the communication channels [83]. The main contributions of this chapter
are as follows:
1. Under the limitation of attack power, this chapter designs an optimal DoS attack
scheme to maximize the terminal estimation error. Compared with the results
in [75], this chapter solves the problem of how to make a tradeoff between the
number of attacked channels and attack times when the adversary destroys the
estimation performance.
2. This chapter provides a brute-force searching algorithm to exactly determine how
to select an optimal attack sequence among the 2m choices.
3. This chapter gives a closed-form solution to allocate the limited attack power.
Although some methods have been proposed to allocate the power among multiple
channels, as opposed to the single channel case considered in [75, 172] and
references therein.

© The Author(s), under exclusive license to Springer Nature Switzerland AG 2022 15


C. Wu et al., Security of Cyber-Physical Systems: State Estimation and Control,
Studies in Systems, Decision and Control 396,
https://doi.org/10.1007/978-3-030-88350-8_2
16 2 Optimal DoS Attack Scheduling for CPSs

Fig. 2.1 System blueprint. Here, x̂ f,i (k) means the i-th element of x̂ f (k)

2.2 System Formulation and Preliminaries

Figure 2.1 describes the system set-up, where the smart sensor is utilized to compute
the system states and transmit them to the remote estimator by multiple communi-
cation channels. This section first describes how to model the physical process and
depict communication channels. And then, formulate the problem to be addressed in
the chapter.

2.2.1 Physical Process Description

The physical process is described as the following discrete-time model [28, 171]

x(k + 1) = Ax(k) + ω(k)


y(k) = C x(k) + υ(k) (2.1)

where x(k) ∈ Rn x is the state vector, y(k) ∈ Rn y denotes the measurement output.
ω(k) ∈ Rn x and υ(k) ∈ Rn y respectively mean the unrelated zero mean Gaussian
white noises. The corresponding covariances are Q ω and Q υ . The initial state x(0)
is zero mean Gaussian with the covariance P(0). A is the system matrix and C is the
output matrix. (A, C) and (A, Q υ ) are detectable.
A smart sensor equipped with Kalman filter is used to estimate the states. Define
ȳ(k) = [y(1), y(2), . . . , y(k)] as all the measurement collections up to time k. The
following equations are defined

x̂ f (k) = E {x(k)| ȳ(k)} , e(k) = x(k) − x̂ f (k)


 
P(k) = E e(k)e (k)| ȳ(k)
2.2 System Formulation and Preliminaries 17

The Kalman filter is designed as follows:



x̂ f (k + 1) = E x̂ f (k + 1)|k + H (k + 1)
  
× y(k + 1) − C x̂ f (k + 1)|k | ȳ(k)
 
P(k + 1) = E e(k + 1)e (k + 1)| ȳ(k)
= P(k + 1)|k − H (k + 1)CP(k + 1)|k (2.2)

where

x̂ f (k + 1)|k = A x̂ f (k)
P(k + 1)|k = AP(k)A + Q ω
 −1
H (k + 1) = P(k + 1)|k C  CP(k + 1)|k C  + Q υ

and H (k) is the filter gain, P(k)|k means the estimation error covariance matrix. As
the Riccati equation of the Kalman filter has a unique solution P̄, we assume that the
filter is in a steady state, that is, the covariance matrix P(k)|k = P̄ when k ∈ [1, ∞)
[83]. For the filter in (2.2), the initial condition is set as x̂(0) = 0.

2.2.2 SINR-Based Communication Model

Similar to the results in [83, 172], an SINR-based communication model is introduced


to address the interaction between the system operator and the adversary in this
section. The relationship between the symbol error rate R S E R and signal to noise
ratio R S N R is described as [83]
  ∞ 2
1 −ξ
RSER = 2Q( ϕRSNR ), Q(β) = √ e 2 dξ (2.3)
2π β

where ϕ > 0 is a design parameter.


Considering the DoS attacks, R S N R can be rewritten as

s (k)
RS I N R =
a (k) + ς 2

where s (k) and a (k) mean the power which is dispatched to the system operator
and the attacker at time k. ς 2 is the additive white Gaussian noise power.
The smart sensors send estimations x̂ f (k) to the remote estimator by the cyber
realm with multiple channels. Define Sa as the set of successful attacked chan-
nel indices and Sa ⊂ {1, 2, . . . , n x }. Define θ̃(k) = diag{θ̃1 (k), θ̃2 (k), . . . , θ̃n x (k)}.
Denote θ̃i (k) as the indicator variable to show whether the estimation is successfully
transmitted or not. The expression is as follows
18 2 Optimal DoS Attack Scheduling for CPSs

1, i ∈
/ Sa
θ̃i (k) =
0, i ∈ Sa

In this chapter, we claim that the number of attacked channels is not greater than
m, that is, θ̃(k)0 ≥ n x − m. According to the above discussion, the successful
attack probability can be obtained as
L
ϕs (k)
α = P(θ̃i (k) = 0) = 2Q (2.4)
a (k) + ς 2

where L means the length the of the transmitted data.


Remark 2.1 This chapter considers the situation where multiple transmission chan-
nels are utilized to exchange data. Each of them can be attacked. The corresponding
successful attack probability is defined in (2.4), which indicates that all channels are
in the same successful attack probability. If each channel has its successful attack
probability, there exist numerous situations to attack channels. In the analysis, we
cannot determine which one is the best situation for attackers, which brings diffi-
culties to allocate the limited attack power. In future work, the machine learning
techniques can be adopted to investigate such a problem.

2.3 Remote Estimator Design

For the remote estimator, it has knowledge of the variable θ̃(k). It can determine
which channels are successfully attacked. Define x̂(k) as the minimum square-mean
estimation of the remote estimator and P(k) as the corresponding error covariance
matrix. x̂(k) = E{x(k)|θ̃(k)}, P(k) = E{(x(k) − x̂(k))(x(k) − x̂(k)) |θ̃(k)}.
The remote estimator is constructed as

x̂(k) = θ̃(k)x̂ f (k) + (I − θ̃(k))(A x̂(k − 1)) (2.5)

To clarify the definition of the covariance matrix P(k), a diagonal matrix is defined
as Γ = diag{Γ1 , Γ2 , . . . , Γn x }, where Γi = 1 if θ̃i (k) = 0, otherwise Γi = 0.
By direct computing, the error covariance matrix P(k) of estimations computed
by the remote estimator can be derived as

Γ P̄ + P̄Γ − Γ P̄Γ, if  Γ 0 = n x
P(k) =
F (P(k − 1)), otherwise

where F (P(k − 1)) = Γ f (P(k − 1)) + f (P(k − 1))Γ − Γ f (P(k − 1))Γ and
f (P(k − 1)) = A P(k − 1)A + Q ω .
It is noted that the function f l (P̄) possesses the property mentioned in the fol-
lowing lemma whose proof is omitted for want of space; see [75].
2.3 Remote Estimator Design 19

Lemma 2.2 For the given positive integers l1 and l2 , if l1 ≤ l2 , the inequality
f l1 (P̄) ≤ f l2 (P̄) holds
In addition to the average error, the terminal error is also an important performance
index. Define the performance index J = T r (E{PT (k)}) with E{PT (k)} being the
expected terminal error covariance matrix. The problem of interest in this chapter is
to maximize the index J with constrained attack power.

max T r (E{PT (k)})


T
s.t. Γ 0 ≤ m, θ̃i (k) ≤ N
k=1
m N a ≤ ,
¯ lower ≤ a ≤ upper

where N is the attack times.

Remark 2.3 To maximize the performance J , the adversary can launch DoS attacks
at the last consecutive time, as observed in [172]. However, in [172], it is assumed
that all data is transmitted using a single channel. New problems occur in the case of
multiple channels, for example, the adversary needs to determine which channels to
be attacked to maximize the impact on system performance. One goal of the chapter is
to address the tradeoff between the attack times and the number of attacked channels.

2.4 Attack Sequence Design and Energy Allocation

This section gives the main results of this chapter, including how to design the attack
sequence and dispatch the limited attack power. First, how to determine the attack
sequence is discussed.
If all channels can be attacked at each time, i.e., Γ = I , the following lemma
provides an optimal attack scheme to maximize the trace of the expected terminal
error covariance matrix.
Lemma 2.4 ([172]) If the following N consecutive attacks are successfully launched
⎛ ⎞
⎝0, . . . , 0, 1, . . . , 1⎠
  
N times

then the corresponding performance index J can be maximized. The expression is


described as
 N −1 
 i  i
J = Tr E α −αi+1
f (P̄) + α f (P̄)
N N

i=0
20 2 Optimal DoS Attack Scheduling for CPSs

Based on the results in [172], the following proposition is given to determine the
attack sequence under multiple communication channels
Proposition 2.5 If the consecutive DoS attack sequence under multiple communi-
cation channels is designed as
⎛ ⎞
⎜ ⎟
θ̃∗ = ⎝0n x , . . . , 0n x , Γ, . . . , Γ ⎠
     
T −N times N times

the problem of interest in this chapter can be solved. The corresponding J can be
described as
N −1
 i 
J = Tr α − αi+1 F i (P̄) + α N F N (P̄)
i=0
N −1
 i 
= Tr α − αi+1 Γ f i (P̄) + α N Γ f N (P̄) (2.6)
i=0

where F i (P̄) = Γ f i (P̄) + f i (P̄)Γ − Γ f i (P̄)Γ .

Proof The proof can be directly derived and it is omitted here.

According to (2.6), it is clear that if Γ 0 and N become larger, J can become


larger. Then, we can determine  that m channels should be attacked. Based on
Proposition 2.5, there exist nmx choices to attack the communication channels, that
 
is, Γ has nmx different forms. Using such a proposition, we cannot determine which
channels should be attacked. To specifically design the attack sequence, Algorithm
1 is proposed.

Algorithm 1
1: Input α, N and m
2: Compute n̄ = nmx , define different Γ as Γ1 , Γ2 , . . . , Γn̄ and the corresponding attack sequences
are described as θ̃1∗ , θ̃2∗ , . . . , θ̃n̄∗ .
3: Submitting α, N , m and θ̃1∗ into (2.6) yields J and let θ̃∗ = θ̃1∗ .
4: for j = 2 : n̄ do
5: Submitting α, N , m and θ̃∗j into (2.6) yields J j
6: if J j > J then
7: J = J j and θ̃∗ = θ̃∗j
8: end if
9: j = j + 1,
10: end for
11: Output θ̃∗
2.4 Attack Sequence Design and Energy Allocation 21

The attack sequence can be determined by Proposition 2.5 and Algorithm 1.


Next, we will investigate how to allocate the limited energy and give the closed-form
solution.
Define Pm,N = {α| / ¯ ˜a (α) = N , ˜a (α)/a (α) = m} as the data loss prob-
ability related to N consecutive attacks on m channels, where ˜a (α) is the power
dispatched to each time.
Based on the defined data loss probability set Pm,N , the following proposition is
given to show the relation between the probability α and the performance J .
Proposition 2.6 For the data dropout probabilities α1 and α2 , which are in the set
Pm,N and satisfy α1 < α2 , the attack scheme in Proposition 2.5 is optimal for α1
and α2 . Furthermore, the following inequality holds Jα1 < Jα2 , where Jα1 and Jα2
respectively mean the traces of the covariance matrix under the probabilities α1 and
α2 .
Proof According to (2.6), we can obtain that

Jα = T r (E{PT (k)})
N −1
 i 
= Tr α − αi+1 Γ f i (P̄) + α N Γ f N (P̄)
i=0
N
= Tr αi Γ F i (P̄) + Γ P̄
i=1

where F i (P̄) = f i (P̄) − f i−1 (P̄) and F 0 (P̄) =Γ P̄. 


N  i 
Then, we can directly derive Jα1 − Jα2 = T r i=1 α1 − α2 Γ F (P̄) . Since
i i

α1 < α2 , it is directly checked that Jα1 − Jα2 < 0 holds, which indicates Jα1 < Jα2 .
The proof is completed.
For the fixed attack sequence, Proposition 2.6 indicates that if the probability α
becomes larger (i.e., more power is allocated to the attacker), the performance of
the remote estimator will be worse. The following proposition shows the relation
between the probability α and different attack sequences.
Proposition 2.7 Define N̄ = /
¯ ˜ , m̄ = /
˜ lower (m̄ < n x ) and assume α ∈
Pm,N , β ∈ Pm+1,N +1 and N ≤ N̄ − 1. For the normal matrix A, if the following
inequality holds

1 ᾱ − α
1 ≤ λi ≤ 1− (2.7)
ᾱ α N̄

then the trace of the expected terminal error covariance matrix satisfies Jα ≤ Jβ ,
where λi (i ∈ Sa ) means the i eigenvalue of the matrix A A , Jα and Jβ are
the expected performance indexes under the corresponding probabilities α and β,
respectively.
22 2 Optimal DoS Attack Scheduling for CPSs

Proof Let the diagonal matrices Γα and Γβ describe the attacked nodes respectively.
According to the proof in Proposition 2.6, we can obtain

N
Jα = T r αi Γα F i (P̄) + Γα P̄
i=1
N +1
Jβ = T r β i Γβ F i (P̄) + Γβ P̄
i=1

Then the following inequality can be directly derived

N
Jα − Jβ = T r (αi Γα F i (P̄) − β i Γβ F i (P̄))
i=1
 
−T r β N +1 Γβ F N +1 (P̄)
 
−T r (Γβ − Γα )P̄

Since Γβ 0 > Γα 0 ,1 the above equation can be scaled as

N
Jα − Jβ < T r (αi − β i )Γβ F i (P̄)
i=1
N +1

−β Γβ F N +1 (P̄) (2.8)
N N +1
If i=1 (α − β )Γβ F (P̄) − β
i i i
Γβ F N +1 (P̄) ≤ 0 holds, Jα ≤ Jβ can be
obtained. According to Lemma 2.2, we know that F i (P̄) ≥ 0 holds. Following the
approach in [172], Jα ≤ Jβ holds provided that the following inequality holds
   2  N
ᾱ − α Γβ − β N +1 Γβ − αΓβ A A Γβ A A ≤ 0

which equals to
 
ᾱ − α − β N +1 (1 − αλi )2 λiN ≤ 0 (2.9)

Combining the condition λi ≥ 1, we know that (1 − αλi )2 ≥ (β N +1) is a sufficient


ᾱ−α

condition for (2.9). Furthermore, the condition λi ≤ ᾱ1 (1 − ᾱ−α
α N̄
) implies Jα ≤ Jβ .
The proof is then completed.
According to the above results, the following theorem is proposed to obtain the
closed-form solution to allocate the limited energy.


1Here, SΓα SΓβ = SΓα . SΓα and SΓβ respectively means the nonzero element index sets of Γα
and Γβ . Without such a restriction, the proof cannot be completed.
2.4 Attack Sequence Design and Energy Allocation 23

Theorem 2.8 Define N̄ = / ¯ ˜ , m̄ = /


˜ lower (m̄ < n x ). If the inequality (2.7)
holds, the optimal attack energy allocation scheme is

a = arg max{a | /
¯ ˜ = N̄ , /
˜ a = m̄}
a∗ = min{a , upper } (2.10)

and the trace of the expected terminal covariance matrix can be described as
⎛ ⎞
N̄ −1
 ∗i 
J = Tr ⎝ α − α∗i+1 Γ ∗ f i (P̄) + α∗ N̄ Γ ∗ f N̄ (P̄)⎠ (2.11)
i=0

where α∗ can be computed by the allocated power a∗ . Γ ∗ can be determined by


Algorithm 1.
Proof Proposition 2.6 shows that more attack power can lead to worse estimation
performance. Proposition 2.7 indicates that the adversary should attempt to launch
attacks as many as possible and the channels should be also attacked as many as
possible. Therefore, the optimal attack power can be allocated as (2.10). Based on
Proposition 2.5, we know that the attack sequence should consist of the last N
consecutive attacks. In such a case, the trace of the expected terminal error covariance
matrix of the remote estimator can be described as (2.11). The proof is completed.
Although Theorem 2.8 provides the closed-form solution to allocating the optimal
attack power, how to exactly determine N̄ and m̄ is not given. To this end, combin-
ing the constraints m̄ N̄ ≤ /
¯ lower , Algorithm 1 and Theorem 2.8, Algorithm 2 is
proposed to determine the optimal attack sequence and energy allocation method.

Algorithm 2
1: Set Jmax = 0
2: for m = 1 : length(Sa ) do
3: Compute N = ¯ /lower /m
4: Compute a∗ using Theorem 2.8
5: Based on the SIRN-based model, compute the successful attack probability α∗
6: Determine the optimal attack sequence θ̃∗ with Algorithm 1
7: Compute J using Theorem 2.8
8: if J > Jmax then
9: Jmax = J , N̄ = N and m̄ = m
10: end if
11: m =m+1
12: end for
13: Output Jmax , N̄ and m̄

Obviously, there exist some constraints  in Algorithm 2. The system matrix A


should be normal and the condition SΓα SΓβ = SΓα should be satisfied in the proof.
Additionally, if N̄ is sufficient large, it seems impossible to meet such a condition
Another random document with
no related content on Scribd:
terre, ceux-là la tête appuyée sur leur main. Ils dorment, et le comte
aurait pu en tuer un grand nombre ; pourtant il ne tira pas Durandal.
Le généreux Roland a le cœur si grand, qu’il dédaigne de frapper
des gens qui dorment. Il parcourt ces lieux en tous sens, cherchant à
retrouver les traces de sa dame. A chacun de ceux qu’il rencontre
éveillés, il dépeint, en soupirant, ses vêtements et sa tournure, et les
prie de lui apprendre, par courtoisie, de quel côté elle est allée.
Puis, quand vint le jour clair et brillant, il chercha dans toute
l’armée mauresque ; et il pouvait le faire en toute sécurité, vêtu qu’il
était de l’habit arabe. Il était en outre servi en cette occasion par sa
connaissance des langues autres que la langue française ; il parlait
en particulier la langue africaine de façon à faire croire qu’il était né à
Tripoli et qu’il y avait été élevé.
Il chercha par tout le camp, où il demeura trois jours sans plus de
résultat. Puis il parcourut non seulement les cités et les bourgs de
France et de son territoire, mais jusqu’à la moindre bourgade
d’Auvergne et de Gascogne. Il chercha partout, de la Provence à la
Bretagne, et de la Picardie aux frontières d’Espagne.
Ce fut entre la fin d’octobre et le commencement de novembre,
dans la saison où les arbres voient tomber leur robe feuillue jusqu’à
ce que leurs branches restent entièrement nues, et où les oiseaux
vont par bandes nombreuses, que Roland entreprit son amoureuse
recherche. Et de tout l’hiver il ne l’abandonna point, non plus qu’au
retour de la saison nouvelle.
Passant un jour, selon qu’il en avait coutume, d’un pays dans un
autre, il arriva sur les bords d’un fleuve qui sépare les Normands des
Bretons [52] , et va se jeter dans la mer voisine. Ce fleuve était alors
tout débordé et couvert d’écume blanche par la fonte des neiges et
la pluie des montagnes, et l’impétuosité des eaux avait rompu et
emporté le pont, de sorte qu’on ne pouvait plus passer.
Le paladin cherche des yeux d’un côté et d’autre le long des
rives, pour voir, puisqu’il n’est ni poisson ni oiseau, comment il
pourra mettre le pied sur l’autre bord. Et voici qu’il voit venir à lui un
bateau, à la poupe duquel une damoiselle est assise. Il lui fait signe
de venir à lui, mais elle ne laisse point arriver la barque jusqu’à terre.
Elle ne touche point terre de la proue, car elle craint qu’on ne
monte contre son gré dans la barque. Roland la prie de le prendre
avec elle et de le déposer de l’autre côté du fleuve. Et elle à lui : «
— Aucun chevalier ne passe par ici, sans avoir donné sa foi de
livrer, à ma requête, la bataille la plus juste et la plus honorable qui
soit au monde.
« C’est pourquoi, si vous avez le désir, chevalier, de porter vos
pas sur l’autre rive, promettez-moi que vous irez, avant la fin du mois
prochain, vous joindre au roi d’Irlande qui rassemble une grande
armée pour détruire l’île d’Ébude, la plus barbare de toutes celles
que la mer entoure.
« Vous devez savoir que par delà l’Irlande, et parmi beaucoup
d’autres, est située une île nommée Ébude, dont les sauvages
habitants, pour satisfaire à leur loi, pillent les environs, enlevant
toutes les femmes qu’ils peuvent saisir, et qu’ils destinent à servir de
proie à un animal vorace qui vient chaque jour sur leur rivage, où il
trouve toujours une nouvelle dame ou damoiselle dont il se nourrit.
« Les marchands et les corsaires qui croisent dans ces parages,
leur en livrent en quantité, et surtout les plus belles. Vous pouvez
compter, à une par jour, combien ont déjà péri de dames et de
damoiselles. Mais, si la pitié trouve en vous asile, si vous n’êtes pas
entièrement rebelle à l’amour, ayez pour agréable de faire partie de
ceux qui vont combattre pour une si juste cause. — »
Roland attend à peine d’avoir tout entendu, et, en homme qui ne
peut souffrir un acte inique et barbare, ni en entendre parler sans
que cela lui pèse, il jure d’être le premier à cette entreprise. Quelque
chose lui fait penser, lui fait craindre, que ces gens ne se soient
emparés d’Angélique, puisqu’il l’a cherchée par tant d’endroits sans
pouvoir retrouver sa trace.
Cette pensée le trouble et lui fait abandonner son premier projet.
Il se décide à s’embarquer le plus vite possible pour cette île inique.
Avant que le soleil ne se soit plongé dans la mer, il trouve près de
Saint-Malo un navire sur lequel il monte ; puis, ayant fait déployer les
voiles, il dépasse le Mont-Saint-Michel pendant la nuit.
Il laisse Saint-Brieuc et Landriglier [53] à main gauche, et s’en va
côtoyant les grandes falaises bretonnes. Puis, il se dirige droit sur
les côtes blanches d’où l’Angleterre a pris le nom d’Albion. Mais le
vent, qui était d’abord au midi, vient à manquer, et se met à souffler
du ponant et du nord avec une telle force, qu’il faut abaisser toutes
les voiles et tourner la poupe.
Tout le chemin qu’avait fait le navire en quatre jours, on le refait
en arrière en un seul. L’habile pilote tient la haute mer et n’approche
pas de terre, où son bâtiment se briserait comme un verre fragile. Le
vent, après avoir soufflé en fureur pendant quatre jours, s’apaisa le
cinquième et laissa le navire entrer paisiblement dans l’embouchure
du fleuve d’Anvers.
Dès que le pilote, harassé de fatigue, eut fait entrer dans cette
embouchure son vaisseau maltraité par la tempête, il longea une
contrée qui s’étendait à droite du fleuve ; on vit aussitôt descendre
sur la rive un vieillard d’un grand âge, ainsi que semblait l’indiquer sa
chevelure blanche. D’un air tout à fait courtois, après avoir salué tout
le monde, il se retourna vers le comte, qu’il jugea être le chef,
Et le pria, de la part d’une damoiselle, de venir au plus tôt lui
parler, ajoutant qu’elle était belle, et plus douce et plus affable que
toute autre au monde ; et que s’il préférait l’attendre, elle viendrait le
trouver sur son navire, car elle mettait le plus grand empressement à
s’aboucher avec tous les chevaliers errants qui passaient par là ;
Qu’aucun chevalier, venu par terre ou par mer dans
l’embouchure du fleuve, n’avait refusé de s’entretenir avec la
damoiselle et de la conseiller dans sa cruelle position. En entendant
cela, Roland s’élance sans retard sur la rive, et comme il était
humain et rempli de courtoisie, il va où le vieillard le mène.
Une fois à terre, le paladin fut conduit dans un palais, au haut de
l’escalier duquel il trouva une dame en grand deuil, autant que
l’indiquaient son visage et les tentures noires dont toutes les
chambres et les salles étaient tendues. Après un accueil plein de
grâce et de déférence, la dame le fit asseoir et lui dit d’une voix
triste :
« — Je veux que vous sachiez que je suis la fille du comte de
Hollande. Bien que je ne fusse pas son seul enfant, et que j’eusse
deux frères, je lui étais si chère, qu’à tout ce que je lui demandais,
jamais il ne me répondit par un refus. Je vivais heureuse en cet état,
lorsqu’arriva sur nos terres un jeune duc.
« Il était duc de Zélande et s’en allait vers la Biscaye, guerroyer
contre les Maures. La jeunesse et la beauté qui fleurissaient en lui
m’inspirèrent un profond amour, et il eut peu de peine à me captiver.
Je croyais et je crois, et je pense ne point me tromper, qu’il m’aimait
et qu’il m’aime encore d’un cœur sincère.
« Pendant les jours qu’il fut retenu chez nous par les vents
contraires — contraires aux autres, mais à moi propices, car s’ils
furent au nombre de quarante pour tout le monde, ils me parurent à
moi durer un moment, tant à s’enfuir ils eurent les ailes promptes —
nous eûmes ensemble de nombreux entretiens, où nous nous
promîmes de nous unir solennellement en mariage, aussitôt qu’il
serait de retour.
« A peine Birène nous eut-il quittés — c’est le nom de mon fidèle
amant — que le roi de Frise, pays qui est séparé du nôtre par la
largeur du fleuve, désirant me faire épouser son fils unique nommé
Arbant, envoya en Hollande les plus dignes seigneurs de son
royaume, pour me demander à mon père.
« Moi, qui ne pouvais pas manquer à la foi promise à mon amant,
et qui n’aurais pas voulu y manquer, quand même Amour me l’eût
permis, pour déjouer tous ces projets menés si vivement, et pressée
de donner une réponse, je dis à mon père que, plutôt que prendre
un mari en Frise, j’aimerais mieux être mise à mort.
« Mon bon père, dont le seul plaisir était de faire ce qui me
plaisait, ne voulut pas me tourmenter plus longtemps, et pour me
consoler et faire cesser les pleurs que je répandais, il rompit la
négociation. Le superbe roi de Frise en conçut tant d’irritation et de
colère, qu’il entra en Hollande, et commença la guerre qui devait
mettre en terre tous ceux de mon sang.
« Outre qu’il est si fort et si vigoureux que bien peu l’égalent de
nos jours, il est si astucieux dans le mal, que la puissance, le
courage et l’intelligence ne peuvent rien contre lui. Il possède une
arme que les anciens n’ont jamais vue, et que, parmi les modernes,
lui seul connaît. C’est un tube de fer, long de deux brasses, dans
lequel il met de la poudre et une balle.
« Dès qu’avec le feu il touche un petit soupirail qui se trouve à
l’arrière de cette canne et qui se voit à peine — comme le médecin
qui effleure la veine qu’il veut alléger — la balle est chassée avec le
fracas du tonnerre et de l’éclair, et comme fait la foudre à l’endroit où
elle a passé, elle brûle, abat, déchire et fracasse tout ce qu’elle
touche.
« A l’aide de cette arme perfide, il mit deux fois notre armée en
déroute, et occit mes frères. A la première rencontre, il tua le premier
en lui mettant la balle au beau milieu du cœur, après avoir traversé
le haubert ; dans le second combat, l’autre, qui fuyait, reçut la mort
par une balle qui le frappa de loin entre les épaules et qui ressortit
par la poitrine.
« Quelques jours après, mon père qui se défendait dans le
dernier château qui lui restait, car il avait perdu tous les autres, fut
tué d’un coup semblable ; pendant qu’il allait et venait, veillant à ceci
et à cela, il fut frappé entre les deux yeux par le traître qui l’avait visé
de loin.
« Mes frères et mon père morts, je restai l’unique héritière de l’île
de Hollande. Le roi de Frise, qui avait l’intention bien arrêtée de
prendre pied sur cet État, me fit savoir, ainsi qu’à mon peuple, qu’il
m’accorderait la paix, si je voulais encore — ce que j’avais refusé
auparavant — prendre pour mari son fils Arbant.
« Moi, tant à cause de la haine que j’avais conçue pour lui et pour
toute sa race infâme qui avait tué mes deux frères et mon père, et
qui m’avait vaincue et dépouillée, que parce que je ne voulais pas
manquer à la promesse que j’avais faite à Birène de ne pas en
épouser un autre jusqu’à ce qu’il fût revenu d’Espagne,
« Je répondis que j’aimerais mieux souffrir mille maux, être mise
à mort, brûlée vive et que ma cendre fût jetée au vent, avant de
consentir à faire cela. Mes sujets essayèrent de me détourner de
cette résolution ; ils me prièrent ; ils me menacèrent de me livrer, moi
et mes domaines, plutôt que de se laisser opprimer à cause de mon
obstination.
« Aussi, voyant que leurs protestations et leurs prières étaient
vaines, et que je persistais dans mon refus, ils entrèrent en accord
avec le Frison et, comme ils l’avaient dit, ils me livrèrent à lui, moi et
ma ville. Le roi de Frise, sans me faire subir aucun mauvais
traitement, m’assura qu’il me conserverait la vie, si je voulais
consentir à ses anciens projets et devenir la femme de son fils
Arbant.
« Me voyant ainsi forcée, je voulus, pour m’échapper de leurs
mains, perdre la vie ; mais mourir sans me venger m’eût semblé plus
douloureux que tous les maux que j’avais déjà soufferts. Après avoir
beaucoup réfléchi, je compris que la dissimulation pouvait seule
servir ma vengeance. Je feignis de désirer que le roi me pardonnât
et fît de moi sa belle-fille.
« Parmi tous ceux qui avaient été jadis au service de mon père,
je choisis deux frères doués d’une grande intelligence et d’un grand
courage. Ils étaient encore plus fidèles, ayant grandi à la cour et
ayant été élevés avec nous dès leur première jeunesse. Ils m’étaient
si dévoués, que leur vie leur paraissait peu de chose pour me
sauver.
« Je leur fis part de mon dessein, et ils me promirent de m’aider.
L’un d’eux alla en Flandre pour y appareiller un navire ; l’autre resta
en Hollande avec moi. Or, pendant que les étrangers et les habitants
du royaume se préparaient à célébrer mes noces, on apprit que
Birène avait levé une armée en Biscaye, pour venir en Hollande.
« Après la première bataille, où un de mes frères fut tué, j’avais
en effet envoyé un messager en Biscaye, pour en porter la triste
nouvelle à Birène. Pendant que ce dernier était occupé à lever une
armée, le roi de Frise conquit le reste de la Hollande. Birène, qui ne
savait rien de tout cela, avait mis à la voile pour venir à notre
secours.
« Le roi frison, avisé de ce fait, laisse à son fils le soin de
continuer les préparatifs des noces, et prend la mer avec toute son
armée. Il rencontre le duc, le défait, brûle et détruit sa flotte, et —
ainsi le veut la Fortune — le fait prisonnier. Mais la nouvelle de ces
événements ne parvint pas encore jusqu’à nous. Pendant ce temps,
le jeune prince m’épousa et voulut coucher avec moi, dès le soleil
disparu.
« J’avais fait cacher, derrière les rideaux du lit, mon fidèle
serviteur, qui ne bougea pas avant d’avoir vu mon époux venir à moi.
Mais à peine celui-ci fut-il couché, qu’il leva une hache et lui porta un
coup si vigoureux derrière la tête, qu’il lui ôta la parole et la vie. Moi,
je sautai vivement à bas du lit et je lui coupai la gorge.
« Comme tombe le bœuf sous la masse, ainsi tomba le misérable
jeune homme. Et cela fut un juste châtiment pour le roi Cymosque,
plus que tout autre félon — l’impitoyable roi de Frise est ainsi
nommé — qui m’avait tué mes deux frères et mon père ; et qui, pour
mieux se rendre maître de mes États, me voulait pour bru, et
m’aurait peut-être un jour tuée aussi.
« Avant que l’éveil soit donné, je prends ce que j’ai de plus
précieux et de moins lourd ; mon compagnon me descend en toute
hâte, par une corde suspendue à la fenêtre, vers la mer où son frère
attendait sur le navire qu’il avait acheté en Flandre. Nous livrons les
voiles au vent, nous battons l’eau avec les rames, et nous nous
sauvons tous, comme il plaît à Dieu.
« Je ne sais si le roi de Frise fut plus affligé de la mort de son fils,
qu’enflammé de colère contre moi, lorsque, le jour suivant, il apprit à
son retour combien il avait été outragé. Il s’en revenait, lui et son
armée, orgueilleux de sa victoire et de la prise de Birène. Et croyant
accourir à des noces et à une fête, il trouva tout le monde dans un
deuil sombre et funeste.
« La douleur de la mort de son fils, la haine qu’il a contre moi, ne
le laissent en repos ni jour ni nuit. Mais, comme les pleurs ne
ressuscitent pas les morts, et que la vengeance seule assouvit la
haine, il veut employer le temps qu’il devait passer dans les soupirs
et dans les larmes, à chercher comment il pourra me prendre et me
punir.
« Tous ceux qu’il savait, ou qu’on lui avait dit être mes amis ou
m’avoir aidée dans mon entreprise, il les fit mettre à mort, et leurs
domaines furent brûlés et ravagés. Il voulut aussi tuer Birène,
pensant que je ne pourrais pas ressentir de plus grande douleur.
Mais il pensa qu’en le gardant en vie il aurait en main le filet qu’il
fallait pour me prendre.
« Toutefois il lui impose une cruelle et dure condition : il lui
accorde une année, à la fin de laquelle il lui infligera une mort
obscure, si, par la force ou par la ruse, Birène, avec l’aide de ses
amis et de ses parents, par tous les moyens qu’il pourra, ne me livre
à lui prisonnière. Ainsi sa seule voie de salut est ma mort.
« Tout ce qu’on peut faire pour le sauver, hors me perdre moi-
même, je l’ai fait. J’avais six châteaux en Flandre ; je les ai vendus ;
et le prix, petit ou grand, que j’en ai retiré, je l’ai employé partie à
tenter, par l’intermédiaire de personnes adroites, de corrompre ses
gardiens, partie à soulever contre ce barbare, tantôt les Anglais,
tantôt les Allemands.
« Mes émissaires, soit qu’ils n’aient rien pu, soit qu’ils n’aient pas
rempli leur devoir, m’ont fait de belles promesses et ne m’ont point
aidée. Ils me méprisent, maintenant qu’ils m’ont soutiré de l’or. Et le
terme fatal approche, après lequel ni force ni trésor ne pourront
arriver à temps pour arracher mon cher époux à une mort terrible.
« Mon père et mes frères sont morts à cause de lui ; c’est à
cause de lui que mon royaume m’a été enlevé ; pour lui, pour le tirer
de prison, j’ai sacrifié les quelques biens qui me restaient, et qui
étaient ma seule ressource pour vivre. Il ne me reste plus
maintenant qu’à aller me livrer moi-même aux mains d’un si cruel
ennemi, afin de le délivrer.
« Si donc il ne me reste plus autre chose à faire, et si je n’ai plus
d’autre moyen pour le sauver que d’aller offrir ma vie pour lui, offrir
ma vie pour lui me sera cher encore. Mais une seule crainte
m’arrête : sais-je si je pourrai conclure avec le tyran un pacte assez
solide pour qu’une fois qu’il m’aura en son pouvoir, il ne me trompe
pas ?
« Je crains, quand il me tiendra en cage, et qu’il m’aura fait subir
tous les tourments, qu’il ne laisse point pour cela aller Birène, afin de
m’ôter la satisfaction de l’avoir délivré. Je périrai, mais sa rage ne
sera pas satisfaite s’il me fait périr seule, et, quelque vengeance qu’il
ait tirée de moi, il n’en fera pas moins ce qu’il voudra du malheureux
Birène.
« Or, la raison qui me porte à conférer avec vous au sujet de mes
malheurs, et qui fait que je les expose à tous les seigneurs et à tous
les chevaliers qui passent près de nous, est simplement pour que
quelqu’un me donne l’assurance qu’après que je me serai livrée à
mon cruel persécuteur, il ne retiendra pas Birène prisonnier. Je ne
veux pas, moi morte, qu’il soit ensuite mis à mort.
« J’ai prié chaque guerrier que j’ai vu, de m’accompagner quand
j’irai me remettre entre les mains du roi de Frise. Mais auparavant
j’ai exigé qu’il me promît, qu’il me donnât sa foi de faire exécuter
l’échange, de façon que, moi livrée, Birène sera à l’instant mis en
liberté. De la sorte, quand je serai conduite au supplice, je mourrai
contente, certaine que ma mort aura donné la vie à mon époux.
« Jusqu’à ce jour, je n’ai trouvé personne qui veuille m’assurer
sur sa foi qu’une fois que je serai au pouvoir du roi, celui-ci remettra
Birène en échange, et que je ne me serai pas livrée en vain,
tellement chacun redoute cette arme, cette arme contre laquelle il
n’est pas, dit-on, de cuirasse qui puisse résister, si épaisse qu’elle
soit.
« Mais si chez vous le courage répond à la fière prestance et à
l’aspect herculéen, si vous croyez pouvoir m’arracher à Cymosque
dans le cas où il manquerait à sa promesse, consentez à
m’accompagner lorsque j’irai me remettre en ses mains. Si vous
êtes avec moi, je ne craindrai plus qu’une fois que je serai morte,
mon seigneur meure aussi. — »
Ici la damoiselle termina son récit qu’elle avait interrompu
souvent par ses larmes et ses soupirs. Dès qu’elle eut fermé la
bouche, Roland, qui n’hésita jamais à faire le bien, ne se répandit
pas en vaines paroles, car, de sa nature, il n’en abusait pas. Mais il
lui promit et lui donna sa foi qu’il ferait plus qu’elle ne lui avait
demandé.
Son intention n’est pas qu’elle aille se remettre aux mains de son
ennemi pour sauver Birène. Il les sauvera bien tous deux, si son
épée et sa valeur habituelle ne lui font point défaut. Le jour même, ils
se mettent en route, profitant du vent doux et favorable. Le paladin
presse le départ, car il désirait se rendre ensuite le plus tôt possible
à l’île du monstre.
L’habile pilote dirige sa voile d’un côté et d’autre, à travers les
étangs profonds ; il longe successivement toutes les îles de la
Zélande, découvrant l’une à mesure qu’on dépasse l’autre. Le
troisième jour, Roland descend en Hollande ; mais il ne laisse pas
venir avec lui celle qui est en guerre avec le roi de Frise ; Roland
veut qu’elle apprenne la mort de ce tyran avant de descendre.
Couvert de ses armes, le paladin s’avance le long du rivage,
monté sur un coursier au pelage gris et noir, nourri en Flandre et né
en Danemark, et fort et robuste encore plus que rapide. Car, avant
de s’embarquer, il avait laissé en Bretagne son destrier, ce Bride-
d’Or si beau et si vaillant, qui n’avait pas d’égal, si ce n’est Bayard.
Roland arrive à Dordrecht, et là il trouve la porte gardée par une
nombreuse troupe de gens en armes, ainsi qu’on fait toujours pour
maintenir une ville suspecte, et surtout quand elle est nouvellement
conquise. On venait du reste de recevoir la nouvelle qu’un cousin du
prisonnier accourait de Zélande avec une flotte et une armée.
Roland prie un des gardes d’aller dire au roi qu’un chevalier
errant désire se mesurer avec lui à la lance et à l’épée ; mais qu’il
veut qu’entre eux un pacte soit auparavant conclu : si le roi renverse
celui qui l’a défié, on lui livrera la dame qui a tué Arbant, car le
chevalier la tient à sa disposition dans un endroit peu éloigné, de
manière à pouvoir la lui livrer.
En revanche, il veut que le roi promette, s’il est vaincu dans le
combat, de mettre immédiatement Birène en liberté et de le laisser
aller où il voudra. Le soldat remplit en toute hâte son ambassade,
mais le roi, qui ne connut jamais ni courage ni courtoisie, songe
aussitôt à employer la fraude, la tromperie et la trahison.
Il pense qu’en s’emparant du chevalier, il aura par-dessus le
marché la dame qui l’a si fort outragé, si elle est véritablement à sa
disposition et si le soldat a bien entendu. Par divers sentiers
aboutissant à d’autres portes que celle où il était attendu, il fait sortir
trente hommes, qui, après un long détour et en se cachant, vont
s’embusquer derrière le paladin.
En attendant, le traître fait engager des pourparlers, jusqu’à ce
qu’il ait vu les cavaliers et les fantassins arrivés à l’endroit où il veut.
Ensuite, il sort lui-même par la porte à la tête d’un nombre égal de
soldats. Comme le chasseur expérimenté a coutume de cerner les
bois de tous côtés, ou comme, près du Volana [54] , le pêcheur
entoure les poissons d’un long filet,
De même, le roi de Frise prend ses mesures pour que le
chevalier ne puisse fuir par aucun côté. Il veut le prendre vivant et
non d’une autre façon. Et il croit le faire si facilement, qu’il n’apporte
pas avec lui cette foudre terrestre, avec laquelle il fait de si
nombreuses victimes, car ici elle ne lui semble pas nécessaire,
puisqu’il veut faire un prisonnier et non donner la mort.
Comme le rusé oiseleur, qui conserve vivants les premiers
oiseaux pris, afin d’en attirer par leur jeu et par l’appeau une plus
grande quantité, ainsi voulait faire en cette circonstance le roi
Cymosque. Mais Roland n’était pas un de ces oiseaux qui se
laissent prendre du premier coup, et il eut bien vite rompu le cercle
qu’on avait fait autour de lui.
Le chevalier d’Anglante abaisse sa lance et se précipite au plus
épais de la troupe. Il en transperce un, puis un autre, et un autre, et
un autre, tellement qu’ils semblent être de pâte ; à la fin il en enfile
six, et il les tient tous embrochés à sa lance ; et comme elle ne peut
plus en contenir, il laisse retomber le septième, mais si grièvement
blessé qu’il meurt du coup.
Non autrement, on voit, le long des fossés et des canaux, les
grenouilles frappées aux flancs et à l’échine par l’habile archer,
jusqu’à ce que d’un côté et de l’autre sa flèche soit toute pleine et
qu’on ne puisse plus en mettre. La lance de Roland se rompt sous le
poids, et il se jette avec son épée au milieu de la bataille.
Sa lance rompue, il saisit son épée, celle qui jamais ne fut tirée
en vain. Et à chaque coup, de la taille ou de la pointe, il extermine
tantôt un fantassin, tantôt un cavalier. Partout où il touche, il teint en
rouge, l’azur, le vert, le blanc, le noir, le jaune. Cimosque se lamente
de n’avoir pas avec lui la canne et le feu, alors qu’ils lui seraient le
plus utiles.
Et avec de grands cris et de grandes menaces, il ordonne qu’on
les lui apporte ; mais on l’écoute peu, car quiconque a pu se sauver
dans la ville, n’a plus l’audace d’en sortir. Le roi Frison qui voit fuir
tous ses gens, prend le parti de se sauver, lui aussi. Il court à la
porte et veut faire lever le pont, mais le comte le suit de trop près.
Le roi tourne les épaules et laisse Roland maître du pont et des
deux portes. Il fuit et gagne tous les autres en vitesse, grâce à ce
que son coursier court plus vite. Roland ne prend pas garde à la vile
plèbe ; il veut mettre à mort le félon et non les autres. Mais son
destrier ne court pas assez vite pour atteindre celui qui fuit comme
s’il avait des ailes.
Par une voie, ou par une autre, Cimosque se met bien vite hors
de vue du paladin. Mais il ne tarde pas à revenir avec des armes
nouvelles. Il s’est fait apporter le tube de fer creux et le feu, et tapi
dans un coin, il attend son ennemi comme le chasseur à l’affût, avec
son épieu et ses chiens, attend le sanglier féroce qui descend
détruisant tout sur son passage,
Brisant les branches et faisant rouler les rochers. Partout où se
heurte son front terrible, il semble que l’orgueilleuse forêt croule
sous la rumeur, et que la montagne s’entr’ouvre. Cimosque se tient
à son poste, afin que l’audacieux comte ne passe pas sans lui payer
tribut. Aussitôt qu’il l’aperçoit, il touche avec le feu le soupirail du
tube, et soudain celui-ci éclate.
En arrière, il étincelle comme l’éclair ; par devant, il gronde et
lance le tonnerre dans les airs. Les murs tremblent, le terrain frémit
sous les pieds. Le ciel retentit de l’effroyable son. Le trait ardent, qui
abat et tue tout ce qu’il rencontre et n’épargne personne, siffle et
grince. Mais, comme l’aurait voulu ce misérable assassin, il ne va
pas frapper le but.
Soit précipitation, soit que son trop vif désir de tuer le baron lui ait
fait mal viser ; soit que son cœur tremblant comme la feuille ait fait
trembler aussi son bras et sa main ; soit enfin que la bonté divine
n’ait pas voulu que son fidèle champion fût si tôt abattu, le coup vint
frapper le ventre du destrier et l’étendit par terre, d’où il ne se releva
plus jamais.
Le cheval et le cavalier tombent à terre, le premier lourdement, le
second en la touchant à peine, car il se relève si adroitement et si
légèrement, que sa force et son haleine en semblent accrues.
Comme Antée, le Libyen, qui se relevait plus vigoureux après avoir
touché le sol, tel se relève Roland, et sa force paraît avoir doublé en
touchant la terre.
Que celui qui a vu tomber du ciel le feu que Jupiter lance avec un
bruit si horrible, et qui l’a vu pénétrer dans un lieu où sont renfermés
le soufre et le salpêtre, alors que le ciel et la terre semblent en feu,
que les murs éclatent et que les marbres pesants et les rochers
volent jusqu’aux étoiles,
Se représente le paladin après qu’il se fut relevé de terre. Il se
redresse avec un air si terrible, si effrayant et si horrible à la fois,
qu’il aurait fait trembler Mars dans les cieux. Le roi frison, saisi
d’épouvante, tourne bride en arrière pour fuir. Mais Roland l’atteint
plus vite qu’une flèche n’est chassée de l’arc.
Et ce qu’il n’avait pas pu faire auparavant à cheval, il le fera à
pied. Il le suit si rapidement, que celui qui ne l’a pas vu ne voudrait
point le croire. Il le rejoint après un court chemin ; il lève l’épée au-
dessus du casque et lui assène un tel coup, qu’il lui fend la tête
jusqu’au col, et l’envoie rendre à terre le dernier soupir.
Soudain voici que de l’intérieur de la cité s’élève une nouvelle
rumeur, un nouveau bruit d’armes. C’est le cousin de Birène, qui, à
la tête des gens qu’il avait amenés de son pays, voyant la porte
grande ouverte, a pénétré jusqu’au cœur de la ville encore sous le
coup de l’épouvante où l’avait plongée le paladin, et qui la parcourt
sans trouver de résistance.
La population fuit en déroute, sans s’informer de ce que sont ces
nouveaux venus, ni de ce qu’ils veulent. Mais, quand on s’est aperçu
à leurs vêtements et à leur langage que ce sont des Zélandais, on
demande la paix et on arbore le drapeau blanc, et l’on informe celui
qui les commande qu’on veut l’aider contre les Frisons qui retiennent
son duc prisonnier.
Car la population avait toujours été hostile au roi de Frise et à
ses compagnons, non seulement parce qu’il avait fait périr leur
ancien seigneur, mais surtout parce qu’il était injuste, impitoyable et
rapace. Roland s’interpose en ami entre les deux partis, et rétablit la
paix entre eux. Les deux troupes réunies ne laissèrent pas un Frison
sans le tuer ou le faire prisonnier.
On jette à terre les portes des prisons, sans prendre la peine de
chercher les clefs. Birène fait voir au comte, par ses paroles de
gratitude, qu’il connaît quelle obligation il lui a. Puis, ils vont
ensemble, accompagnés d’une foule nombreuse, vers le navire où
attend Olympie. Ainsi s’appelait la dame à qui, comme de droit, la
souveraineté de l’île était rendue.
Celle-ci avait amené Roland sans penser qu’il ferait tant pour
elle ; il lui paraissait suffisant qu’il sauvât son époux, en
l’abandonnant elle seule au péril. Elle le révère et l’honore, et tout le
peuple avec elle. Il serait trop long de raconter les caresses que lui
prodigue Birène, et celles qu’elle lui rend, ainsi que les
remerciements que tous deux adressent au comte.
Le peuple remet la damoiselle en possession du trône paternel,
et lui jure fidélité. Après s’être unie à Birène d’une chaîne qu’Amour
doit rendre éternelle, elle lui donne le gouvernement de l’État et
d’elle-même. Et celui-ci confie le commandement des forteresses et
des domaines de l’île à son cousin.
Car il avait résolu de retourner en Zélande et d’emmener sa
fidèle épouse avec lui, prétendant qu’il voulait tenter la conquête de
la Frise, et qu’il avait un gage de succès qu’il appréciait fort, à savoir
la fille du roi Cymosque, trouvée parmi les nombreux prisonniers
qu’on avait faits.
Il prétendit aussi qu’il voulait la donner pour femme à son frère
encore mineur. Le sénateur romain partit le même jour que Birène
mit à la voile ; et il ne voulut emporter de tant de dépouilles gagnées
par lui rien autre chose que cet instrument qui, comme nous l’avons
dit, produisait tous les effets de la foudre.
Son intention, en le prenant, n’était pas d’en user pour sa
défense, car il avait toujours estimé qu’il n’appartenait qu’à une âme
lâche de se lancer dans une entreprise quelconque avec un
avantage sur son adversaire. Mais il voulait la jeter dans un lieu où
elle ne pourrait plus jamais nuire à personne. C’est pourquoi il
emporta avec lui la poudre, les balles et tout ce qui servait à cette
arme.
Et, dès qu’il fut sorti du port, et qu’il se vit arrivé à l’endroit où la
mer était la plus profonde, de sorte que, sur l’un et l’autre rivage, on
n’apercevait aucun signe lointain, il la prit et dit : « — Afin que plus
jamais chevalier ne se confie à toi, et que le lâche ne se puisse
vanter de valoir plus que le brave, reste engloutie ici.
« O maudite, abominable invention, forgée au plus profond du
Tartare par les mains mêmes du malin Belzébuth, dans l’intention de
couvrir le monde de ruines, je te renvoie à l’enfer d’où tu es sortie. —
» Ainsi disant, il la jette dans l’abîme, pendant que les voiles,
gonflées par le vent, le poussent sur le chemin de l’île cruelle.
Le paladin est pressé d’un tel désir de savoir si sa dame s’y
trouve, sa dame qu’il aime plus que tout l’univers ensemble, et sans
laquelle il ne peut pas vivre une heure joyeux, qu’il ne met pas le
pied en Ibernie, de peur d’être obligé de consacrer son temps à une
œuvre nouvelle et d’être réduit plus tard à dire : Hélas ! pourquoi ne
me suis-je point hâté davantage !
Il ne permet pas non plus d’aborder en Angleterre ni en Irlande,
ni sur les rivages opposés. Mais laissons-le aller où l’envoie l’Archer
qui l’a blessé au cœur. Avant de parler encore de lui, je veux
retourner en Hollande, et je vous invite à y retourner avec moi. Je
sais qu’il vous déplairait autant qu’à moi que les noces s’y fissent
sans nous.
Les noces furent belles et somptueuses, mais elles seront encore
surpassées par celles qui, dit-on se préparent en Zélande.
Cependant, je ne vous propose pas de venir à celles-ci, car elles
doivent être troublées par de nouveaux incidents dont je vous
parlerai dans l’autre chant, si à l’autre chant vous venez m’entendre.
CHANT X.

Argument. — Birène étant devenu amoureux d’une autre


femme, abandonne Olympie. — Roger reçoit l’hippogriffe des mains
de Logistilla qui lui apprend à le conduire. Il descend avec lui en
Angleterre, où il voit le rassemblement des troupes destinées à
porter secours à Charles. En passant en Irlande, il aperçoit dans l’île
d’Ébude Angélique enchaînée à un rocher pour être dévorée par
l’orque. Il abat le monstre, prend la jeune fille en croupe, et descend
avec elle sur le rivage de la Basse-Bretagne.

Parmi les amants les plus fameux qui donnèrent au monde, soit
dans l’infortune, soit dans la prospérité, les meilleures preuves
d’amour et les plus grands exemples de fidélité, je donnerai de
préférence, non pas la seconde, mais la première place à Olympie.
Et si elle ne doit pas être placée avant tous, je tiens à dire que,
parmi les anciens et les modernes, on ne saurait trouver un amour
plus grand que le sien.
Elle avait rendu Birène certain de cet amour, par des
témoignages si nombreux et si évidents, qu’il serait impossible à une
femme de faire plus pour assurer un homme de sa tendresse, même
quand elle lui montrerait sa poitrine et son cœur tout ouverts. Et si
les âmes si fidèles et si dévouées doivent être récompensées d’un
amour réciproque, je dis qu’Olympie était digne d’être aimée par
Birène, non pas autant, mais plus que soi-même ;
Et qu’il ne devait pas l’abandonner jamais pour une autre femme,
fût-ce pour celle qui jeta l’Europe et l’Asie dans tant de malheurs, ou
pour toute autre méritant plus encore le titre de belle ; mais qu’il
aurait dû, plutôt que de la laisser, renoncer à la clarté du jour, à
l’ouïe, au goût, à la parole, à la vie, à la gloire, et à tout ce qu’on
peut dire ou imaginer de plus précieux.
Si Birène l’aima comme elle avait aimé Birène ; s’il lui fut fidèle
comme elle le lui avait été ; si jamais il tourna sa voile pour suivre
une autre voie que la sienne ; ou bien s’il paya tant de services par
son ingratitude, et s’il fut cruel pour celle qui lui avait montré tant de
fidélité, tant d’amour, je vais vous le dire et vous faire, d’étonnement,
serrer les lèvres et froncer les sourcils.
Et quand vous aura été dévoilée l’impitoyable cruauté dont il
paya tant de bontés, ô femmes, aucune de vous ne saura plus si elle
doit ajouter foi aux paroles d’un amant. L’amant, pour avoir ce qu’il
désire, sans songer que Dieu voit et entend tout, entasse les
promesses et les serments, qui tous se dispersent ensuite par les
airs au gré des vents.
Les serments et les promesses s’en vont dans les airs, emportés
et dispersés par les vents, dès que ces amants ont assouvi la soif
qui les embrasait et les brûlait. Soyez, par cet exemple, moins
faciles à croire à leurs prières et à leurs plaintes. Bien avisé et
heureux, ô mes chères dames, celui qui apprend à être prudent aux
dépens d’autrui.
Gardez-vous de ceux qui portent sur leur frais visage la fleur des
belles années ; car, chez eux, tout désir naît et meurt promptement,
semblable à un feu de paille. De même que le chasseur suit le lièvre,
par le froid, par le chaud, sur la montagne, dans la plaine, et n’en fait
plus le moindre cas dès qu’il l’a pris, s’acharnant seulement à
poursuivre ce qui le fuit ;
Ainsi font ces jeunes gens qui, tant que vous vous montrez dures
et hautaines envers eux, vous aiment et vous révèrent avec tout
l’empressement que doit avoir l’esclave fidèle. Mais, aussitôt qu’ils
pourront se vanter de la victoire, de maîtresses il vous faudra
devenir esclaves, et voir s’éloigner de vous leur faux amour qu’ils
porteront à d’autres.
Je ne vous défends pas pour cela — j’aurais tort — de vous
laisser aimer, car, sans amant, vous seriez comme la vigne inculte
au milieu d’un jardin, sans tuteur ou sans arbre auquel elle puisse
s’appuyer. Je vous engage seulement à fuir la jeunesse volage et
inconstante, et à cueillir des fruits qui ne soient pas verts et âcres,
sans les choisir cependant trop mûrs.
Je vous ai dit plus haut qu’on avait trouvé parmi les prisonniers
une fille du roi de Frise, et que Birène parlait, toutes les fois qu’il en
avait l’occasion, de la donner pour femme à son frère. Mais, à dire le
vrai, il en était lui-même affriandé, car c’était un morceau délicat ; et
il eût considéré comme une sottise de se l’enlever de la bouche,
pour le donner à un autre.
La damoiselle n’avait pas encore dépassé quatorze ans ; elle
était belle et fraîche comme une rose qui vient de sortir du bouton et
s’épanouit au soleil levant. Non seulement Birène s’en amouracha,
mais on ne vit jamais un feu pareil consumer les moissons mûres
sur lesquelles des mains envieuses et ennemies ont porté la
flamme,
Aussi vite qu’il en fut embrasé, brûlé jusqu’aux moelles, du jour
où il la vit, pleurant son père mort et son beau visage tout inondé de
pleurs. Et comme l’eau froide tempère celle qui bouillait auparavant
sur le feu, ainsi l’ardeur qu’avait allumée Olympie, vaincue par une
ardeur nouvelle, fut éteinte en lui.
Et il se sentit tellement rassasié, ou pour mieux dire tellement
fatigué d’elle, qu’il pouvait à peine la voir ; tandis que son appétit
pour l’autre était tellement excité, qu’il en serait mort s’il avait trop
tardé à l’assouvir. Pourtant, jusqu’à ce que fût arrivé le jour marqué
par lui pour satisfaire son désir, il le maîtrisa de façon à paraître non
pas aimer, mais adorer Olympie, et à vouloir seulement ce qui
pouvait lui faire plaisir.
Et s’il caressait la jeune fille, — et il ne pouvait se tenir de la
caresser plus qu’il n’aurait dû, — personne ne l’interprétait à mal,
mais bien plutôt comme un témoignage de pitié et de bonté. Car
relever celui que la Fortune a précipité dans l’abîme, et consoler le
malheureux, n’a jamais été blâmé, mais a souvent passé pour un
titre de gloire, surtout quand il s’agit d’une enfant, d’une innocente.
O souverain Dieu, comme les jugements humains sont parfois
obscurcis par un nuage sombre ! Les procédés de Birène, impies et
déshonnêtes, passèrent pour de la pitié et de la bonté. Déjà les
mariniers avaient pris les rames en main, et, quittant le rivage sûr,
emportaient joyeux vers la Zélande, à travers les étangs aux eaux
salées, le duc et ses compagnons.
Déjà ils avaient laissé derrière eux et perdu de vue les rivages de
la Hollande — car, afin de ne pas aborder en Frise, ils s’étaient
tenus sur la gauche, du côté de l’Écosse — lorsqu’ils furent surpris
par un coup de vent qui, pendant trois jours, les fit errer en pleine
mer. Le troisième jour, à l’approche du soir, ils furent poussés sur
une île inculte et déserte.
Dès qu’ils se furent abrités dans une petite anse, Olympie vint à
terre. Contente, heureuse et loin de tout soupçon, elle soupa en
compagnie de l’infidèle Birène ; puis, sous une tente qui leur avait
été dressée dans un lieu agréable, elle se mit au lit avec lui. Tous
leurs autres compagnons retournèrent sur le vaisseau pour s’y
reposer.
La fatigue de la mer, et la peur qui l’avait tenue éveillée pendant
plusieurs jours, le bonheur de se retrouver en sûreté sur le rivage,
loin de toute rumeur, dans une solitude où nulle pensée, nul souci,
puisqu’elle avait son amant avec elle, ne venait la tourmenter,
plongèrent Olympie dans un sommeil si profond, que les ours et les
loirs n’en subissent pas de plus grand.
Son infidèle amant, que la tromperie qu’il médite tient éveillé, la
sent à peine endormie, qu’il sort doucement du lit, fait un paquet de
ses habits et, sans plus se vêtir, abandonne la tente. Comme s’il lui
était poussé des ailes, il vole vers ses gens, les réveille, et sans leur
permettre de pousser un cri, leur fait gagner le large et abandonner
le rivage.

You might also like