Big Data Management and Analytics Brij B Gupta Mamta Full Chapter PDF

You might also like

Download as pdf or txt
Download as pdf or txt
You are on page 1of 69

Big Data Management and Analytics

Brij B Gupta & Mamta


Visit to download the full and correct content document:
https://ebookmass.com/product/big-data-management-and-analytics-brij-b-gupta-ma
mta/
More products digital (pdf, epub, mobi) instant
download maybe you interests ...

Convergence of Cloud with AI for Big Data Analytics:


Foundations and Innovation 1st Edition Danda B. Rawat

https://ebookmass.com/product/convergence-of-cloud-with-ai-for-
big-data-analytics-foundations-and-innovation-1st-edition-danda-
b-rawat/

Data Science in Theory and Practice: Techniques for Big


Data Analytics and Complex Data Sets Maria C. Mariani

https://ebookmass.com/product/data-science-in-theory-and-
practice-techniques-for-big-data-analytics-and-complex-data-sets-
maria-c-mariani/

BIG DATA ANALYTICS: Introduction to Hadoop, Spark, and


Machine-Learning Raj Kamal

https://ebookmass.com/product/big-data-analytics-introduction-to-
hadoop-spark-and-machine-learning-raj-kamal/

Machine Intelligence, Big Data Analytics, and IoT in


Image Processing Ashok Kumar

https://ebookmass.com/product/machine-intelligence-big-data-
analytics-and-iot-in-image-processing-ashok-kumar/
Big Data Analytics and Machine Intelligence in
Biomedical and Health Informatics Sunil Kuma Dhal

https://ebookmass.com/product/big-data-analytics-and-machine-
intelligence-in-biomedical-and-health-informatics-sunil-kuma-
dhal/

Mobility Patterns, Big Data and Transport Analytics:


Tools and Applications for Modeling Constantinos
Antoniou (Editor)

https://ebookmass.com/product/mobility-patterns-big-data-and-
transport-analytics-tools-and-applications-for-modeling-
constantinos-antoniou-editor/

(eBook PDF) Human Resource Management: People, Data,


and Analytics 1st Edition

https://ebookmass.com/product/ebook-pdf-human-resource-
management-people-data-and-analytics-1st-edition/

Google Cloud Platform for Data Science: A Crash Course


on Big Data, Machine Learning, and Data Analytics
Services Dr. Shitalkumar R. Sukhdeve

https://ebookmass.com/product/google-cloud-platform-for-data-
science-a-crash-course-on-big-data-machine-learning-and-data-
analytics-services-dr-shitalkumar-r-sukhdeve/

Export Import Management Gupta

https://ebookmass.com/product/export-import-management-gupta/
World Scientific Series on Future Computing
Paradigms and Applications

Series Editor: Brij B Gupta (Asia University, Taichung, Taiwan)

Published:

Vol. 1 Big Data Management and Analytics


by Brij B Gupta and Mamta
Published by
World Scientific Publishing Co. Pte. Ltd.
5 Toh Tuck Link, Singapore 596224
USA office: 27 Warren Street, Suite 401-402, Hackensack, NJ 07601
UK office: 57 Shelton Street, Covent Garden, London WC2H 9HE

Library of Congress Cataloging-in-Publication Data


Names: Gupta, Brij, 1982– author. | Mamta, author.
Title: Big data management and analytics / Brij B Gupta, Asia University, Taiwan,
Mamta, Thapar Institute of Engineering and Technology, India.
Description: New Jersey : World Scientific, [2024] |
Series: World Scientific series on future computing paradigms and applications ; vol. 1 |
Includes bibliographical references and index.
Identifiers: LCCN 2023017153 | ISBN 9789811257117 (hardcover) |
ISBN 9789811257124 (ebook for institutions) | ISBN 9789811257131 (ebook for individuals)
Subjects: LCSH: Big data. | Database management. | Data mining.
Classification: LCC QA76.9.B45 G86 2024 | DDC 005.7--dc23/eng/20230601
LC record available at https://lccn.loc.gov/2023017153

British Library Cataloguing-in-Publication Data


A catalogue record for this book is available from the British Library.

Copyright © 2024 by World Scientific Publishing Co. Pte. Ltd.


All rights reserved. This book, or parts thereof, may not be reproduced in any form or by any means,
electronic or mechanical, including photocopying, recording or any information storage and retrieval
system now known or to be invented, without written permission from the publisher.

For photocopying of material in this volume, please pay a copying fee through the Copyright Clearance
Center, Inc., 222 Rosewood Drive, Danvers, MA 01923, USA. In this case permission to photocopy
is not required from the publisher.

For any available supplementary material, please visit


https://www.worldscientific.com/worldscibooks/10.1142/12869#t=suppl

Desk Editors: Sanjay Varadharajan/Amanda Yun

Typeset by Stallion Press


Email: enquiries@stallionpress.com

Printed in Singapore
Dedicated to my parents and family for their
constant support during the course of this book.
— Brij B. Gupta

Dedicated to my parents, beloved husband, my son and my mentor


for their motivation throughout the journey of completion of this book.
— Mamta
This page intentionally left blank
Foreword

In the dynamic and ever-changing world of data management and analyt-


ics, Big Data Management and Analytics stands out as a prominent source
of lucidity and a vast reservoir of expertise. In the current epoch of digital
transformation, it is of utmost importance to comprehend the fundamental
principles and complexities associated with big data. This book serves as
an invaluable resource, offering the necessary guidance to attain this
objective.
Within the domain of big data, characterized by an overwhelming
abundance of information in terms of volume, velocity, and variety, this
literary work emerges as a beacon of guidance, catering to a wide-ranging
audience. This work is expected to provide significant benefits to a wide
range of individuals, including students, data analysts, data scientists, and
IT professionals. What is particularly noteworthy about this is that it oper-
ates under the assumption that the user possesses no prior understanding
or expertise in the field of big data management and analytics. As a result,
it is designed to be easily understood and utilized by individuals at all
levels of proficiency, including those who are new to the subject matter as
well as those who have extensive experience in the field.
The book’s structure is characterized by the inclusion of 10 carefully
constructed chapters, each designed to guide readers through a compre-
hensive journey. The initial chapter serves as an introduction to big data,
providing readers with a foundational understanding of the subject matter.
This introductory chapter serves the purpose of elucidating the concept of
big data, aiming to dispel any misconceptions or uncertainties surround-
ing it. Additionally, it delves into the diverse origins of big data, its

vii
viii Big Data Management and Analytics

distinctive attributes, and the various challenges that arise in relation to its
effective management and analysis. Furthermore, this provides valuable
insight into the practical implementations of big data in various industries
and sectors.
The subsequent chapters of this research work delve into a compre-
hensive examination of Big Data Management and Modelling, Big Data
Processing, Big Data Analytics and Machine Learning, and Big Data
Analytics Through Visualization. The aforementioned chapters not only
explicate the theoretical concepts but also offer valuable practical per-
spectives on effectively tackling the challenges that manifest within these
specific domains.
The chapter titled “Taming Big Data with Spark 2.0” provides an in-
depth exploration of Apache Spark, emphasizing its architectural design
and constituent elements. This study aims to provide a comprehensive
understanding of the significance of Resilient Distributed Datasets
(RDDs) and their utilization in the processing and analysis of large-scale
datasets, commonly referred to as Big Data. The acquisition of this knowl-
edge is of utmost significance in contemporary society where the utiliza-
tion of real-time analytics and processing holds great prominence.
The chapter titled “ Managing Big Data in Cloud Storage” provides a
thorough examination of data storage systems, specifically focusing on
Hadoop Distributed File System (HDFS) and cloud storage. This chapter
aims to equip readers with the necessary understanding to effectively
navigate the complexities associated with storing data in the cloud.
The book’s utility is further expanded through an in-depth exploration
of specific industry applications, which serves as a testament to its practi-
cal significance in real-world contexts. The chapters titled “Big Data in
Healthcare” and “Big Data in Finance” offer valuable insights into the
significant impact of big data within these respective industries. The fol-
lowing topics will be explored in this text: personalized medicine, clinical
decision support, population health management, fraud detection, risk
management, trading strategies, and customer segmentation.
The concluding chapter, titled “Enabling Tools and Technologies for
Big Data Analytics,” presents a comprehensive collection of essential
tools and technologies that are imperative for individuals aiming to lever-
age the complete capabilities of big data.
The publication accommodates a wide range of readers, rendering it
appropriate for individuals with diverse educational and occupational
Foreword ix

backgrounds. The provided resource employs a systematic methodology


to ensure that individuals acquire a comprehensive comprehension of the
big data ecosystem, starting from its foundational elements and progress-
ing incrementally. In addition, the book presents various real-world appli-
cation scenarios that serve to provide readers with the requisite skills and
knowledge required to effectively tackle the complexities associated with
the management and analysis of big data.
This book will be regarded as an invaluable resource by publishers
and industry professionals alike. In the current era characterized by the
widespread adoption of data-driven decision-making practices, the con-
tent presented in this book serves as a valuable resource for organizations
seeking to harness the full potential of their data. By leveraging the
insights and methodologies outlined within, organizations can effectively
enhance their decision-making processes, leading to improved perfor-
mance outcomes and ultimately gaining a competitive edge in their
respective industries.
In summary, Big Data Management and Analytics is a highly valuable
resource that merits inclusion in the personal libraries of individuals with
a keen interest in the field of data management and analytics. Presented
before us is a remarkable occasion to commence a voyage that shall pro-
foundly influence our comprehension of data and unlock avenues to pros-
pects that were previously unattainable. The commencement of the
expedition is now underway.
Prof. Jinsong Wu
Chair, IEEE Technical Committee of Big Data
Professor, School of Artificial Intelligence, Guilin University
of Electronic Technology, 510004, China
Department of Electrical Engineering, University
of Chile, 8370451, Chile
This page intentionally left blank
Preface

In today’s digital age, data has become an integral part of our lives, both
personally and professionally. The amount of data generated every day is
massive, and traditional methods of data management and analysis are no
longer sufficient to handle this volume of information. This is where big
data management and analytics come into play. Big data management
refers to the efficient handling, storage, and processing of large and com-
plex datasets, while big data analytics involves the use of advanced ana-
lytical techniques to extract valuable insights and patterns from this data.
Together, they have the potential to transform businesses and industries,
enabling organizations to make data-driven decisions and gain a competi-
tive edge.
This book on Big Data Management and Analytics aims to provide a
comprehensive and practical guide to the principles, technologies, and
tools involved in the effective management and analysis of big data. It
covers a range of topics, including data modeling, data storage, data pro-
cessing, data analysis, and data visualization, including the relevant appli-
cations and use cases.
This book is designed for a broad audience, including students, data
analysts, data scientists, and IT professionals. It assumes no prior knowl-
edge of big data management and analytics and provides a step-by-step
approach to learning the key concepts and techniques involved. By the
end of the book, readers will have a thorough understanding of the big
data ecosystem and be equipped with the skills and knowledge necessary
to effectively manage and analyze big data in real-world scenarios.

xi
xii Big Data Management and Analytics

This book contains 10 chapters, with each chapter covering different


aspects of big data management and analytics. We provide a detailed over-
view of the topics covered by each chapter in the following:

Chapter 1: Introduction to Big Data — This chapter introduces the


concept of big data and discusses various sources of big data, its charac-
teristics, and the challenges associated with its management and analysis.
It also provides an overview of the popular use cases of big data.

Chapter 2: Big Data Management and Modeling — This chapter pro-


vides a comprehensive overview of the various techniques and strategies
used to manage and model large datasets. Further, this chapter covers the
challenges associated with managing and modeling big data.

Chapter 3: Big Data Processing — This chapter provides an overview


of big data processing, including its definition, characteristics, and chal-
lenges. It covers the various requirements for big data processing and
discusses in detail the big data processing pipeline. Finally, it discusses
the role of Splunk and Datameer in big data processing.

Chapter 4: Big Data Analytics and Machine Learning — This chapter


covers the process of collecting and preprocessing data for big data ana-
lytics. It further covers data transformation techniques and data quality
issues that need to be addressed before analysis. It also provides an
­overview of the role of machine learning in big data analytics and the
challenges of implementing machine learning on big data, including scal-
ability and data preprocessing.

Chapter 5: Big Data Analytics Through Visualization — This chapter


discusses the role of visualization in big data analytics. It covers the vari-
ous types of visualizations that can be used to explore and analyze big
data with special attention to graph analytics.

Chapter 6: Taming Big Data with Spark 2.0 — This chapter provides
an overview of Apache Spark. It discusses the key features and benefits of
Spark 2.0, such as the architecture of Spark 2.0, including its components,
such as Spark Core, Spark SQL, Spark Streaming, and MLlib. It discusses
the role of resilient distributed datasets (RDDs) in Spark 2.0 and how they
can be used to process and analyze big data.
Preface xiii

Chapter 7: Managing Big Data in Cloud Storage — This chapter


focuses on the storage and retrieval of big data. It covers the different
types of data storage systems, such as Hadoop distributed file system
(HDFS), Hue, and cloud storage.

Chapter 8: Big Data in Healthcare — This chapter provides a compre-


hensive introduction to the role of big data in healthcare. It further dis-
cusses the architectural framework of big data in healthcare. Finally, it
covers some common applications of big data in healthcare, such as per-
sonalized medicine, clinical decision support, and population health
management.

Chapter 9: Big Data in Finance — This chapter discusses the role of big
data in finance and how big data is transforming the financial sector. It
covers the various sources of financial data, such as transaction data, mar-
ket data, social media data, and news feeds, and throws light on the chal-
lenges associated with processing and analyzing such data. The chapter
also details some common applications of big data in finance, such as
fraud detection, risk management, trading strategies, and customer
segmentation.

Chapter 10: Enabling Tools and Technologies for Big Data Analytics —
This chapter provides a comprehensive introduction to various tools
and technologies that enable big data analytics. It covers the tools and
technologies for big data management, modeling, integration, processing,
analytics and visualization.
This page intentionally left blank
About the Authors

Brij B. Gupta is the Director of the International


Center for AI and Cyber Security Research and
Innovations and a Distinguished Professor at the
Department of Computer Science and Information
Engineering (CSIE), Asia University, Taiwan. In
more than 17 years of his professional experience,
he has published over 500 papers in journals/con-
ferences, including 35 books and 12 Patents with
over 25,000 citations. He has received numerous
national and international awards, including the
Canadian Commonwealth Scholarship (2009), the Faculty Research
Fellowship Award (2017), the Visvesvaraya Young Faculty Research
Fellowship Award from the Indian Ministry of Electronics and Information
Technology, Government of India, the IEEE GCCE outstanding and
Women in Engineering (WIE) paper awards, and National Institute of
Technology Kurukshetra, India’s Best Faculty Award (2018 and 2019),
respectively. Prof. Gupta was selected for Clarivate’s Web of Science
Highly Cited Researchers in Computer Science (top 0.1% researchers in
the world) consecutively in 2022 and 2023. He was also listed in Stanford
University’s ranking of the world’s top 2% of scientists in 2020, 2021,
2022, and 2023.
Dr Gupta is also a visiting/adjunct professor with several universities
worldwide and an IEEE Senior Member (2017). He was selected as the
2021 Distinguished Lecturer in IEEE Consumer Technology Society
(CTSoc). Dr Gupta is also serving as a Member-at-Large of IEEE

xv
xvi Big Data Management and Analytics

Consumer Technology Society’s Board of Governors (2022–2024). He is


also the Editor-in-Chief of the International Journal on Semantic Web and
Information Systems, International Journal of Software Science and
Computational Intelligence, Sustainable Technology and Entrepreneurship,
and International Journal of Cloud Applications and Computing, the
Lead Editor of a Book Series with CRC and IET Press, and the Associate/
Guest Editor of various journals and transactions. He also served as a
member of the technical program committee of more than 150 interna-
tional conferences. His research interests include information security,
cyber physical systems, cloud computing, blockchain technologies, intru-
sion detection, AI, social media, and networking.

Mamta received her BTech (with honors) in com-


puter engineering in 2011 from the University
Institute of Engineering and Technology, Kurukshetra
University, India, and her MTech in computer engi-
neering (with distinction) in 2014 from the National
Institute of Technology, Kurukshetra, India. She
received her PhD in computer engineering from the
National Institute of Technology, Kurukshetra, India,
in 2020. At present, Dr. Mamta is an assistant pro-
fessor in the Department of Computer Science and
Engineer­ing at Punjab Engineering College, Chandigarh, India. Her
research interests include applied cryptography, searchable encryption,
information security, big data security, and cloud computing. She has
published several research articles with various reputed publishers,
including IEEE, Springer, and Wiley.
Acknowledgments

First and foremost, we would like to express our deepest and most sincere
gratitude to the Almighty for granting us the strength and guidance to
complete this book. We would like to thank our families for their unwa-
vering support and encouragement. We are also grateful to our friends and
colleagues who have provided invaluable feedback and helped us refine
our ideas.
Further, our deepest appreciation goes to the team at World Scientific
Publishing, who believed in this project and worked tirelessly to bring it
to fruition.
Finally, we would like to acknowledge the countless individuals who
have shared their knowledge and expertise with us through interviews,
research, and personal interactions. Their insights have been invaluable in
shaping this book and we are deeply grateful for their contributions.
We thank all for the support and encouragement, without which this
book would not have been possible.

xvii
This page intentionally left blank
Contents

Forewordvii
Prefacexi
About the Authorsxv
Acknowledgmentsxvii
List of Figuresxxv
List of Tablesxxix

Chapter 1 Introduction to Big Data 1


1.1 Data: The New Oil and the New Soil 2
1.2 What is Big Data and What are its Sources 3
1.2.1 Big Data Generated by Machines 4
1.2.2 Big Data Generated by Humans 5
1.2.3 Big Data Generated by Organizations 8
1.3 Characteristics of Big Data 11
1.3.1 Volume 12
1.3.2 Velocity 13
1.3.3 Variety 14
1.3.4 Veracity 15
1.3.5 Valence 15
1.3.6 Value 16
1.4 Importance of Big Data: Popular Use Cases 16
1.5 Chapter Summary 18
References19
xix
xx Big Data Management and Analytics

Chapter 2 Big Data Management and Modeling 21


2.1 Big Data Management 21
2.1.1 Data Acquisition/Ingestion 21
2.1.2 Data Storage 22
2.1.3 Data Quality 23
2.1.4 Data Operations 23
2.1.5 Data Scalability 23
2.1.6 Data Security 24
2.2 Challenges in Big Data Management: Case Study 24
2.3 Big Data Modeling 25
2.3.1 Data Model Structures 25
2.3.2 Data Model Operations 27
2.3.3 Data Model Constraints 30
2.4 Types of Data Models 30
2.4.1 Relational Data Model 31
2.4.2 Semi-Structured Data Model 32
2.4.3 Unstructured Data Model: Vector Space Data Model 34
2.4.4 Graph Data Model 38
2.5 Chapter Summary 40
References41
Chapter 3 Big Data Processing 43
3.1 Requirements for Big Data Processing 43
3.2 Big Data Retrieval 45
3.2.1 Relational Data Query 45
3.2.2 JSON Data Query Using MongoDB and Aerospike 49
3.3 Big Data Integration 53
3.3.1 Big Data Integration Problems 56
3.4 Big Data Processing Pipeline 58
3.4.1 Data Transformation Operations in Big Data
Processing Pipeline 59
3.5 Big Data Management and Processing Using Splunk
and Datameer 63
3.5.1 Splunk 63
3.5.2 Datameer 64
3.6 Chapter Summary 64
References65
Contents xxi

Chapter 4 Big Data Analytics and Machine Learning 69


4.1 Introduction to Machine Learning 69
4.1.1 Machine Learning Techniques 71
4.2 Machine Learning Process 72
4.2.1 Acquire 75
4.2.2 Prepare 75
4.2.3 Analyze 99
4.2.4 Evaluation of Machine Learning Models 106
4.3 Scaling Up Machine Learning Algorithms 111
4.4 Chapter Summary 112
References112
Chapter 5 Big Data Analytics Through Visualization 115
5.1 Graph Definition 115
5.1.1 Examples of Graph Analytics for Big Data 117
5.2 Graph Analytics from the Perspective of Big Data 122
5.3 Techniques for Graph Analytics 124
5.3.1 Basic Definitions 124
5.3.2 Path Analytics 127
5.3.3 Connectivity Analytics 131
5.3.4 Community Analytics 132
5.3.5 Centrality Analytics 136
5.4 Large-Scale Graph Processing 136
5.4.1 Parallel Programming Model for Graphs 137
5.5 Chapter Summary 138
References139
Chapter 6 Taming Big Data with Spark 2.0 143
6.1 Introduction to Spark 2.0 143
6.1.1 Why Spark 2.0 Replaced Hadoop 144
6.2 Resilient Distributed Datasets 145
6.3 Spark 2.0 147
6.3.1 Language Processing with Spark 2.0 154
6.3.2 Analysis of Streaming Data with Spark 2.0 155
6.3.3 Streaming API 156
6.3.4 Kafka 156
6.3.5 Apache Spark Streaming 158
xxii Big Data Management and Analytics

6.4 Spark Machine Learning Library 158


6.5 Chapter Summary 159
References160
Chapter 7 Managing Big Data in Cloud Storage 163
7.1 Large-Scale Data Storage 164
7.1.1 Challenges of Storing Large Data in Distributed
Systems165
7.2 Hadoop Distributed File System (HDFS) 167
7.2.1 HDFS Permission Checks 167
7.2.2 HDFS Shell Commands 168
7.2.3 Chaining and Scripting HDFS Commands 181
7.2.4 Loading Data on HDFS 182
7.3 Hadoop User Experience (HUE) 184
7.3.1 Features of HUE 185
7.3.2 HUE Components 185
7.4 Chapter Summary 189
References189
Chapter 8 Big Data in Healthcare 191
8.1 Digitalization in Healthcare Sector 192
8.1.1 Use of Big Data in Medical Care 193
8.2 Big Data in Public Health 193
8.2.1 Big Data Surveillance Using Machine Learning 193
8.2.2 Big Data in Public Health Training 194
8.2.3 Limitations and Open Issues for Big Data While Using
Machine Learning in Public Health 196
8.3 The Four V’s of Big Data in Healthcare 197
8.4 Big Data in Genomics 200
8.5 Architectural Framework 202
8.5.1 Methodology of Big Data Analytics in Healthcare 204
8.5.2 Advantages of Big Data Analytics to Healthcare 205
8.5.3 Challenges of Big Data in Healthcare 206
8.6 Chapter Summary 207
References207
Chapter 9 Big Data in Finance 211
9.1 Digitalization in Financial Industry 211
9.2 Sources of Financial Data 213
9.3 Challenges of Using Big Data in Financial Research 215
Contents xxiii

9.4 Financial Big Data 216


9.4.1 FBD Management 216
9.4.2 FBD Analytics 217
9.5 Theoretical Framework of Big Data in Financial Services 219
9.6 Popular Use Cases of FBD Analytics 219
9.7 Chapter Summary 222
References223
Chapter 10 Enabling Tools and Technologies for
Big Data Analytics 225
10.1 Big Data Management and Modeling Tools 226
10.1.1 Data Modeling Tools 227
10.1.2 Vector Data Model with Lucene 227
10.1.3 Graph Data Model with Gephi 228
10.1.4 Data Management Tools 229
10.2 Big Data Integration and Processing Tools 233
10.2.1 Big Data Processing Using Splunk and Datameer 234
10.3 Big Data Machine Learning Tools 236
10.3.1 KNIME 236
10.3.2 Spark MLlib 247
10.4 Big Data Graph Analytics Tools 247
10.4.1 Giraph 247
10.4.2 GraphX 248
10.4.3 Neo4j 249
10.5 Chapter Summary 250
References251

Index255
This page intentionally left blank
List of Figures

1.1 Google Searches for the Phrase “Data is the


New Oil”  2
1.2 Big Data Sources  4
1.3 Human-Generated Big Data Sources  5
1.4 Data Generated in Each Minute over the Internet  7
1.5 Early Adoption Benefits of Big Data  10
1.6 The Six V’s of Big Data 11
1.7 Cost per Human Genome  17
2.1 CSV File 1 26
2.2 CSV File 2 26
2.3 Organizational Structure 26
2.4 Unstructured Data 27
2.5 Subset Operation 27
2.6 Substructure Extraction 28
2.7 Union of Collections 1 and 2 29
2.8 Join Operation of Collections 1 and 2 29
2.9 Web Page Example and the Associated HTML Code 32
2.10 JSON File 33
2.11 XML Data Model with Associated Tree Structure 34
2.12 Social Network for Lord of Rings Trilogy  38
2.13 Property Graph from Apache Spark  39
2.14 A Sample Social Network 39
3.1 JSON Data File 50
3.2 MongoDB Query 51
3.3 Aerospike Data Model  53

xxv
xxvi Big Data Management and Analytics

3.4 Data Sources from Two Hypothetical Companies 54


3.5 Integrated View by Joining Two Data Sources 55
3.6 Record Linkage Problem in Data Integration 56
3.7 Cost−Benefit Analysis of Data Fusion 57
3.8 WordCounter in Hadoop MapReduce  58
3.9 Map and Reduce Operations 60
3.10 Aggregation Operation 61
3.11 k-Means Clustering 62
4.1 Machine Learning Process 73
4.2 Measures of Shapes 78
4.3 Histogram Plot of Distance Covered by
United Airlines 80
4.4 Determination of Skewness in Histogram 81
4.5 Line Plot 81
4.6 Indication of Trends in Line Plots 82
4.7 Average Monthly Temperature  82
4.8 Scatter Plot of Arrival vs. Departure Time
of United Airlines 83
4.9 Correlation Between Two Variables 84
4.10 Bar Plot 85
4.11 Bar Plot for Comparing Two Categorical Variables
(Zoo 1 and Zoo 2) 85
4.12 Parts of a Box Plot 86
4.13 Box Plot of Distance Covered by UA and AA 87
4.14 Box Plot Corresponding to the Distribution Shape 88
4.15 Scaling Transformation 94
4.16 Scaling to a Range between 0 and 1 95
4.17 Effect of Increasing Dimensionality of Data 97
4.18 Principal Components Analysis 98
4.19 Weather Classifier 100
4.20 Machine Learning Model 101
4.21 k-NN Classification 102
4.22 k-NN Working 103
4.23 Decision Tree Classification 104
4.24 Structure of a Decision Tree 104
4.25 Overfitting Issue in Machine Learning Model 107
4.26 Underfitting Issue in Machine Learning Model 108
List of Figures xxvii

4.27 Confusion Matrix for Binary Classification


Problem109
4.28 Distributed Approach for Processing Data 111
5.1 Sales Data Representation  116
5.2 Pie Chart 116
5.3 Tweets in an Online Game 118
5.4 Graph Resulting from Different Interactions
Among Biological Entities  119
5.5 Association Between Two Different Diseases  120
5.6 LinkedIn Personal Profile Network  121
5.7 Graph of Twitter Discussion  122
5.8 Creation of Twitter Discussion Graph 123
5.9 Tweet Graph  126
5.10 Random Walk in a Simple Weighted Graph 128
5.11 Path in a Simple Weighted Graph 128
5.12 Diameter of a Graph 129
5.13 Hop Distance Matrix 129
5.14 Google Map Snapshot 131
6.1 Phases of Map Reduce on a Wikipedia Page 144
6.2 Expensive Operations of Disks 145
6.3 Resilient Distributed Datasets (RDDs) 146
6.4 Lineage in Spark 146
6.5 Tracking of Graph Transformations in RDD 147
6.6 Spark Framework and Its Components 153
6.7 Spark Streaming 155
6.8 Working of Spark Streaming 156
6.9 Kafka Streaming 157
6.10 Apache Spark Streaming 158
7.1 Hue Components  186
7.2 Hue Interface 187
8.1 The Four V’s of Big Data 197
8.2 An Applied Architecture of Big Data Analytics 204
9.1 Theoretical Framework of Big Data in Financial Services  220
10.1 Spark MLlib Decision Tree Workflow  237
10.2 Node Structure and Status  237
10.3 Creation of Histogram in KNIME  239
10.4 Histogram for Air Temperature  240
10.5 Creation of Scatter Plot in KNIME  240
xxviii Big Data Management and Analytics

10.6 Scatter Plot for Relative Humidity 240


10.7 Creation of Box Plot in KNIME  241
10.8 Conditional Box Plot for Relative Humidity  242
10.9 Removing Missing Values in KNIME  243
10.10 Prepare Data for Classification  244
10.11 Decision Tree Workflow in KNIME 245
10.12 Graph Representation by Adjacency List and
Edge List 248
List of Tables

1.1 Daily Data Volumes for Popular Online Platforms 6


2.1 A Typical Relational Model Employee 31
2.2 Documents with the Term Frequency Matrix 35
2.3 Inverse Document Frequency 35
2.4 TF−IDF Matrix 36
3.1 Large Table Partitioning to Different Machines 47
3.2 Local and Global Index Tables for Manufacturers 49
3.3 Comparison of Queries in SQL and MongoDB 52
4.1 Weather Data 74
4.2 Categorical Data 79
4.3 Weather Report 79
4.4 Duplicate Data 89
4.5 Feature Addition 93
4.6 Dataset for Weather Classifier 100
4.7 Types of Classification Errors 108
5.1 Data Corresponding to the Pie Chart 116
5.2 Additional Information Elements in a Graph 125
7.1 Permission Options in HDFS 169
7.2 File Permissions Using CHMOD Command 172

xxix
This page intentionally left blank
Chapter 1

Introduction to Big Data

Digitalization in the modern world leads to the generation of a large


amount of data in almost every domain. Due to the sheer volume of data
that needs to be managed, big data management and analysis have become
essential components of any system. The large amount of data that is
being produced as a result of the proliferation of connected devices is
growing at an exponential rate, which makes it extremely difficult to store
and process all of this data. The challenges associated with storing, trans-
mitting, and understanding this data are so enormous that they have given
rise to their very own field of study as well as an industry: Big Data. The
management and analysis of large amounts of data have become increas-
ingly popular in virtually all sectors, including the healthcare and finan-
cial sectors. Now, the big question is: What actually triggered the big data
era? First is the continuously growing torrent of data, and the second is
the on-demand cloud computing services. The data are generated continu-
ously at a very fast pace. According to a report by McKinsey Global
Institute (MGI), worldwide data volumes are doubling every two years
due to social websites, sensors, smartphones, and other sources [1]. The
exponential increase of data is fueled by the rising volume and detail of
data acquired by businesses, the advent of multimedia, social media, and
the Internet of Things. This exploding data can add value to businesses,
and there have been instances where with proper analytics, big data reveal
useful insights and become a critical factor in almost every industry. MGI
studied the impact of big data in several domains like healthcare, retail,
manufacturing and the public sector and noted the instances where big
data is contributing value to each of these domains [1]. The biggest source

1
2 Big Data Management and Analytics

of data is mobile devices, which every day and all the time generates data.
According to a recent report by Statista, by the end of 2021, the number
of mobile devices in use globally will be over 15 billion, and by 2025, the
number of mobile devices is predicted to reach 18.22 billion, a 4.2 billion
increase above 2020 levels [2], and so will be the data. This serious
growth in data demonstrates the immediate need for information on how
to handle and manage such data. Apart from this continuously growing
data, there is another factor which contributed to the launch of the big data
era, and that is cloud computing. Cloud computing is often called on-
demand computing. It allows us to perform computing anytime and any-
where, which, when combined with this continuously growing torrent of
data, opens new gates for dynamic and scalable data analysis. This novel
and dynamic data analysis have the ability to reveal insights about the
world which were difficult to imagine before. Hence, cloud computing
and the growing torrent of data together launched the new era of Big Data.

1.1 Data: The New Oil and the New Soil


The phrase “data is the new oil” was originated by Clive Humby, a British
mathematician and data science entrepreneur, in 2006, and has subse-
quently been repeated by numerous others. Since that day, this term has
been the subject of several articles, as well as appearing increasingly fre-
quently in Google searches, as seen in Figure 1.1.
This metaphor shows the importance of data. As we know, oil is one
of the world’s most valuable commodities, which contributes a major part
to the global economy. Like oil, data is also a valuable resource, but only
if we are able to extract value from it. Like oil, data needs to be refined so
that we can run analytics on it to get useful insights about and around us.
The phrase “data is the new oil” is further extended by Peter Sondergaard
in 2011. According to Peter Sondergaard, if data is the new oil, then

100
75
50
Note
25
Note
Jan 1, 2004 Jun 1, 2009 Nov 1, 2014 Apr 1, 2020

Figure 1.1. Google Searches for the Phrase “Data is the New Oil” [3]
Introduction to Big Data 3

analytics is the combustion engine, which actually converts the data into
a form that can be consumed directly by the 21st-century business world.
In the 21st century, data is equivalent to what oil was in the 18th cen-
tury, the driving force of the economy. But unlike oil which we consume,
data is something that we generate. Data, like soil, is a fertile medium that
can be improved and reused over time. It is virtually infinite, and it will
not exhaust as we use it. In reality, data-driven understanding has allowed
us to create unlimited, inexhaustible, and healthy renewable energy-like
sources. Hence, soil data is an unlimited and essential element for survival
in the present business world. Further, there is another aspect in which we
see the importance of soil. It corresponds to the land that a particular indi-
vidual or a country owns, and that is a symbol of power and prestige.
Everywhere around us, we see people and even countries fighting for it.
A similar kind of importance can also be given to data. In the present digi-
tal economy, data is equivalent to oil and soil. The one who is able to
manage, handle, analyze and get value or insights out of the data can enter
into the race to become the world’s leader.

1.2 What is Big Data and What are its Sources


Big data generally refers to large volumes of data. It is the data that is too
big, too fast, or too hard for existing tools to process [4]. The terms
“too big”, “too fast” and “too hard” refer to the three popular V’s of big
data, i.e., volume, velocity and variety, which we will discuss in the fol-
lowing section on characteristics of big data. Now, the question is: Where
does this big data come from? There are three major sources of big data:
machines, humans, and organizations, as shown in Figure 1.2 [5].
Machine data refers to the data generated by industrial sensors, envi-
ronmental sensors, sensors used in smart vehicles, personal health track-
ers, etc. One example of machine-generated data is the Large Hadron
Collider, the largest and most powerful particle collider in the world,
which generates 40 terabytes of data every second. The human-generated
data refers to social media data, tweets, photos, status updates, and other
media. The organizational data refer to transaction history, logs, customer
information, etc. According to a report by Internet Data Centre (IDC), the
worldwide data contributed by different sources will rise to 175 zettabytes
by 2025, where 1 zettabyte equals to 10007 bytes [6]. So, in the zettabyte
era, we can imagine the volume of the data that need to be processed to
get useful insights. Further, in most business use cases, any single source
4 Big Data Management and Analytics

Figure 1.2. Big Data Sources [5]

of data is never sufficient. The real value can only be extracted by com-
bining different streams of these big data sources and analyzing them to
generate valuable insights.

1.2.1 Big Data Generated by Machines


Machine-generated data is everywhere around us, and it is the largest
among all the big data sources. For example, a Boeing jet aircraft pro-
duces around half a terabyte of data every time it takes off. There are
tremendous sensors implanted in its body which continuously generate
data and send its current status to the teams on the ground and on the
plane. Machines are equipped with smart sensing capabilities, which
result in data generation. For example, a cellphone, which we now call a
smartphone, is equipped with sensors like motion sensors, environmental
sensors, proximity sensors, and a lot more. We use the term “smart” for
the cellphone because it enables us to track and connect to other things. In
general, we call a device a smart device based on three main properties:
the ability to connect to other devices or the network, execute services and
autonomously collect data, and have some knowledge of the environment.
Smart devices are widely available, and they are often interconnected,
which led to something we call today the Internet of Things (IoT).
Introduction to Big Data 5

These connected smart devices in IoT networks are continuously generat-


ing data, and these data constitute what we call machine-generated data.
Machines generate data 24/7 through the in-built sensors, both at a per-
sonal and an industrial scale, and thus contribute a major proportion to the
big data among all sources. The biggest advantage of machine-generated
data is that it enables real-time data analysis, which results in real-time
monitoring, notification and action.

1.2.2 Big Data Generated by Humans


People produce enormous amounts of data on a daily basis as a result
of their use of social media websites, such as Facebook, Instagram,
LinkedIn, and Twitter, and online video-sharing websites, such as
YouTube. These websites allow users to upload, share, and view photo-
graphs and videos. In addition to these sources, a heavy amount of data is
generated by performing internet searches, writing blogs, making com-
ments, writing text messages and personal emails. A glimpse of these data
sources is shown in Figure 1.3. One of the biggest drawbacks of data
generated by humans is that the majority of the data is highly unstructured
and is non-adhering to well-defined data models.
Table 1.1 shows the daily data volume figures from some of the lead-
ing internet platforms; these statistics are interesting since they fall within
the Petabyte range for everyday tasks.
This vast volume of primarily unstructured data produced by people
poses numerous challenges. Unstructured data do not conform to the

Figure 1.3. Human-Generated Big Data Sources [7]


6 Big Data Management and Analytics

Table 1.1. Daily Data Volumes for Popular Online


Platforms [8]
Company Amount of Data Generated Each Day
Google 100 Petabyte (PB) (1 PB = 1000 TB)
Facebook 30 + PB
Twitter 100 Terabyte (TB) (= 0.1 PB)
Spotify 64 TB
eBay 100 PB

pre-defined data models, i.e., these constitute data that we cannot store in
traditional database systems. We cannot use the relational database man-
agement system (RDBMS) to manage and extract this kind of data. As an
example of structured data, consider a sales receipt that we get when we
buy something: the invoice has a proper structure, and there is a date sec-
tion, name section, list of items purchased, and the total amount to be
paid. While on the other hand, unstructured data relates to data that
humans generate in the form of text that we write with our hands. These
do not follow any well-defined structure, and out of the entire data in the
world, 80–90% relate to unstructured data, and this number is growing at
a very fast pace, and technically, this is what we call the velocity of the
big data. The following information graphics shown in Figure 1.4 can give
us the idea of the data that we contribute each day and every single minute
on the Internet.
In addition to text, people also create various forms of unstructured
data, such as video, audio, photographs, web searches, and emails. It is
difficult to manage and analyze unstructured data since it might be in any
of the wide variety of formats designed primarily for human consumption,
such as HTML, pictures, PowerPoints, PDFs, and so on. It may take a
considerable investment in time and money to collect, store, cleanse,
retrieve, and evaluate unstructured data before we can start enjoying its
benefits. Further, the tools and people needed to carry out the extraction
process from these huge volumes of unstructured data are quite difficult
to find. However, organizations are still using this kind of data to find out
useful insights and trends.
Now, the question is how data generated by people is being used.
What are the emerging technologies that can tackle these challenges? The
Hadoop open-source big data framework is the backbone of most of the
Introduction to Big Data 7

Figure 1.4. Data Generated in Each Minute over the Internet [9]

unstructured big data management tools available today. Hadoop handles


large datasets in a distributed manner and thus tackles the first challenge,
namely the volume of the unstructured data. But in addition to this, there
is a need for real-time data processing to handle the data from sources,
such as Twitter and Facebook. The other two open-source frameworks
that can deal with such rapidly produced real-time data are Spark and
Storm. Every database or data storage system is compatible with both of
these tools. Regrettably, in today’s dynamic big data world, we cannot
utilize standard RDBMS to store this unstructured data because it is too
static. Most modern enterprises, however, have discovered a workaround
for this issue by adopting a hybrid strategy whereby smaller, structured
8 Big Data Management and Analytics

datasets are kept in relational databases, and larger, unstructured datasets


are maintained in cloud-based NoSQL databases. NoSQL Data technolo-
gies, in contrast to the traditional relational database-centric warehouses,
are based on non-relational notions and provide data storage solutions
frequently in the form of cloud computing. For instance, a graph database
is an optimal choice when the data will be used in an analysis to reveal
connections between different types of data. The graph database Neo4j
serves as an example. There are certain databases designed for the purpose
of storing and retrieving data using keys and values, such as in a search
engine. Cassandra is an example of a key-value database. Apart from
these two, there are several other types of NoSQL systems that can
address individual challenges.
The next question is how to use these emerging technologies to gener-
ate valuable insights from people-generated big data. As we know, to
generate value out of data, it needs to be passed through several steps,
such as storage, retrieval, cleaning, and analysis. It is possible to find a
solution to this issue by running each stage as a separate layer, adapting
the currently accessible tools to the nature of the issue at hand, and scaling
analytical methods to large amounts of data. Organizations listen to the
real voice of customers using big data, and one such example is sentiment
analysis. In this type of analysis, companies examine social media and
other data to determine whether people have a good or negative percep-
tion of their company. Personal data processing is being used by busi-
nesses to better understand their consumers’ genuine preferences. Twitter
analyzes around 12 terabytes of data every day to find out sentiments
around some product or topic. To compare, it would take two nonstop years
to listen to one terabyte of music. There are other such examples where
companies, such as Amazon and Netflix, are using people-generated data
to determine the preferences of their customers, to provide them best
offers, and to recommend products and services based on their past lik-
ings, thereby resulting in happy customers and increased profits.

1.2.3 Big Data Generated by Organizations


The big data generated by organizations is structured, but it comes in
silos. The generation of data by an organization depends on the context,
and it varies from organization to organization. Since every organization
has its own unique set of operational procedures and marketing strategies,
it results in a diverse range of data production platforms. A bank, for
Introduction to Big Data 9

example, receives significantly different types and sources of data than a


hardware equipment maker. Some prevalent sources of organizational big
data are the transactions performed by users, e-commerce, stock records,
medical records, etc. Organization store their data for present or future use
and perform analysis of the past. For example, an organization collects
sales data and uses pattern recognition to find connected products, antici-
pate demand for products that are expected to increase in sales, and catch
fraudulent activities. Organizations typically store every event of their
interest and run analytics to maintain their inventories as per the predicted
demands. Traditionally, most organizations manage and process highly
structured data for their operational and business intelligence systems, and
as a result, RDBMS was highly adopted by most of them. However, it is
still challenging to integrate this structured data as there is a continuum of
technologies which model, collect and process data coming from different
software and hardware components within an organization. Such issues in
the past resulted in information being housed in silos, even within an
organization, and if such silos are left untouched, the organizations are at
risk of being outdated and unsynchronized. Further, most organizations
have typically collected data at the departmental level, with no infrastruc-
ture or policies in place to exchange and combine information, since there
is not a single system within the organization that can access all of the
data. The adverse effects of maintaining such a rigid structure are becom-
ing increasingly apparent to businesses, who are therefore altering their
policies and architecture in order to make room for the integrated process-
ing of all data for the greater good of the whole enterprise. In this domain,
cloud-based solutions are considered possibilities that are both versatile
and cost-effective.
Now, the question is how organizations are benefiting from big data.
Organizations can have real benefits from the organization-generated data
if they combine it with other types of data. Walmart is an example of a
company in the retail sector that makes extensive use of big data. Walmart
is a large organization with 250 million customers and 10,000 stores,
and they collect around 2.5 PB data per hour. They monitor a wide range
of information pertaining to sales, customers, and products, including
tweets, in-store transactions, clicks on the company’s website, and more.
They make use of this data to detect patterns, such as which products are
frequently purchased together and which new products to offer in their
stores, to estimate demand in a particular area, and to tailor the recom-
mendations they provide. Overall, Walmart has retained its position as a
10 Big Data Management and Analytics

leading retailer by embracing big data and analytics. Almost all the lead-
ing companies are now utilizing big data, and studies forecast that total
spending will drastically increase in the future. According to a study
conducted by Bane and Company, early adopters of big data analytics
have a huge advantage over the rest of the corporate sector, which is
shown in Figure 1.5 [10].
As shown in Figure 1.5, companies that utilize analytics have a five
times greater likelihood of making decisions much faster than their peers,
a three times greater likelihood of executing decisions as intended, and a
two times greater likelihood of using data very frequently when making
decisions. Additionally, these companies are twice as likely to be in the

Figure 1.5. Early Adoption Benefits of Big Data [10]


Introduction to Big Data 11

top quartile of financial performance inside their own industry. Integrating


big data approaches into a company’s culture and breaking down silos
have proven to be extremely beneficial. Operational efficiency, higher
sales, increased revenues, and improved customer satisfaction include just
a few of the primary benefits to organizations.

1.3 Characteristics of Big Data


Big data is a blanket term for any collection of data that is huge and com-
plicated enough to exceed the processing capabilities of traditional data
management systems and procedures. Big data is commonly characterized
by a number of V’s, as shown in Figure 1.6.
The first three are Volume, Velocity and Variety, which are coined by
Doug Laney [11]. The term “volume” alludes to the enormous quantity of
data that is produced every instant, period, and day in this era of digital
technology. The pace at which data are generated as well as the rate at
which the data move from one point to the next are both referred to as the
velocity of data. Variety refers to the several configurations/forms that the

Volume
(size)

Value Velocity
(insight) (speed)

Dimensions of Big
Data

Valence Variety
(connecvity) (complexity)

Veracity
(quality)

Figure 1.6. The Six V’s of Big Data


12 Big Data Management and Analytics

data are capable of taking. Data can be represented in an extremely wide


variety of formats, some examples of which include text, photographs,
audio, and geographical data. Big data can be described by its volume,
velocity, and variety, which are the three primary dimensions that define
it. More and more Vs have been brought to the field of big data as
we learn of new challenges and methods for defining “big data”. Two of
these additional V’s are referred to as veracity [12−14] and valence [14].
When talking about data, veracity relates to things like biases, noise, and
irregularities. Veracity, to use the term in its most relevant use, refers to
the immeasurable degrees to which the accuracy and reliability of data
might vary. Valence is the process of connecting vast amounts of data in
the form of graphs. The sixth V is the Value [14], which describes how big
data benefits you and your organization.

1.3.1 Volume
The amount and rate of expansion of big data are also factors that go
into the volume dimension. This volume can come from massive datasets
or the collection of many little data pieces and events over time. The size
and scope of big data storage can be enormous. According to a report by
IDC, there will be a 61% increase in the amount of data stored digitally
and this will become around 175 zettabytes [6], where a zettabyte is
1 trillion gigabytes, i.e., 1021. One can only fathom the time span, money,
and effort that will be required to store such a large amount of data, and
understanding the criticality of these is a little difficult. After that, the fol-
lowing era will be of yottabytes (1024) and brontobytes (1027) which is
pretty impossible for us to comprehend at this moment. This is called data
growing at an astronomical scale. The huge volumes of big data come
with a variety of challenges. Certainly, storage is the most apparent one.
The larger the amount of data to be stored, the greater the amount of stor-
age space that will be necessary to store the data effectively. We will need
to have the capability to quickly retrieve this enormous volume of data
and then promptly transmit it to the processing units. This leads to addi-
tional issues, such as networking, bandwidth, the cost of data storage,
whether to store data locally or in the cloud, and so on. The processing of
such staggering quantities of data poses further complications. In terms of
memory, processor, and input/output requirements, most present analyti-
cal approaches will not scale to such large amounts of data.
Introduction to Big Data 13

1.3.2 Velocity
The rate at which large amounts of data are produced, collected, and
digested is referred to as velocity. To enable real-time action, processing
data in real time should match the rate at which they are created. This
feature makes it possible to personalize the advertising that appears on the
websites you visit depending on the content that you have previously
searched for, watched, or purchased on these websites. When a company
is unable to take advantage of data as it is created or as it is analyzed, it
frequently misses out on opportunities. It is possible that the rate at which
big data is generated and the ability to evaluate it as it is produced could
have a substantial impact on the standard of living of humans. Sensors and
other types of intelligent technology that monitor the human body can
detect abnormalities in real time and take corrective action immediately,
hence these have the potential to save lives. This type of processing is
known as real-time processing, and it is very different from its more dis-
tant relative: batch processing. During batch processing, significant amounts
of data are loaded into massive computer systems all at once and then
processed in stages over a period of several days.
Decisions based on outdated data, even if only a few days old, can be
disastrous for certain organizations. Organizations that base their deci-
sions on the most recent facts are more likely to succeed. So, in order to
acquire the capability of making decisions in real time, it is essential to
match the pace of processing with the speed at which information is gen-
erated. In addition, the sensor-driven sociocultural environment of the
modern day calls for decisions to be made more quickly. As a conse-
quence of this, we are unable to wait around for all of the data to be gener-
ated before feeding it into a device. There are many different applications
where new data are constantly being generated and need to be combined
with existing data in order to make decisions. Some examples of these
applications include the planning of disaster responses, decisions regard-
ing real-time trading strategies, and marketing forecasts. As more data are
collected, the conclusions drawn from the analysis should evolve to
reflect the shifting nature of the data’s inputs. Processing in batches the
information that was acquired in the past could lead to decisions that paint
an inaccurate image of the situation. As a consequence of this, the applica-
tions require what is known as streaming analysis, which is a state of the
current environment that is updated in real time. We are fortunate to be
able to collect the most current information at a much quicker rate and in
14 Big Data Management and Analytics

real time than we were in the past due to the development of low-cost
sensors, cellular phones, and social networks. Streaming data provides
real-time updates on what’s going on. Streaming data has velocity, which
means it is created at different speeds, and real-time analysis of such data
provides agility and flexibility to optimize the advantages that an organi-
zation wants.

1.3.3 Variety
It is a form of scalability, but here the term “scale” does not refer to the
size of the data. Instead, it refers to diversity. To solve real-life problems,
a variety of data need to be collected, stored, and processed. The four
primary dimensions of data heterogeneity are structural variety, media
variety, semantic variety, and availability variation. Structural variety
refers to the difference in the representation of data. For example,
NASA’s satellite image of wildfires appears quite different compared to
the tweets put out by those watching the fire spread. The term “medium
variety” relates to the medium through which the data are transmitted.
The audio recording of a speech and the written transcript of the same
speech, for instance, both contain the same information; but, they are
presented in quite different formats. There can also be some data objects
that may contain multiple media, like news video, which is a combination
of image sequence, audio, and captioned text. Semantic variety relates to
how to interpret and perform operations on data. For example, when we
measure amounts, we frequently utilize different units. We sometimes
also utilize qualitative vs. quantitative measurements. Availability varia-
tion can take many forms. For example, data can be available in real time,
such as sensor data, or saved, such as health records. Similarly, data can
be accessed on a continuous basis, such as data from a traffic camera, or
on a periodic basis, such as just when the satellite passes over the region
of interest.
Further, a single data object or a group of related data objects, may not
be uniform on their own, there could be variety within type too. For exam-
ple, Emails are a hybrid entity. The email header, which contains fields
like Sender, Receiver CC/BCC, Date, and Subject, constitutes a structured
component and can be seen in the form of a table. The body of the email
contains text, and the attachment may contain some images, files or other
multimedia objects.
Another random document with
no related content on Scribd:
vista los jonios, quizá se habrán animado a ejecutar lo que tiempo ha
deseaban; que si en la Jonia me hubiera hallado yo presente
paréceme que ninguna ciudad hubiera osado mover contra vos un
dedo de la mano. Lo que al presente puede hacerse en este caso es
permitirme que con toda diligencia me parta para Jonia, donde pueda
reponer los asuntos en el mismo pie de antes y os entregue preso en
vuestras manos a mi regente, si tales cosas maquinó. Aun os añado, y
os lo juro, señor, por los dioses tutelares de vuestro imperio, que
después de ajustadas estas turbulencias a toda vuestra satisfacción
no he de parar ni quitarme la misma túnica con que bajaré a la Jonia
antes de conquistaros a Cerdeña,[79] la mayor de las islas, haciéndola
tributaria de la corona».
CVII. Era tan falsa esta arenga como el alma y fe griega de
Histieo, y con todo se dejó persuadir de ella Darío, dándole licencia
para partirse de la corte y ordenándole al mismo tiempo que una vez
cumplido lo que acababa de ofrecerle, diese la vuelta y se le
presentase de nuevo en Susa.
CVIII. Mientras que llegaba al rey aviso de lo sucedido en Sardes
y, hecho el alarde del arco, hablaba Darío con Histieo, y este
licenciado por el rey, marchaba hacia las provincias marítimas, iba
sucediendo en este intermedio lo que voy a referir.[80] Estaba Onésilo
el de Salamina, apretando el sitio de los de Amatunte, cuando le llega
el aviso de que en breve se espera en Chipre al persa Artibio, a donde
venía conduciendo en sus naves una poderosa armada. Habida esta
noticia, pide Onésilo a la Jonia por medio de unos diputados que
vengan en su ayuda y socorro los jonios, y estos, sin gastar mucho
tiempo en resolverse, hácense a la vela con una gruesa armada. En un
tiempo mismo sucedió, pues, que los jonios aportasen a Chipre, que
los persas recién venidos de la Cilicia desembarcados en la isla
marchasen ya por tierra la vuelta de Salamina, y que los fenicios
doblasen el cabo que llaman las Llaves de Chipre.[81]
CIX. En tal estado de cosas, convocan los señores de las
ciudades de Chipre a los jefes jonios y entablan con ellos este
discurso: «Nosotros los chipriotas, amigos jonios, dejamos a vuestro
arbitrio la elección de salir al encuentro o bien a los persas o bien a los
fenicios. El tiempo insta: si escogéis venir a las manos con los persas
en campo de batalla, saltad luego a tierra y formar vuestras filas, que
en este caso embarcándonos en vuestras naves vamos a cerrar con
los fenicios. Pero si preferís combatir por mar con los fenicios
menester es poner manos a la obra. Escoged una de dos, para que as
contribuyáis por vuestra parte a la libertad de Jonia y de Chipre». «A
nosotros, replican los jonios, nos mandó venir el estado de la Jonia con
orden de defender estos mares y no de acometer por tierra a las tropas
persas cediendo nuestras naves a los de Chipre. En el puesto
señalado procuraremos, pues, desempeñar nuestro deber con todo e
esfuerzo posible: ved vosotros de obrar en el vuestro como gente de
valor, teniendo presente las indignidades que esos medos, vuestros
señores, os han hecho sufrir».
CX. Tal fue la respuesta de los jonios, después de la cual, como
hubiesen llegado ya los persas al campo de Salamina, los reyes de
Chipre ordenaron contra ellos su gente en esta disposición: Enfrente
de los soldados del enemigo, que no eran persas de nación, ordenaron
una parte de sus tropas chipriotas; delante de los persas mismos
pusieron la flor de su gente escogida entre las milicias de Salamina y
de Soli:[82] Onésilo por su voluntad escogió el puesto que correspondía
al que enfrente ocupaba Artibio, general de los persas.
CXI. El caballo en que Artibio venía montado estaba enseñado a
empinarse contra el enemigo armado. Advertido de esto Onésilo, habló
así con un escudero cario[83] que tenía, hombre muy diestro en lo que
mira a los encuentros de armas, y en todo lo demás muy sagaz y
advertido: «Oigo decir, amigo, que ese caballo de Artibio tiene la
habilidad de alzarse sobre los pies y embestir al que delante tiene con
las manos y con la boca. Piénsalo tú, y dime luego a cuál de los dos
quieres que apuntemos y derribemos antes, si al caballo, o bien a su
jinete Artibio». «Pronto estoy, señor, le responde el escudero, para
ambas cosas; pronto para cualquiera de las dos y para todo lo que me
ordenéis. Diré sin embargo lo que me parece hacer más al caso para
vuestra reputación. Lo más propio y decoroso es que un rey cierre
contra otro rey, y un general contra otro general, pues si en ta
encuentro diereis en tierra con aquel jefe, haréis una regia hazaña, y
aun cuando él, lo que no querrán los dioses, os echare al suelo, e
morir en tales manos aliviaría en la mitad el peso de la desventura. A
nosotros escuderos corresponde medirnos con otros escuderos. No os
dé trabajo, señor, el caballo empinado con aquella habilidad, que a fe
mía no vuelva jamás a empinarse».
CXII. Dijo, y en aquel punto mismo cerraron las dos armadas po
tierra y por mar. En la batalla naval vencieron los jonios a los fenicios
haciendo aquel día prodigios de valor, y los que mejor se portaron en
la función fueron los samios. En la tierra, después que estuvieron ya a
tiro los dos ejércitos, he aquí lo que pasó entre los dos generales
Embiste Artibio montado en su marcial caballo contra Onésilo; vele
este venir; dispara contra él, según lo prevenido por su escudero, y
acierta bien el tiro; iba el vecino caballo a dar con las manos contra e
adarga de Onésilo, cuando el escudero cario le da listo un golpe de
hoz, y se las siega entrambas. El caballo, manco ya y encabritado, da
consigo en el suelo, y con él Artibio, el general persa.
CXIII. Encarnizadas en tanto las otras tropas, se hallaban en e
calor del combate, cuando Estesenor, el tirano de Curio, entregó
alevosamente a los persas una gran división del ejército, que cerca de
sí tenía. Pasados al enemigo los curios, colonos, a lo que se dice, de
los argivos, siguieron inmediatamente su mal ejemplo los carros
guerreros de los salaminios,[84] y de resultas de estas deserciones
como empezasen los persas a llevar la ventaja en el combate, e
ejército de los chipriotas volvió las espaldas al enemigo. Entre otros
muchos que perecieron en la huida, quedaron rendidos en el campo
dos generales, el uno Onésilo, hijo de Queris, autor que había sido de
la sublevación de Chipre; el otro Aristócipro, rey de los solios, hijo de
Filócipro, de aquel célebre Filócipro a quien sobre todos los demás
príncipes ensalzó en sus versos el ateniense Solón, cuando estuvo
viajando en Chipre.[85]
CXIV. Los amatuntios victoriosos, para vengarse del asedio que
Onésilo les había puesto, le cortaron la cabeza y se la llevaron
colgándola después sobre las puertas de su ciudad. Sucedió, pues
que estando allí suspensa y ya del todo hueca, entró dentro un
enjambre de abejas y fabricó en ella sus panales. Vista aquella
novedad, tuvieron por conveniente los amatuntios consultar al oráculo
acerca de aquel raro fenómeno, y la respuesta fue que se diera
sepultura a la cabeza descolgada, y se hicieran a Onésilo sacrificios
anuos como a un héroe, y que con esto todo les iría mejor. Y en efecto
así lo hacían hasta mis días los de Amatunte con el héroe Onésilo.
CXV. Los marinos jonios, que gloriosamente acababan de dar en
Chipre su batalla naval, viendo ya perdida la causa de Onésilo, y
cercadas al mismo tiempo todas las ciudades de la isla, menos la de
Salamina, que los mismos salaminios habían restituido a Gorgo, su
antiguo rey, haciéndose luego a la vela, bien informados del ma
estado de Chipre, dieron la vuelta hacia Jonia. Entre todas las
ciudades de la isla, fue la de Soli la que por más tiempo resistió a
cerco, logrando rendirla los persas, pasados cinco meses de sitio, con
las minas que alrededor de los muros abrieron.
CXVI. Los chipriotas, en suma, sacudido el yugo de los persas po
el breve espacio de un año, cayeron de nuevo bajo el mismo dominio
En cuanto a aquellos jonios que habían hecho sus correrías hasta la
misma Sardes, persiguiéronles los generales persas, especialmente
Daurises, casado con una hija de Darío, y en su compañía otros dos
yernos del rey, Himayes y Ótanes, y habiéndoles derrotado en campo
de batalla, les obligaron a refugiarse a sus naves: repartidas las tropas
en seguida contra las plazas del país, iban tomándolas con las armas.
CXVII. Echándose, pues, Daurises hacia el Helesponto, rindió las
plazas de Dárdano, Abido, Percote, Lámpsaco y Peso,[86] y la toma de
ellas le salió a plaza por día. Dirigíase desde Peso hacia la ciudad de
Pario, cuando llegó aviso de que unidos los carios al partido jonio
acababan de levantarse contra el persa, novedad que le obligó a que
dejando el Helesponto, marchase con sus tropas hacia Caria.
CXVIII. Ignoro cómo tuvieron los carios aviso de que contra ellos
venía marchando Daurises, primero que este llegase con su ejército
Dioles lugar esta noticia adelantada a que se juntasen en cierto sitio
llamado las Columnas Blancas (Leucas Stelas), cerca del río Marsias
que bajando de la región Idríade va a confundirse con el Meandro. En
la junta que allí tuvieron los carios, el mejor de los varios pareceres
que hubo fue, a mi entender, el que dio Pixódaro, hijo de Mausolo y
natural de Cindia, quien estaba casado con una princesa hija de
Siénesis, rey de los cilicios. Era de parecer este varón que pasando e
Meandro y dejando este río a las espaldas, entrasen los carios en
batalla con el persa, pues así dispuesto y viendo cerrado el paso a la
fuga, la misma necesidad de no poder desamparar su puesto les haría
sin duda, mucho más valientes y animosos de lo que eran
naturalmente. Pero rechazado este voto, se siguió el contrario, de que
no los carios, sino los persas, tuvieran a sus espaldas el Meandro
claro está que con la mira de que los persas, si quisieran huir, perdida
la batalla, no pudieran volver atrás dando luego con el río.
CXIX. No tardaron en aparecer los persas, y pasando el Meandro
vinieron a las manos con el enemigo cerca del río Marsias. En la
batalla, si bien los carios por largo tiempo resistieron al persa haciendo
los mayores esfuerzos de valor, su menor número, con todo, cedió a
fin al mayor de los enemigos. Los muertos en el choque de parte de
los persas fueron como 2000 y hasta 10.000 de la de los carios. Los
que de estos quedaron salvos con la fuga, se vieron en la necesidad
de refugiarse a Labraunda,[87] en el templo de Zeus el Estratio o
guerrero, cerca del cual había un gran bosque de plátanos consagrado
a aquella divinidad; y de paso no quiero dejar de observar que de
cuantas naciones tengo noticia, la de los carios es la única que
sacrifica a Zeus bajo aquel título. Refugiados allí los carios, empiezan
a deliberar de qué manera podrían quedar salvos, si acaso sería bien
entregarse al persa a discreción o mejor abandonar de todo punto e
Asia menor.
CXX. Estando, pues, los carios en lo mejor de su consulta, ven
llegar hacia ellos a los milesios, juntos con sus demás confederados
con el objeto de darles asistencia y socorro: y al momento, dejándose
de arbitrios para salvarse, se disponen de nuevo a continuar la guerra
comenzada. Así que, acometidos segunda vez por los persas
hiciéronles los carios una resistencia más viva y larga aún que la
pasada, aunque habiendo al cabo sido rotos y vencidos, murieron en la
acción muchos de ellos, y padecieron en ella más que nadie los
auxiliares milesios.
CXXI. Recobráronse los carios de su pérdida después de este
destrozo, volviendo de nuevo a pelear. Saben que los persas se
disponen a llevar las armas contra sus plazas, y les arman una
emboscada en el camino que va a Pédaso. Salioles bien el artificio
porque habiendo dado de noche los persas en la celada, fueron
pasados a filo de espada, y con sus tropas perecieron
desgraciadamente los generales Daurises, Amorgas y Sisímacas, y
con ellos asimismo Mirso, hijo de Giges. El adalid y autor principal de
la emboscada fue un ciudadano de Milasa, llamado Heraclides, hijo de
Ibanolis.
CXXII. Así murieron aquellos persas. Himayes, otro de los
generales empleado en llevar las armas contra los jonios que
invadieron a Sardes, se apoderó de Cío,[88] ciudad de Misia
echándose con su gente hacia la Propóntide. Mas dueño ya de la
mencionada plaza, apenas supo que Daurises, dejando el Helesponto
partía con sus tropas para Caria, condujo su gente al mismo
Helesponto, donde además de todos los eolios situados en la región
de la Ilíada, logró rendir a los gergites,[89] que son las reliquias de los
antiguos teucros. Pero no sobrevivió Himayes a las conquistas de
estas naciones, muerto de una enfermedad que en su curso le
arrebató.
CXXIII. El virrey mismo de Sardes, Artafrenes, y en su compañía
Ótanes, que era el tercero entre los generales ocupados en hacer la
guerra en la Jonia y en la Eólida comarcana con ella, tomaron dos
ciudades, la de Clazómenas en la Jonia, y la de Cime,[90] plaza de los
eolios.
CXXIV. Al tiempo que caían dichas ciudades en poder de
enemigo, el milesio Aristágoras, que sublevando la Jonia había llevado
las cosas al último punto de perturbación, mostrose hombre de
corazón poco constante en las adversidades, pues al ver lo que
pasaba, pareciéndole ser enteramente imposible que pudiese se
vencido el rey Darío, solo pensó cómo podría escapando poner en
salvo su persona. Llamando, pues, a consulta sus partidarios, les dice
que juzgaba por lo más acertado procurar ante todo tener prevenida y
pronta una buena retirada a donde se refugiaran, si acaso la necesidad
les obligase a desamparar a Mileto; que decidieran si sería mejo
conducir una colonia de milesios a Cerdeña, o bien a Mircino, plaza
situada en los edonos, que había fortificado Histieo después de
recibirla de mano y gracia de Darío. Tal era la propuesta sobre que
consultaba Aristágoras.
CXXV. Hallábase en la consulta el docto historiador Hecateo, hijo
de Hegesandro, cuyo parecer era de no enviar la colonia a ninguna de
las dos partes propuestas, sino de que Aristágoras levantase antes
una fortaleza en la isla de Leros, y en caso de ser echado de Mileto
estuviese quieto entretanto en aquella guarida, desde cuya fortaleza
pudiese salir después para recobrar su patria: este fue el parecer de
Hecateo.
CXXVI. Mas el partido a que más se inclinaba Aristágoras era a
de llevar una colonia a Mircino. Encargando con esto el gobierno de
Mileto a uno de los sujetos más acreditados de la ciudad, por nombre
Pitágoras, él mismo en persona toma consigo a los ciudadanos todos
que se ofrecen a seguirle, y se hace con ellos a la vela para la Tracia
donde se apoderó del país deseado. Después de esta conquista, como
salido de su plaza con su gente de armas, estuviese sitiando a otra
ciudad de los tracios,[91] pereció allí Aristágoras con toda su tropa a
manos de los bárbaros, por más que pretendiera salvarse por medio
de una capitulación.
LIBRO SEXTO.

É R ATO .

Histieo continúa induciendo a los jonios a batirse contra los persas, pero estos procuran
dispersar su armada por medio de las instigaciones de sus antiguos señores: derrota de la
armada jonia: toma de Mileto. Histieo, hecho pirata, cae en poder de los medos, los cuales
se apoderan de las ciudades jónicas y del Quersoneso, abandonado por Milcíades, que se
había alzado con su dominio. La armada persa se dirige contra Atenas y naufraga al pie de
Atos. Los de Egina se entregan a los persas, por cuyo motivo trata el rey de Esparta de
castigarlos. — Origen de los reyes de Esparta, y deposición del rey Demarato: artificios de
Cleómenes contra este, descubiertos los cuales huye de Esparta. — Los eginetas hacen
nuevos insultos a los atenienses, los cuales consiguen derrotarlos en una batalla naval. —
Atacan los persas a Eretria, y se apoderan de ella por traición. Continúan los persas contra
Atenas y avanzan hasta Maratón. Los atenienses les salen al encuentro, al mando de diez
generales. Batalla de Maratón. Dudas acerca de la lealtad de los Alcmeónidas y aventuras
de esta familia. Milcíades, célebre desde la batalla de Maratón, es acusado por no habe
tomado a Paros, y absuelto de la pena capital por la conquista de Lemnos, que hiciera en
otro tiempo.

I. Tal fue el fin que tuvo Aristágoras, el que había sublevado la


Jonia. Durante estos sucesos había ya vuelto a Sardes, conseguida
licencia de Darío, Histieo, señor de Mileto, a quien apenas acabado de
llegar de Susa preguntó Artafrenes, virrey de Sardes, qué le parecía
aquella rebelión y cuál habría sido el motivo de ella. Fingiendo Histieo
que nada sabía, y maravillándose del estado presente de las cosas
respondiole que todo le cogía de nuevo. Pero bien enterado Artafrenes
del principio y trama del levantamiento, y viendo la malicia y disimulo
con que respondía aquel: «Histieo, le replicó, esos zapatos que se
calzó Aristágoras, se los cortó y cosió Histieo», aludiendo en esto y
zahiriendo al primer móvil de aquella revolución.
II. Histieo, pues, no asegurándose de Artafrenes como de quien
estaba ya sabedor de la verdad, venida apenas la noche se fue
huyendo hacia el mar y dejó burlado al rey Darío; porque bien lejos de
conquistar a la corona la isla de Cerdeña, la mayor de cuantas hay en
el mar, según lo tenía prometido, marchó a ponerse al frente de los
jonios, como generalísimo en la guerra contra el persa. Con todo, los
de Quíos, a donde pasó luego, teniéndole por espía doble de Darío
enviado con la oculta mira de intentar contra ellos alguna novedad, le
pusieron preso; aunque poco después, informados mejor de la verdad
y sabiendo cuán grande enemigo era del rey, le dejaron otra vez libre y
suelto.
III. Reconvenido entonces Histieo por los jonios por qué con tantas
veras había mandado decir a Aristágoras que se levantase contra e
rey, sublevación que tanto estrago y desventura había acarreado a la
Jonia, se guardó muy bien de descubrirles el motivo verdadero que en
aquello había tenido, sino que con un engaño procuró alarmarles de
nuevo, diciéndoles que lo había hecho por haber sabido que el rey
Darío estaba resuelto a que los fenicios pasasen a ocupar la Jonia, y
los jonios fuesen trasplantados a la Fenicia,[92] y que esta había sido la
causa de habérselo así mandado. Al rey no le había pasado tal cosa
por la cabeza; mas con aquel terror imaginario turbaba Histieo a la
Jonia.
IV. Poco después de esto envió Histieo a Sardes un mensajero de
nación atarnaita, llamado Hermipo, con cartas dirigidas a ciertos
persas con quienes tenía de antemano tramada una sublevación.[93
Hermipo, en vez de entregar las cartas a aquellos a quienes iban
destinadas, se presentó en derechura a Artafrenes y se las puso en las
manos. Cerciorado este de la oculta conjuración, manda a Hermipo
que, tomando otra vez sus cartas, las entregue a quien van de parte de
Histieo, pero que recogidas las respuestas de los persas a este, las
vuelva a poner en sus manos antes de partir con ellas. Descubierta de
este modo la secreta conspiración, ajustició el virrey Artafrenes a
muchos persas.
V. Luego que sucedió en Sardes esta novedad, viendo Histieo
desvanecidas sus esperanzas, logró de los de Quíos, con sus ruegos e
instancias, que le llevasen a Mileto. Los milesios, que con particula
gusto y satisfacción poco antes se habían visto libres de Aristágoras
estaban muy ajenos a la sazón de recibir en casa y de voluntad propia
a ningún otro señor, mayormente después de haber gustado lo dulce y
sabroso de la libertad. Habiendo, pues, Histieo intentado entrar de
noche y a viva fuerza en Mileto, salió herido en un muslo de mano de
un milesio, sin lograr el objeto de su tentativa. Echado de su ciudad
este antiguo señor, da la vuelta a Quíos, de donde no pudiendo induci
a aquellos naturales a que le confiasen sus fuerzas de mar, pasó a
Mitilene, y allí pudo lograr de los lesbios que le dieran su armada
Llevando, pues, estos a bordo a Histieo, fuéronse hacia Bizancio con
ocho galeras bien tripuladas y armadas. Apostados con sus naves en
aquel estrecho, íbanse apoderando de cuantas embarcaciones venían
del Ponto, si no se declaraban de su voluntad prontas a seguir e
partido de Histieo.
VI. En tanto que guiados por Histieo se ocupaban en esto los de
Mitilene, hallábanse los milesios amenazados de un poderoso ejército
por mar y tierra que de día en día allí se esperaba, sabiéndose que los
jefes principales de los persas, unidas ya sus tropas en un solo cuerpo
sin curarse de las demás pequeñas ciudades enemigas, se dirigían
hacia Mileto. La mayor fuerza de la armada naval del persa consistía
en los fenicios, con quienes concurrían armados los de Chipre, poco
antes subyugados, como también los de Cilicia y los de Egipto, cuyas
fuerzas de mar venían todas contra Mileto y lo restante de la Jonia.
VII. Informados los jonios de la expedición prevenida, enviaron a
Panionio sus respectivos diputados para tener en él su congreso
Después de bien deliberado el asunto, acordaron allí reunidos, que no
sería del caso juntar tropas de tierra para resistir al persa; que lo mejo
era que defendiendo los milesios por sí mismos aquella plaza
armasen los jonios sus escuadras todas, sin dejar una sola nave
ociosa, y que así armados lo más pronto que posible fuera se juntasen
para cubrir y proteger a Mileto en la pequeña isla de Lade,[94] que viene
a estar frontera a la misma ciudad.
VIII. De resultas de dicha resolución, los jonios, a quienes se
habían unido los eolios de Lesbos, se juntaron allí con sus naves bien
armadas. El orden con que se formaron fue el siguiente: por la punta
de levante dejábanse ver los milesios con 80 naves propias
seguíanles los de Priene con 12 naves, y los de Miunte con 3
solamente; a estos se hallaban contiguos con sus 17 naves los de
Teos, y a estos los de Quíos con 100 embarcaciones. Venían después
por su orden los eritreos y los foceos, estos con solas 3 galeras
aquellos con 8; a los de Focea estaban los lesbios inmediatos con 70
naves, y los samios con 60 cerraban la extremidad de poniente.[95] De
suerte que la suma de naves recogidas en la armada jonia subió A 353
galeras.
IX. El número de las naves bárbaras era de 600, y luego que
aparecieron en las costas de Mileto, al oír los generales persas que
tenían allí cerca reunido el ejército de tierra, el gran número de galeras
en la armada jonia, se llenaron de pavor y espanto, desconfiando de
poder salir victoriosos contra ellas, y sumamente temerosos de que no
siendo superiores en el mar no podían llegar a rendir a Mileto, y de que
no rindiendo la plaza se verían en peligro de ser por ello castigados
por orden de Darío. Llevados, pues, de estos temores, determinaron
juntar los señores de la Jonia que echados de sus respectivos
dominios por el milesio Aristágoras, y refugiados antes a los medos
venían entonces en la armada contra Mileto, y juntos todos los que en
ella se hallaron, les hablaron así los generales persas: «Este el tiempo
señores jonios, en que acredite cada uno de vosotros su fidelidad a
soberano, y su amor a la real casa: es menester que cada cual por su
parte procure apartar a sus vasallos del cuerpo y liga de los conjurados
en esta guerra. Para esto debéis ante todo ganarles con buenas
razones, prometiéndoles que por su rebelión no tienen que teme
castigo ni disgusto alguno, y asegurándoles que ni entregaremos a
fuego sus templos, ni al saco sus cosas profanas y particulares, ni los
gravaremos con nuevos pechos diferentes de los que ahora tienen
Pero si viereis que no quieren separarse de los rebeldes, empeñados
de todo punto en entrar a la parte en la batalla, en tal caso les
amenazaréis en nuestro nombre, pintándoles lo que se les espera de
nuestra ira y venganza; que cogidos prisioneros de guerra, serán
vendidos por esclavos, que sus hijos serán hechos eunucos, sus
doncellas trasportadas a Bactria, y su país entregado a otros
habitantes».
X. Prevenidos por los persas los tiranos de la Jonia, luego que
vino la noche envió cada uno de ellos a sus antiguos vasallos quien de
su parte con el referido aviso les solicitase a separarse. Pero los
jonios, a cuyos oídos llegó aquella prevención, persuadidos de que a
ellos solos y no a los demás pueblos de la liga la dirigían los persas
mirando la cosa con desprecio no se movían a consentir en la traición
propuesta. Esto fue lo primero que intentaron los persas llegados a
Mileto.
XI. Juntos ya en Lade los jonios, empezaron desde luego sus
asambleas, en las cuales uno de los muchos oradores que hablaban
en público, fue el general de los foceos llamado Dionisio, que así les
arengó: «La balanza está ya al caer, jonios míos; anda en ella
suspensa nuestra suerte, y de su caída dependerá el que nosotros
quedemos independientes y libres, o que nos veamos tratados como
esclavos, y como esclavos fugitivos. Si queréis, pues, al presente
poneros en movimiento por un poco de tiempo, será necesaria de
contado alguna mayor molestia, pero el fruto de vuestro breve trabajo
será sin duda la victoria del enemigo, y el premio de la victoria vuestra
libertad. Pero si en esta ocasión queréis economizaros demasiado
viviendo sin orden y a vuestras anchuras, en verdad os digo que no
espero hallar medio alguno, ni aun alcanzo cuál pudiera darse para
librarnos después de las garras del rey y de la pena debida a unos
rebeldes. Esto no, amigos, nunca; creedme mejor a mí, teniendo po
bien dejaros en mis manos; que yo con el favor del cielo os aseguro en
tal caso una de dos, o que el enemigo no osará entrar en batalla con
vosotros, o que si entra saldrá muy descalabrado y roto».
XII. Dóciles a estas razones los jonios, se pusieron a las órdenes
de Dionisio, quien con la mira de ejercitar a los remeros, formando la
escuadra en dos alas, la sacaba de continuo en alta mar, y a fin de
tener en armas a la tropa naval, hacía asimismo que arremetiesen
unas galeras con otras. Lo restante del día después de dichas
escaramuzas obligaba a las tropas a pasarlo a bordo, ancladas las
naves, de suerte que los días enteros tenía a los jonios en continuo
ejercicio y fatiga. Como por espacio de siete días hubiesen ellos hecho
a las órdenes de Dionisio lo que les mandaba, viéndose ya molidos a
octavo con tanto trabajo, y acosados de los rayos del sol, como gente
no hecha a la fatiga, empezaron unos a otros a decirse: «¿Qué
fatalidad es esta, o qué crimen tan enorme hemos cometido para
darnos a tan desastrada vida? ¿Y no somos unos insensatos que
perdido el juicio nos entregamos a merced de un foceo fanfarrón, que
por tres naves que conduce se nos levanta con el mando
entregándonos a intolerables afanes? Visto está que no ha de dejarnos
aliento, pues ya muchos de la armada han enfermado de puro
cansancio, y muchos más, según toma el sesgo, vamos en breve a
hacer lo mismo. Por vida de Hades, antes que pasar por esto vale más
sufrirlo todo. Menor mal será aguantar la servidumbre del persa, venga
lo que viniere, que estarnos aquí luchando con esta miseria y muerte
cotidiana. Vaya enhoramala el foceo, y ruin sea quien a ese ruin de
hoy más le obedeciere». Esto iban diciendo, y en efecto desde aque
punto ni uno solo se halló que quisiese darle oídos, sino que todos
plantadas sus tiendas en dicha isla al modo de un ejército acampado
sin querer subir a bordo ni volver al ejercicio, descansaban a la
sombra.
XIII. Entretanto, los generales samios, viendo lo que los jonios
hacían, se decidieron a aceptar el partido que Éaces, hijo de Silosonte
de orden de los persas les había hecho proponer, pidiéndoles po
medio de un enviado que se apartasen de la alianza de los jonios
Viendo, pues, los samios el gran desorden que reinaba en la armada
jonia, y pareciéndoles al mismo tiempo imposible que las armas del rey
no saliesen al cabo victoriosas, por cuanto Darío, aun en caso de que
su armada presente fuese derrotada, tendría en breve a punto otra
cinco veces mayor, resolviéronse a admitir la mencionada propuesta
Estando en este ánimo, apenas vieron que no querían los jonios hace
su deber en aquella fatiga, cuando valiéndose de la ocasión echaron
mano de aquel pretexto a fin de poder conservar, separándose de la
liga, sus templos y bienes propios. Era este Éaces, cuya proposición
aceptaron los de Samos, un príncipe hijo de Silosonte[96] y nieto de
Éaces, señor de Samos, que había sido privado de sus estados po
manejo del milesio Aristágoras, del mismo modo que los otros señores
de la Jonia.
XIV. Cuando los fenicios presentaron la batalla, saliéronles a
recibir los jonios formados en dos alas. Llegadas a tiro las armadas y
empezada la acción, no puedo de fijo decir cuáles fueron los jonios
que se portaron bien, y cuáles los que obraron mal en la refriega, pues
los unos culpan a los otros, y todos se disculpaban a sí mismos. Es
fama que entonces los samios, según con Éaces lo tenían concertado
saliéndose de la línea a velas tendidas, se fueron navegando hacia
Samos, no quedando más que once naves de su escuadra. Los
capitanes de estas últimas, no habiendo querido obedecer a sus
generales y manteniéndose en su puesto, entraron en batalla; y e
común de los samios, en atención a este hecho, les honró después
haciendo que se grabasen en una columna los nombres de los mismos
capitanes y los de sus padres, queriendo dar en aquel monumento un
público testimonio de que fueron hombres de bien y de mucho valor
Viendo los lesbios que los que tenían inmediatos huían de la batalla
hicieron lo mismo que los samios, imitándoles la mayor parte de los
jonios.
XV. Los que más padecieron de cuantos quedaron peleando
fueron los de Quíos, haciendo proezas de valor, sin perdona
esfuerzos contra el enemigo, ni desmayar un punto en el combate
siendo 100 sus galeras, y llevando cada una 40 ciudadanos de tropa
escogida para la pelea. Bien veían que muchos de los aliados les
vendían pérfidamente; pero no queriendo parecérseles en la cobardía
y ruindad, por más que se viesen desamparados, con todo, con los
pocos aliados que les quedaban continuaron en avanzar, embistiendo
contra las naves enemigas, prendiendo muchas de ellas, pero
perdiendo el mayor número de las suyas, hasta que se hicieron a la
vela con las que les quedaban, huyendo hacia su patria.
XVI. Perseguidas por el enemigo algunas naves de su escuadra
que por destrozadas no se hallaban en estado de huir, tomaron la
derrota hacia Mícala;[97] allí, varando en la playa y dejando en ella las
galeras, salva ya la tripulación, íbase a pie por tierra firme. Caminaban
los marineros de Quíos por la señoría de Éfeso, y llegados ya de
noche cerca de la dicha ciudad, quiso su desgracia que las mujeres de
país estuviesen allí ocupadas en celebrar a Deméter legisladora un
sacrificio llamado Tesmoforia. Los efesios, que nada habían oído
todavía de lo sucedido a los de Quíos, y que viendo aquella tropa
entrada por su tierra, la tenían por una cuadrilla de salteadores que
venían a robarles las mujeres, saliendo luego todos levantados en
masa a socorrerlas, acabaron con los pobres marineros de Quíos
¡tanta fue su desventura!
XVII. Pero volviendo al bravo Dionisio el foceo, después que vio
los asuntos de los jonios de todo punto perdidos en la batalla
habiéndose en ella apoderado de tres naves enemigas, se partió de
allí con ánimo de no volver a Focea, su patria, pues bien visto tenía
que ella con toda la Jonia sería al cabo hecha esclava de los persas
Resolvió, pues, tomar desde allí el rumbo hacia la Fenicia, donde
como se hubiese apoderado de muchas naves de carga, rico ya con
tantos despojos, las echó a fondo y se hizo a la vela para Sicilia. Allí se
dio a la piratería, saliendo a menudo de aquellos puertos, sin toca
empero a ningún barco griego, y apresando a todos los cartagineses y
toscanos que podía coger.
XVIII. Vencedores los persas de los jonios en la batalla naval, bien
presto sitiaron por mar y tierra a Mileto, plaza que al sexto año de la
sublevación de Aristágoras tomaron a viva fuerza, combatiéndola con
todo género de máquinas y arruinando las murallas con sus minas
Una vez rendida la ciudad, hicieron esclavos a sus vecinos, viniendo
con esto a descargar sobre Mileto la calamidad que el oráculo les
había pronosticado.
XIX. Es de saber que consultando en cierta ocasión los argivos en
Delfos acerca de la conservación de su propia ciudad, se les había
dado un oráculo, no peculiar a ellos únicamente, sino perteneciente
también a los de Mileto, pues dirigido en parte a los de Argos, a lo
último llevaba una adición para los Milesios. Referiré la parte de
oráculo que tocaba a los argivos, cuando en su propio lugar diere
razón de sus asuntos: la parte que miraba a los milesios, que no se
hallaban allí presentes, estaba concebida en estos términos
«Entonces, oh Mileto, máquina llena de maldad, serás cena y
espléndida presa para no pocos, cuando tus damas laven los pies de
cabelluda raza; ni faltarán otros que adornen en Dídima mi templo»
Todos estos males vinieron entonces, en efecto, sobre los milesios
cuando los más de los hombres de la ciudad murieron a manos de los
persas, que solían criar su pelo largo; cuando las mujeres e hijos de
aquellos fueron reducidos a la condición de esclavos; cuando
finalmente, el templo de Apolo en Dídima, de cuya riqueza llevo ya
hecha mención en diferentes puntos de mi historia, fue con su capilla y
con su oráculo dado al saco y a las llamas.[98]
XX. Hechos, pues, prisioneros los milesios, fueron desde su patria
llevados a Susa. El rey Darío, sin ejecutar en ellos otro castigo
diferente, los colocó cerca del mar Eritreo en Ampe, ciudad por la cua
pasa el río Tigris, que desagua en el mar. Las heredades suburbanas
de Mileto las tomaron para sí los persas, dando las tierras altas de
país a los carios de Pédasa.
XXI. No hallaron los milesios en su desventura recibida de manos
de los persas la debida compasión y correspondencia en los sibaritas
que habitan al presente las ciudades de Lao y de Escidro,[99] después
que fueron privados de su antigua patria, la ciudad misma de Síbaris
pues habiendo sido esta tomada por los de Crotona tiempos atrás
mostraron tanta pena los milesios de aquella desventura, que los
adultos todos se cortaron el pelo, siendo dichas ciudades las más
amigas y las más unidas en buenos oficios de cuantas tenga yo noticia
hasta aquí. Muy diferentemente obraron en este punto los de Atenas
quienes, además de otras muchas pruebas de dolor que les causaba
la pérdida de Mileto, dieron una muy particular en la representación de
un drama compuesto por Frínico, cuyo asunto y título era la toma de
Mileto; pues no solo prorrumpió en un llanto general todo el teatro, sino
que el público multó al poeta en mil dracmas por haberle renovado la
memoria de sus males propios, prohibiendo al mismo tiempo que nadie
en adelante reprodujera semejante drama.
XXII. Así Mileto quedose, en una palabra, sin milesios. Por lo que
mira a los samios que tenían en casa algo que perder, estuvo tan lejos
de parecerles bien la resolución de sus generales a favor de los
medos, que luego después del combate naval tomaron entre ellos e
acuerdo de salirse de su patria para ir a fundar una nueva colonia
antes que volviera Éaces a entrar en la isla, sin duda por no verse
precisados en caso de quedarse en sus casas a servir a los medos y
obedecer a un tirano. La ocasión era la más oportuna, pues entonces
los zancleos,[100] pueblo de Sicilia, por medio de unos mensajeros
enviados a la Jonia, instaban a los jonios a que vinieran a apoderarse
de Calacte, muy deseosos de que se fundase en esta ciudad jonia. Es
la que llamaban Calacte una hermosa playa poseída entonces por los
sicelios (o sicilianos, originarios del país), la cual mira hacia Tirrenia
Mientras los zancleos convidaban a los jonios a formar dicha colonia
los samios fueron entre estos los únicos que, en compañía de los
milesios que habían podido escaparse de la ruina universal, partieron
para Sicilia, donde su empresa tuvo el éxito siguiente.
XXIII. Quiso la suerte que al llegar los samios en su viaje a los
locros, por sobrenombre epicefirios,[101] se hallasen actualmente los
zancleos, conducidos por su rey llamado Escita, sitiando cierta ciudad
de los sicilianos con ánimo de apoderarse de ella a viva fuerza
Anaxilao, señor de Regio y grande enemigo de los zancleos, informado
del designio de los samios, procuró insinuarse con ellos, y supo
persuadirles que a la sazón les convenía más bien olvidarse de
Calacte y de las hermosas playas hacia donde llevaban el rumbo, y
apoderarse en vez de ellas de la misma ciudad de Zancle, que se
hallaba sin soldados que pudiesen defenderla. Caen los samios en la
tentación, y hácense dueños de Zancle. Apenas los zancleos ausentes
de su patria oyeron que había sido sorprendida, cuando fueron
corriendo a socorrerla, llamando al mismo tiempo en su ayuda a
Hipócrates, señor de Gela[102] y aliado suyo. Viniendo este para
auxiliarles con su gente de armas, obró tan al contrario, que privando a
Escita, monarca de los zancleos, de su ciudad, le mandó poner preso
y en su compañía a Pitógenes su hermano, enviándolos así atados a
la ciudad de Ínix.[103] Entró después a capitular con los samios de la
plaza, e interpuesta la fe mutua del juramento, vendió alevosamente a
los zancleos; pues de la paga de su traición en que convino con los
samios fue que de los esclavos y muebles que se hallaban dentro de la
ciudad tomaría la mitad para sí, y que cargaría con cuanto mueble y
esclavo se hallase en la campiña. Para más iniquidad, valiéndose de la
ocasión, mandó atar la mayor parte de los zancleos y se quedó con
ellos como si fueran esclavos; y no contento con esto, entregó a los
samios los 300 zancleos principales para que les cortasen la cabeza
maldad que no quisieron ejecutar.
XXIV. Escita, el señor de los zancleos, huido de Ínix, pasó a
Hímera,[104] de donde navegó al Asia y llegó a la corte de Darío, quien
vino a tenerle por el griego mejor y más justificado de cuantos de la
Grecia habían subido a su corte; pues habida licencia del soberano
para ir a Sicilia, volvió otra vez a su presencia, y entre los persas
acabó su vida felizmente en edad muy avanzada.
XXV. De este modo los samios que se habían escapado de
dominio de los medos, lograron sin ningún trabajo hacerse dueños de
Zancle, una de las más bellas ciudades.[105] Después de la batalla
naval que se dio por causa de Mileto, los fenicios, por orden de los
persas, restituyeron a Samos a Éaces, el hijo de Silosonte, en atención
a lo bien que con ellos se había portado. Los samios, en efecto, po
haber retirado sus naves del combate naval de los jonios, lograron se
los únicos entre los que se habían sublevado contra Darío que librasen
del incendio sus templos y ciudades. Tomada ya Mileto, nada tardaron
los persas en recobrar la Caria, cuyas ciudades, parte entregadas a
discreción, parte rendidas por fuerza, iban de nuevo agregando a
imperio.
XXVI. Tiempo es ya de volver a Histieo, que se hallaba en las
cercanías de Bizancio apresando las naves mercantiles de los jonios
que procedían del Ponto, cuando le llegó la nueva de lo que acababa
de suceder en Mileto. Apenas la recibió, hízose a la vela con sus
lesbios hacia Quíos, dejando el cuidado de la piratería en e
Helesponto a Bisaltes, natural de Abido e hijo de Apolófanes; y llegado
ya a aquella isla, tuvo una refriega con la guarnición de un fuerte
llamado Cela que no quería admitirle en aquel lugar, y mató en ella no
pocos de aquellos defensores. Con esto logró hacerse dueño de una
pequeña ciudad de la isla, de cuyo puerto salía con los lesbios de su
comitiva y se iba apoderando de las galeras maltratadas de los de
Quíos que, escapadas de la batalla naval, se volvían a su patria.
XXVII. A estos vecinos de la isla de Quíos habían antes
acontecido ya notables prodigios, según suelen los dioses por ley
ordinaria dar de antemano ciertos pronósticos de las grandes
desventuras que amenazan a alguna ciudad o nación. Uno había sido
que de cien mancebos enviados en un coro o danza desde Quíos a
Delfos, solo dos habían vuelto a la patria, habiendo perecido los otros
98 de una peste que les sobrevino: otro fue que cayéndose en Quíos
el techo de una casa sobre los niños de la escuela poco antes que se
diese la batalla naval, de 120 que ellos eran, solo uno se salvó. Estas
fueron las señales previas que el cielo les enviaba: después vino la
batalla naval que destruyó aquella república, y después de la rota fata
de las naves, el pirata Histieo con sus lesbios se dejó caer sobre los
Quíos destrozados, y acabó de dar en tierra con todo el poder de aque
estado.
XXVIII. Teniendo ya Histieo en su escuadra no pocos
combatientes, jonios y eolios, desde Quíos se fue contra Tasos. Estaba
ya sitiando esta plaza, cuando por el aviso que le vino de que los
fenicios, dejando a Mileto, salían contra las otras ciudades de la Jonia
diose mucha prisa en partir con toda su gente hacia Lesbos, sin lleva
a cabo la expugnación de Tasos. Entretanto, la falta de víveres que
padecía su ejército, le obligó a pasar al continente con ánimo de sega
las mieses, así del territorio de Atarneo como del campo del Caico que
pertenece a los misios. Pero quiso entonces la fortuna que se hallase
en aquellas cercanías con un numeroso ejército Harpago, general de
los persas, el cual, en una batalla que allí se dio, muerta la mayor parte
de las tropas enemigas, logró apoderarse de la persona de Histieo
que fue hecho prisionero del modo siguiente:
XXIX. En Malene, lugar de la comarca atarnea, trabose el choque
entre persas y griegos, en que por largo tiempo quedó dudosa la
victoria, hasta que al fin, arremetiendo la caballería persa, hizo suya la
acción con tal viveza, que puso en fuga a los griegos. Al huir con los
suyos Histieo, persuadido como estaba de que por aquella su culpa no
le condenaría el rey a perder la vida, se le avivó tanto el deseo de
conservarla, que alcanzado ya por un soldado persa y viendo que iba
con un golpe a pasarle de parte a parte, le habló en lengua persa y se
le descubrió diciendo ser el milesio Histieo.
XXX. Si Histieo, puesto que fue cogido vivo, hubiera sido
presentado asimismo a Darío, este, a mi modo de entender, le hubiera
perdonado la ofensa pasada, y aquel nada hubiera tenido que sufrir de
parte del ofendido.[106] El daño estuvo en que el virrey de Sardes
Artafrenes y Harpago, el general de las tropas, a fin de impedir que
perdonado Histieo volviera de nuevo a la gracia y privanza de
soberano, luego que llegó a Sardes prisionero, pusieron su cuerpo en
un palo y enviaron a Susa su cabeza embalsamada para que la viera
Darío. Sabedor, en efecto, el monarca de aquel hecho, desaprobando
la resolución, reprendió a los ministros autores de ella, porque no le
habían presentado vivo el prisionero de guerra. Respecto a la cabeza
de Histieo, ordenó que lavada y decorosamente amortajada se la diese
honrosa sepultura, siendo de un varón singularmente benemérito, as
de su real persona como del imperio de los persas. Así vino a termina
Histieo.
XXXI. La armada de los persas que había invernado en las
cercanías de Mileto, saliendo al mar al año siguiente, iba de paso
apoderándose de las islas adyacentes al continente del Asia menor, a
saber: la de Quíos, la de Lesbos y la de Ténedos. Para mayo
desgracia, posesionados los bárbaros de alguna isla, lo primero que
hacían era barrer y acabar con todos los moradores que en ella había
en la forma que sigue: iban formando un cordón de persas cogidos uno
de la mano del otro, y empezando así de la playa del norte seguían
con aquella red barredera cazando a los hombres por toda la isla. En
el continente, asimismo fueron apoderándose de las ciudades jonias
reduciéndolas a la esclavitud, dejando solo de tender allí su red por no
permitirlo la situación del país.
XXXII. Así que los generales persas no quisieron que se dijese de
ellos que no cumplían las amenazas que antes habían hecho a los
jonios, cuando todavía estaban armados, pues como lo amenazaron
así lo iban ejecutando. Porque no bien se veían dueños de alguna de
las plazas, cuando escogidos los niños más gallardos, hacían de ellos
otros tantos eunucos para su servicio, entresacando del mismo modo a
las doncellas mejor parecidas para enviarlas a la corte; y no contentos
con esto, entregaban a las llamas todos los edificios de las ciudades
así profanos como consagrados a los dioses. Esta fue la tercera vez
que los jonios se vieron hechos esclavos, pues una les subyugaron los
lidios y dos consecutivamente los persas.
XXXIII. Aquella misma armada, habiendo dejado la Jonia, fue
sujetando todas las plazas que caen a la izquierda del que va
navegando por el Helesponto, pues las que están a mano derecha en
el continente habían ya sido rendidas por los persas. En dicha costa
del Helesponto, que pertenece a la Europa, se halla el Quersoneso, en
que se cuentan bastantes ciudades; se halla la ciudad de Perinto; se
hallan los fuertes de la Tracia, como también las ciudades de Selimbria
y de Bizancio. Los bizantinos, pues, y del mismo modo los
calcedonios, situados en la ribera opuesta, dejando sus pueblos antes
de que llegase la armada fenicia y retirados a lo interior del Ponto
Euxino, fundaron la ciudad de Mesembria. Llegados después los
fenicios, incendiadas las dos citadas plazas, se dejaron caer sobre
Proconeso y Artace, y desde ellas, después que las hubieron
abrasado, hiciéronse a la vela otra vez hacia el Quersoneso con ánimo
de arruinar las ciudades que antes habían respetado, cuando po
primera vez se echaron sobre aquella península. A Cícico no se
acercaron absolutamente los fenicios, a causa de que los naturales, ya
antes de su llegada, capitulando con el virrey de Dascilio, Ébares, hijo
de Megabazo, se habían entregado al rey; pero en el Quersoneso
rindieron las demás ciudades, excepto la de Cardia.
XXXIV. Hasta este tiempo, Milcíades, hijo de Cimón y nieto de
Esteságoras, conservaba el dominio en dichas ciudades, sobre las
cuales lo había adquirido antes aquel otro Milcíades que fue hijo de
Cípselo, de la manera que referiré. Los doloncos, pueblos de origen
tracio, eran los que antiguamente habitaban en el Quersoneso
quienes viéndose agobiados en la guerra por los apsintios,[107] enviaron
a Delfos sus reyes para que consultasen acerca de ella. Dioles po
respuesta la Pitia que se llevaran a su país por fundador de una
colonia al primero que salido del templo les acogiera en su casa como
huéspedes y amigos. Los doloncos, pues, tomaron su camino por la
vía sacra,[108] pasaron por la señoría de los focidios y por la de los

You might also like