INSTRUCTIONS:

1. Read the tasks carefully.

2. Click the links that contain videos to address the tasks.
3. Discuss the tasks and your group responses to the tasks. Write your group initial responses to the tasks in English or Bahasa Indonesia using effective language.
4. Discuss your group responses with other 3 group, at least. Improve your responses based on the intergroup discussions.
5. Submit the responses in a assigned folder at LMS.

https://www.coursera.org/learn/big-data-introduction/home/week/2

TASKS: Characteristics of Big Data

 Describe, explain, elaborate, and discuss on six characteristics that represent the vast dimension on big data

1. Introduction: 6-V
2. Volume: ukuran
3. Variety: tipe
4. Velocity: kecepatan
5. Veracity: ketidakpastian
6. Valence: keterkaitan
7. Value: nilai
1 Introduction: 6-V
Introduction: Getting started, characteristics of big data
By now you have seen that big data is a blanket term that is used to refer to any collection
of data so large and complex that it exceeds the processing capability of conventional data
management systems and techniques. The applications of big data are endless. Every part
of business and society are changing in front our eyes due to that fact that we now have so
much more data and the ability for analyzing. But how can we characterize big data? You
can say, I know it when i see it. But there are easier ways to do it. Big data is commonly
characterized using a number of V's. The first three are volume, velocity, and variety.
Volume refers to the vast amounts of data that is generated every second, minutes, hour,
and day in our digitized world. Variety refers to the ever increasing different forms that data
can come in such as text, images, voice, and geospatial data. Velocity refers to the speed at
which data is being generated and the pace at which data moves from one point to the
next. Volume, variety, and velocity are the three main dimensions that characterize big
data. And describe its challenges. We have huge amounts of data in different formats, and
varying quality which must be processed quickly. More Vs have been introduced to the big
data community as we discover new challenges and ways to define big data. Veracity and
valence are two of these additional V's we will pay special attention to as a part of this
Pendahuluan: 6-V
Pendahuluan: Memulai, karakteristik Big Data
Sekarang Anda telah melihat bahwa Big Data adalah istilah lain yang digunakan untuk merujuk
pada kumpulan data apa pun yang begitu besar dan kompleks sehingga melebihi kemampuan
pemrosesan sistem dan teknik manajemen data konvensional. Aplikasi big data tidak ada
habisnya. Setiap bagian dari bisnis dan masyarakat berubah di depan mata kita karena fakta
bahwa kita sekarang memiliki lebih banyak data dan kemampuan untuk menganalisis. Tapi
bagaimana kita bisa mengkarakterisasi Big Data? Anda dapat mengatakan, saya tahu itu ketika
saya melihatnya. Tetapi ada cara yang lebih mudah untuk melakukannya. Big Data biasanya
dicirikan menggunakan sejumlah V. Tiga yang pertama adalah volume, kecepatan, dan variasi.
Volume mengacu pada sejumlah besar data yang dihasilkan setiap detik, menit, jam, dan hari di
dunia digital kita.
Variety mengacu pada berbagai bentuk data yang semakin meningkat seperti teks, gambar, suara,
dan data geospasial.
Velocity mengacu pada kecepatan di mana data yang dihasilkan dan kecepatan di mana data
bergerak dari satu titik ke titik berikutnya.
Volume, variasi, dan kecepatan adalah tiga dimensi utama yang menjadi ciri Big Data. Dan
jelaskan tantangannya. Kami memiliki sejumlah besar data dalam format yang berbeda, dan
 specialization. Veracity refers to the biases, noise, and abnormality in data. Or, better yet, It
refers to the often unmeasurable uncertainties and truthfulness and trustworthiness of
data. Valence refers to the connectedness of big data in the form of graphs, just like atoms.
Moreover, we must be sure to never forget our sixth V, value. How do big data benefit you
and your organization? Without a clear strategy and an objective with the value they are
getting from big data. It is easy to imagine that organizations will be side-tracked by all
these challenges of big data, and not be able to turn them into opportunities. Now let's
start looking into the first five of these V's in detail.
2 Volume: ukuran
Characteristics of Big Data- Volume
Volume is the big data dimension that relates to the sheer size of big data. This volume can
come from large datasets being shared or many small data pieces and events being
collected over time.
Every minute 204 million emails are sent, 200,000 photos are uploaded, and 1.8 million
likes are generated on Facebook. On YouTube, 1.3 million videos are viewed and 72 hours
of video are uploaded. But how much data are we talking about? The size and the scale of
storage for big data can be massive. You heard me say words that start with peta, exa and
yotta, to define size, but what does all that really mean? For comparison, 100 megabytes
will hold a couple of encyclopedias. A DVD is around 5 GBs, and 1 TB would hold around 300
hours of good quality video. A data-oriented business currently collects data in the order of
terabytes, but petabytes are becoming more common to our daily lives. CERN's large
hadron collider generates 15 petabytes a year. According to predictions by an IDC report
sponsored by a big data company called EMC, digital data, will grow by a factor of 44 until
the year 2020. This is a growth from 0.8 zetabytes, In 2009 to 35.2 zettabytes in 2020. A
zettabyte is 1 trillion gigabytes, that's 10 to the power of 21. The effects of it will be huge!
Think of all the time, cost, energy that will be used to store and make sense of such an
amount of data.
The next era will be yottabytes. Ten to the power of 24 and brontobytes, ten to the power of
27. Which is really hard to imagine for most of us at this time. This is also what we call data
at an astronomical scale. The choice of putting the Milky Way Galaxy in the middle of the
circle is not just for aesthetics. This is what we would see if we were to scale up 10 to the 21
times into the universe. Cool, isn't it? Please refer to the reading in this module called, what
does astronomical scale mean, for a nice video on the powers of ten. All of these point to an
kualitas yang bervariasi yang harus diproses dengan cepat. Lebih banyak V telah diperkenalkan ke
komunitas big data saat kami menemukan tantangan dan cara baru untuk mendefinisikan big
data. Kebenaran dan valensi adalah dua dari V tambahan ini yang akan kami beri perhatian
khusus sebagai bagian dari spesialisasi ini.
Veracity mengacu pada bias, noise, dan abnormalitas dalam data. Atau, lebih baik lagi, Ini
mengacu pada ketidakpastian dan kebenaran serta kepercayaan data yang seringkali tidak
terukur.
Valensi mengacu pada keterhubungan Big Data dalam bentuk grafik, seperti atom. Selain itu, kita
harus yakin untuk tidak pernah melupakan nilai V keenam kita.
Value = Bagaimana big data bermanfaat bagi Anda dan organisasi Anda? Tanpa strategi dan
tujuan yang jelas dengan nilai yang mereka peroleh dari big data. Sangat mudah untuk
membayangkan bahwa organisasi akan dikesampingkan oleh semua tantangan Big Data ini, dan
tidak dapat mengubahnya menjadi peluang. Sekarang mari kita mulai melihat kelima V ini secara
mendetail.
Volume: ukuran
Karakteristik Big Data- Volume
Volume adalah dimensi Big Data yang berhubungan dengan ukuran Big Data. Volume ini dapat
berasal dari kumpulan Big Data yang dibagikan atau banyak potongan data kecil dan peristiwa
yang dikumpulkan dari waktu ke waktu.
Setiap menit 204 juta email dikirim, 200.000 foto diunggah, dan 1,8 juta suka dihasilkan di
Facebook. Di YouTube, 1,3 juta video dilihat dan 72 jam video diunggah. Tapi berapa banyak data
yang kita bicarakan? Ukuran dan skala penyimpanan untuk Big Data bisa sangat besar. Anda
mendengar saya mengucapkan kata-kata yang dimulai dengan peta, exa dan yotta, untuk
menentukan ukuran, tetapi apa arti sebenarnya dari semua itu? Sebagai perbandingan, 100
megabyte akan menampung beberapa ensiklopedia. DVD berukuran sekitar 5 GB, dan 1 TB akan
menampung sekitar 300 jam video berkualitas baik. Bisnis berorientasi data saat ini
mengumpulkan data dalam urutan terabyte, tetapi petabyte menjadi lebih umum dalam
kehidupan kita sehari-hari. Collider hadron besar CERN menghasilkan 15 petabyte per tahun.
Menurut prediksi laporan IDC yang disponsori oleh perusahaan Big Data bernama EMC, data
digital, akan tumbuh dengan faktor 44 hingga tahun 2020. Ini adalah pertumbuhan dari 0,8
zetabyte, Pada 2009 menjadi 35,2 zettabyte pada 2020. Satu zettabyte adalah 1 triliun gigabyte,
itu 10 pangkat 21. Efeknya akan sangat besar! Pikirkan semua waktu, biaya, energi yang akan
digunakan untuk menyimpan dan memahami data sebanyak itu.
Era berikutnya adalah yottabytes. Sepuluh pangkat 24 dan brontobytes, sepuluh pangkat 27. Yang
sangat sulit dibayangkan bagi kebanyakan dari kita saat ini. Ini juga yang kita sebut data pada
skala astronomi. Pilihan menempatkan Galaksi Bima Sakti di tengah lingkaran bukan hanya untuk
estetika. Inilah yang akan kita lihat jika kita memperbesar 10 hingga 21 kali ke alam semesta.
Keren, bukan? Silakan lihat bacaan dalam modul ini yang disebut, apa arti skala astronomi, untuk
video yang bagus tentang pangkat sepuluh. Semua ini menunjukkan pertumbuhan eksponensial
dalam volume dan penyimpanan data. Apa relevansi data sebanyak ini di dunia kita? Ingat
 exponential growth in data volume and storage. What is the relevance of this much data in pesawat yang mengumpulkan Big Data? Harapan kami, sebagai penumpang, adalah data berarti
our world? Remember the planes collecting big data? Our hope, as passengers, is data keselamatan penerbangan yang lebih baik.
means better flight safety.
Idenya adalah untuk memahami bahwa bisnis dan organisasi mengumpulkan dan memanfaatkan
The idea is to understand that businesses and organizations are collecting and leveraging data dalam jumlah besar untuk meningkatkan produk akhir mereka, baik itu keamanan,
large volumes of data to improve their end products, whether it is safety, reliability, keandalan, perawatan kesehatan, atau tata kelola.
healthcare, or governance. Secara umum, dalam bisnis, tujuannya adalah untuk mengubah data sebanyak ini menjadi
In general, in business the goal is to turn this much data into some form of business beberapa bentuk keuntungan bisnis. Pertanyaannya adalah bagaimana kita memanfaatkan
advantage. The question is how do we utilize larger volumes of data to improve our end volume data yang lebih besar untuk meningkatkan kualitas produk akhir kita? Terlepas dari
product's quality? Despite a number of challenges related to it. sejumlah tantangan yang terkait dengannya.

There are a number of challenges related to the massive volumes of big data. The most
obvious one is of course storage. As the size of the data increases so does the amount of
storage space required to store that data efficiently. However, we also need to be able to
retrieve that large amount of data fast enough, and move it to processing units in a timely
fashion to get results when we need them.
This brings additional challenges such as networking, bandwidth, cost of storing data. In-
house versus cloud storage and things like that. Additional challenges arise during
processing of such large data. Most existing analytical methods won't scale to such sums of
data in terms of memory, processing, or IO needs. This means their performance will drop.
You might be able to get good performance for data from hundreds of customers. But how
about scaling your solution to 1,000 or 10,000 customers? As the volume increases
performance and cost start becoming a challenge. Businesses need a holistic strategy to
handle processing of large scale data to their benefit in the most cost effective manner.
Evaluating the options across the dimensions mentioned here, is the first step when it
comes to continuously increasing data size. We will revisit this topic later on in this course.
Ada sejumlah tantangan terkait dengan volume besar Big Data. Yang paling jelas tentu saja
penyimpanan. Dengan bertambahnya ukuran data, demikian juga jumlah ruang penyimpanan
yang diperlukan untuk menyimpan data tersebut secara efisien. Namun, kami juga harus dapat
mengambil data dalam jumlah besar itu dengan cukup cepat, dan memindahkannya ke unit
pemrosesan secara tepat waktu untuk mendapatkan hasil saat kami membutuhkannya.
Ini membawa tantangan tambahan seperti jaringan, bandwidth, biaya penyimpanan data.
Penyimpanan internal versus penyimpanan cloud dan hal-hal seperti itu. Tantangan tambahan
muncul selama pemrosesan data sebesar itu. Sebagian besar metode analitik yang ada tidak akan
menskalakan jumlah data seperti itu dalam hal memori, pemrosesan, atau kebutuhan IO. Ini
berarti kinerja mereka akan turun. Anda mungkin bisa mendapatkan kinerja yang baik untuk data
dari ratusan pelanggan. Tetapi bagaimana dengan menskalakan solusi Anda ke 1.000 atau 10.000
pelanggan? Ketika volume meningkat, kinerja dan biaya mulai menjadi tantangan. Bisnis
memerlukan strategi holistik untuk menangani pemrosesan data skala besar untuk keuntungan
mereka dengan cara yang paling hemat biaya. Mengevaluasi opsi di seluruh dimensi yang
disebutkan di sini, adalah langkah pertama untuk terus meningkatkan ukuran data. Kami akan
meninjau kembali topik ini nanti dalam kursus ini.

As a summary volume is the dimension of big data related to its size and its exponential
growth.
The challenges with working with volumes of big data include cost, scalability, and
performance related to their storage, access, and processing.
3 Variety: tipe
Now we'll talk about a form of scalability called variety.
In this case, scale does not refer to the largeness of data. It refers to increased diversity.
Here is an important mantra you need to think about. When we, as data scientists, think of
data variety, we think of the additional complexity that results from more kinds of data that
we need to store, process, and combine. Now, many years ago when I started studying data
management, we always thought of data as tables. These tables could be in spreadsheets
or databases or just files, but somehow they will be modeled and manipulated as rows and
Sebagai ringkasan volume adalah dimensi Big Data yang terkait dengan ukuran dan pertumbuhan
eksponensialnya.
Tantangan dalam bekerja dengan volume Big Data meliputi biaya, skalabilitas, dan kinerja yang
terkait dengan penyimpanan, akses, dan pemrosesannya.
Varietas: tipe
Sekarang kita akan berbicara tentang bentuk skalabilitas yang disebut variasi.
Dalam hal ini, skala tidak mengacu pada besar kecilnya data. Ini mengacu pada peningkatan
keragaman. Inilah mantra penting yang perlu Anda pikirkan. Ketika kita, sebagai ilmuwan data,
memikirkan variasi data, kita memikirkan kompleksitas tambahan yang dihasilkan dari lebih
banyak jenis data yang perlu kita simpan, proses, dan gabungkan. Sekarang, bertahun-tahun yang
lalu ketika saya mulai mempelajari manajemen data, kami selalu menganggap data sebagai tabel.
Tabel ini bisa dalam spreadsheet atau database atau hanya file, tapi entah bagaimana mereka
columns of tables. Now, tables are still really important and dominant, however today a
much wider variety of data are collected, stored, and analyzed to solve real world
problems. Image data, text data, network data, geographic maps, computer generated
simulations are only a few of the types of data we encounter every day. The heterogeneity
of data can be characterized along several dimensions. We mentioned four such axes here.
Structural variety refers to the difference in the representation of the data. For example, an
EKG signal is very different from a newspaper article. A satellite image of wildfires from
NASA is very different from tweets sent out by people who are seeing the fire spread. Media
variety refers to the medium in which the data gets delivered. The audio of a speech versus
the transcript of the speech may represent the same information in two different media.
Data objects like news video may have multiple media. An image sequence, an audio, and
closed captioned text, all time synchronized to each other. Semantic variety is best
described two examples. We often use different units for quantities we measure.
Sometimes we also use qualitative versus quantitative measures. For example, age can be
a number or we represent it by terms like infant, juvenile, or adult. Another kind of
semantic variety comes from different assumptions of conditions on the data. For example,
if we conduct two income surveys on two different groups of people, we may not be able to
compare or combine them without knowing more about the populations themselves. The
variation and availability takes many forms. For one, data can be available real time, like
sensor data, or it can be stored, like patient records. Similarly data can be accessible
continuously, for example from a traffic cam. Versus intermittently, for example, only when
the satellite is over the region of interest. This makes a difference between what operations
one can do with data, especially if the volume of the data is large. We'll cover this in more
detail in course two when we explore the different genres of data and how we model them.
We should not think that a single data object, or a collection of similar data objects, will be
all uniform in themselves. Emails, for example, is a hybrid entity. Some of this information
can be a table, like shown here. Now, the body of the email usually has text in it. However,
some of the text may have ornaments around them. For example, the part highlighted in
yellow represents something called a markup on text. We'll get to markups later in the
course. Emails contain attachments. These are files, or embedded images, or other
multimedia objects that the mailer allows. This screenshot from my Outlook shows the
image of a scanned image of a handwritten note. When you take a collection of all emails
from your mailbox, or that from an organization, you will see that senders and receivers
form a communication network. In 2001, there was a famous scandal around a company
called Enron that engaged in fraudulent financial reporting practices. Their email network,
partly shown here, has been studied by data scientist to find usual and unusual patterns of
connections among the people in the organization. An email collection can also have it's
own semantics. For example, an email cannot refer to, that means cannot copy or forward,
a previous email. Finally, an email server is a real-time data source. But an email repository
is not. Does email, and email collections, demonstrate significant internal variation in
akan dimodelkan dan dimanipulasi sebagai baris dan kolom tabel.
Sekarang, tabel masih sangat penting dan dominan, namun saat ini lebih banyak variasi data yang
dikumpulkan, disimpan, dan dianalisis untuk memecahkan masalah dunia nyata.
Data gambar, data teks, data jaringan, peta geografis, simulasi yang dihasilkan komputer
hanyalah beberapa dari jenis data yang kita temui setiap hari. Heterogenitas data dapat dicirikan
sepanjang beberapa dimensi.
Kami menyebutkan empat sumbu seperti itu di sini.
Keragaman struktural mengacu pada perbedaan dalam representasi data. Misalnya, sinyal EKG
sangat berbeda dari artikel surat kabar. Citra satelit kebakaran hutan dari NASA sangat berbeda
dengan tweet yang dikirim oleh orang-orang yang melihat api menyebar.
Variasi media mengacu pada media di mana data akan disampaikan. Audio pidato versus
transkrip pidato dapat mewakili informasi yang sama di dua media yang berbeda. Objek data
seperti video berita mungkin memiliki beberapa media. Urutan gambar, audio, dan teks teks
tertutup, sepanjang waktu disinkronkan satu sama lain.
Variasi semantik paling baik dijelaskan dua contoh. Kita sering menggunakan satuan yang berbeda
untuk besaran yang kita ukur. Terkadang kami juga menggunakan ukuran kualitatif versus
kuantitatif. Misalnya, usia dapat berupa angka atau kita merepresentasikannya dengan istilah
seperti bayi, remaja, atau dewasa. Variasi semantik jenis lain berasal dari asumsi kondisi yang
berbeda pada data. Misalnya, jika kita melakukan dua survei pendapatan pada dua kelompok
orang yang berbeda, kita mungkin tidak dapat membandingkan atau menggabungkannya tanpa
mengetahui lebih banyak tentang populasi itu sendiri.
Variasi dan ketersediaan mengambil banyak bentuk.
Pertama, data dapat tersedia secara real time, seperti data sensor, atau dapat disimpan, seperti
catatan pasien.
Demikian pula data dapat diakses terus menerus, misalnya dari kamera lalu lintas.
Versus sebentar-sebentar, misalnya, hanya ketika satelit berada di atas wilayah yang diinginkan.
Ini membuat perbedaan antara operasi apa yang dapat dilakukan seseorang dengan data,
terutama jika volume datanya besar.
Kami akan membahas ini secara lebih rinci dalam kursus dua ketika kami menjelajahi berbagai
genre data dan bagaimana kami memodelkannya.
Kita tidak boleh berpikir bahwa satu objek data, atau kumpulan objek data serupa, semuanya
seragam.
Email, misalnya, adalah entitas hibrida. Beberapa informasi ini dapat berupa tabel, seperti yang
ditunjukkan di sini. Sekarang, badan email biasanya memiliki teks di dalamnya. Namun, beberapa
teks mungkin memiliki ornamen di sekitarnya. Misalnya, bagian yang disorot dengan warna
kuning mewakili sesuatu yang disebut markup pada teks. Kita akan membahas markup nanti di
kursus. Email berisi lampiran. Ini adalah file, atau gambar yang disematkan, atau objek
 structure, media, semantics, and availability?
4 Velocity: kecepatan
Characteristics of Big Data- Velocity.
Velocity refers to the increasing speed at which big data is created and the increasing speed
at which the data needs to be stored and analyzed. Processing of data in real-time to match
its production rate as it gets generated is a particular goal of big data analytics. For
example, this type of capability allows for personalization of advertisement on the web
pages you visit based on your recent search, viewing, and purchase history. If a business
cannot take advantage of the data as it gets generated, or at the speed analysis of it is
needed, they often miss opportunities. In order to build a case for the importance of this
dimension of big data, let's imagine we are taking a road trip. You're looking for some
better information to start packing. In this case, the newer the information, the higher its
relevance in deciding what to pack. Would you use last month's weather information or
data from last year at this time? Or, would you use the weather information from this week,
yesterday or better, today? It makes sense to obtain the latest information about weather
and process it in a way that makes your decisions easier. If the information is old, it doesn't
matter how accurate it is. Being able to catch up with the velocity of big data and analyzing
it as it gets generated can even impact the quality of human life. Sensors and smart devices
monitoring the human body can detect abnormalities in real time and trigger immediate
action, potentially saving lives. This type of processing is what we call real time processing.
Real-time processing is quite different from its remote relative, batch processing. Batch
processing was the norm until a couple of years ago. Large amounts of data would be fed
into large machines and processed for days at a time. While this type of processing is still
very common today, decisions based on information that is even few days old can be
catastrophic to some businesses. Organizations which make decisions on latest data are
more likely to hit the target. For this reason it's important to match the speed of processing
with the speed of information generation, and get real time decision making power. In
addition, today's sensor-powered socioeconomic climate requires faster decisions. Hence,
multimedia lainnya yang diizinkan oleh pengirim. Tangkapan layar dari Outlook saya ini
menunjukkan gambar gambar pindaian dari catatan tulisan tangan. Saat Anda mengambil
kumpulan semua email dari kotak surat Anda, atau dari organisasi, Anda akan melihat bahwa
pengirim dan penerima membentuk jaringan komunikasi.
Pada tahun 2001, terjadi skandal terkenal di sekitar perusahaan bernama Enron yang terlibat
dalam praktik pelaporan keuangan yang curang. Jaringan email mereka, sebagian ditampilkan di
sini, telah dipelajari oleh ilmuwan data untuk menemukan pola koneksi yang biasa dan tidak biasa
di antara orang-orang dalam organisasi.
Kumpulan email juga dapat memiliki semantiknya sendiri. Misalnya, email tidak dapat merujuk,
itu berarti tidak dapat menyalin atau meneruskan, email sebelumnya.
Terakhir, server email adalah sumber data waktu nyata. Tapi repositori email tidak. Apakah email,
dan koleksi email, menunjukkan variasi internal yang signifikan dalam struktur, media, semantik,
dan ketersediaan?
Kecepatan: kecepatan
Karakteristik Big Data- Velocity.
Velocity mengacu pada peningkatan kecepatan di mana Big Data dibuat dan peningkatan
kecepatan di mana data perlu disimpan dan dianalisis. Pemrosesan data secara real-time agar
sesuai dengan tingkat produksinya saat dihasilkan adalah tujuan khusus analitik Big Data.
Misalnya, jenis kemampuan ini memungkinkan personalisasi iklan di halaman web yang Anda
kunjungi berdasarkan penelusuran, tampilan, dan riwayat pembelian terakhir Anda. Jika bisnis
tidak dapat mengambil keuntungan dari data yang dihasilkan, atau dengan analisis kecepatan
yang diperlukan, mereka sering kehilangan peluang. Untuk membangun sebuah kasus tentang
pentingnya dimensi Big Data ini, mari kita bayangkan kita sedang melakukan perjalanan. Anda
sedang mencari beberapa informasi yang lebih baik untuk mulai berkemas. Dalam hal ini, semakin
baru informasi, semakin tinggi relevansinya dalam memutuskan apa yang akan dikemas. Apakah
Anda akan menggunakan informasi cuaca bulan lalu atau data tahun lalu saat ini? Atau, apakah
Anda akan menggunakan informasi cuaca dari minggu ini, kemarin atau lebih baik, hari ini? Masuk
akal untuk mendapatkan informasi terbaru tentang cuaca dan memprosesnya dengan cara yang
membuat keputusan Anda lebih mudah. Jika informasinya sudah tua, tidak masalah seberapa
akuratnya itu. Mampu mengejar kecepatan Big Data dan menganalisisnya saat dihasilkan bahkan
dapat berdampak pada kualitas hidup manusia. Sensor dan perangkat pintar yang memantau
tubuh manusia dapat mendeteksi kelainan secara real time dan memicu tindakan segera, yang
berpotensi menyelamatkan nyawa. Jenis pemrosesan ini adalah apa yang kami sebut pemrosesan
waktu nyata. Pemrosesan waktu nyata sangat berbeda dari kerabat jauhnya, pemrosesan batch.
Pemrosesan batch adalah norma sampai beberapa tahun yang lalu. Sejumlah besar data akan
dimasukkan ke dalam mesin besar dan diproses selama berhari-hari. Meskipun jenis pemrosesan
ini masih sangat umum hingga saat ini, keputusan berdasarkan informasi yang bahkan berumur
beberapa hari dapat menjadi bencana besar bagi beberapa bisnis. Organisasi yang membuat
keputusan tentang data terbaru lebih mungkin mencapai target. Untuk alasan ini, penting untuk
mencocokkan kecepatan pemrosesan dengan kecepatan pembuatan informasi, dan mendapatkan
kekuatan pengambilan keputusan waktu nyata. Selain itu, iklim sosial ekonomi yang didukung
 we can not wait for all the data to be first produced, then fed into a machine. There are
many applications where new information is streaming and needs to be integrated with
existing data to produce decisions such as emergency response planning in a tornado, or
deciding trading strategies in real time, or getting estimates in advertising. We have to
digest chunks of data as they are produced and give meaningful results. As more data
comes in, your results will need to adapt to reflect this change in the input. Decisions based
on processing of already acquired data such as batch processing, may give an incomplete
picture. And hence, the applications need real time status of the context at hand. That is,
streaming analysis. Fortunately, with the event of cheap sensors technology, mobile
phones, and social media, we can obtain the latest information at a much rapid rate and in
real time in comparison with the past. So how do you make sure we match the velocity of
the expectations to gain insights from big data? With the velocity of the big data. Rate of
generation, retrieval, or processing of data is application specific. The need for real time
data-driven actions within a business case is what in the end dictates the velocity of
analytics over big data. Sometimes precision of a minute is needed. Sometimes half a day.
Let's look at these four paths and discuss when to pick the right one for your analysis. The
dollar signs next to the numbers in this example indicate how costly the operation is. The
more dollars, the higher the cost. When the timeliness of processed information plays no
role in decision making, the speed at which data is generated becomes irrelevant. In other
words, you can wait for as long as it takes to process data. Days, months, weeks. And once
processing is over, you will look at the results and probably share them with someone.
When timeliness is not an issue, you can choose any of the four paths. You will likely pick
the cheapest one. When timeliness of end result is an issue deciding which of the four paths
to choose is not so simple. You will have to make a decision based on cost of hardware,
time sensitivity of information, future scenarios. In other words, this becomes a business
driven question. For example, if speed is really important at all costs, you will pick path
four. As a summary, we need to pay attention to the velocity of big data. Streaming data
gives information on what's going on right now. Streaming data has velocity, meaning it
gets generated at various rates. And analysis of such data in real time gives agility and
adaptability to maximize benefits you want to extract.
5 Veracity: ketidakpastian
Characteristics of Big Data, Veracity.
Veracity of Big Data refers to the quality of the data. It sometimes gets referred to as validity
or volatility referring to the lifetime of the data. Veracity is very important for making big
data operational. Because big data can be noisy and uncertain. It can be full of biases,
abnormalities and it can be imprecise. Data is of no value if it's not accurate, the results of
big data analysis are only as good as the data being analyzed. This is often described in
analytics as junk in equals junk out. So we can say although big data provides many
sensor saat ini membutuhkan keputusan yang lebih cepat. Oleh karena itu, kita tidak bisa
menunggu semua data pertama kali diproduksi, kemudian dimasukkan ke dalam mesin. Ada
banyak aplikasi di mana informasi baru mengalir dan perlu diintegrasikan dengan data yang ada
untuk menghasilkan keputusan seperti perencanaan tanggap darurat di tornado, atau
memutuskan strategi perdagangan secara real time, atau mendapatkan perkiraan dalam iklan.
Kita harus mencerna potongan data saat diproduksi dan memberikan hasil yang berarti. Semakin
banyak data yang masuk, hasil Anda perlu beradaptasi untuk mencerminkan perubahan input ini.
Keputusan berdasarkan pemrosesan data yang sudah diperoleh seperti pemrosesan batch, dapat
memberikan gambaran yang tidak lengkap. Dan karenanya, aplikasi membutuhkan status waktu
nyata dari konteks yang ada. Yaitu, analisis streaming. Untungnya, dengan adanya teknologi
sensor murah, ponsel, dan media sosial, kita dapat memperoleh informasi terbaru dengan
kecepatan yang jauh lebih cepat dan real time dibandingkan dengan masa lalu. Jadi, bagaimana
Anda memastikan kami sesuai dengan kecepatan harapan untuk mendapatkan wawasan dari Big
Data? Dengan kecepatan Big Data. Tingkat generasi, pengambilan, atau pengolahan data adalah
aplikasi khusus. Kebutuhan akan tindakan berbasis data waktu nyata dalam kasus bisnis adalah
apa yang pada akhirnya menentukan kecepatan analitik atas Big Data. Terkadang ketepatan satu
menit dibutuhkan. Kadang setengah hari. Mari kita lihat keempat jalur ini dan diskusikan kapan
harus memilih yang tepat untuk analisis Anda. Tanda dolar di sebelah angka dalam contoh ini
menunjukkan betapa mahal biaya operasinya. Semakin banyak dolar, semakin tinggi biayanya.
Ketika ketepatan waktu dari informasi yang diproses tidak berperan dalam pengambilan
keputusan, kecepatan data yang dihasilkan menjadi tidak relevan. Dengan kata lain, Anda bisa
menunggu selama yang dibutuhkan untuk memproses data. Hari, bulan, minggu. Dan setelah
pemrosesan selesai, Anda akan melihat hasilnya dan mungkin membagikannya dengan seseorang.
Ketika ketepatan waktu tidak menjadi masalah, Anda dapat memilih salah satu dari empat jalur.
Anda mungkin akan memilih yang termurah. Ketika ketepatan waktu hasil akhir adalah masalah
memutuskan mana dari empat jalan untuk memilih tidak begitu sederhana. Anda harus membuat
keputusan berdasarkan biaya perangkat keras, sensitivitas waktu informasi, skenario masa depan.
Dengan kata lain, ini menjadi pertanyaan yang didorong oleh bisnis. Misalnya, jika kecepatan
sangat penting, Anda akan memilih jalur empat. Singkatnya, kita perlu memperhatikan kecepatan
Big Data. Data streaming memberikan informasi tentang apa yang terjadi saat ini. Streaming data
memiliki kecepatan, artinya dihasilkan pada berbagai tingkat. Dan analisis data tersebut secara
real time memberikan kelincahan dan kemampuan beradaptasi untuk memaksimalkan manfaat
yang ingin Anda ekstrak.
Kebenaran: ketidakpastian
Karakteristik Big Data, Kebenaran.
Veracity of Big Data mengacu pada kualitas data. Kadang-kadang disebut sebagai validitas atau
volatilitas yang mengacu pada masa pakai data. Kejujuran sangat penting untuk membuat Big
Data operasional. Karena Big Data bisa berisik dan tidak pasti. Itu bisa penuh dengan bias,
kelainan, dan bisa juga tidak tepat. Data tidak ada nilainya jika tidak akurat, hasil analisis big data
hanya sebaik data yang dianalisis. Ini sering digambarkan dalam analitik sebagai sampah masuk
sama dengan sampah keluar. Jadi kita dapat mengatakan meskipun Big Data memberikan banyak
opportunities to make data enabled decisions, the evidence provided by data is only
valuable if the data is of a satisfactory quality. There are many different ways to define data
quality. In the context of big data, quality can be defined as a function of a couple of
different variables. Accuracy of the data, the trustworthiness or reliability of the data
source. And how the data was generated are all important factors that affect the quality of
data. Additionally how meaningful the data is with respect to the program that analyzes it,
is an important factor, and makes context a part of the quality. In this chart from 2015, we
see the volumes of data increasing, starting with small amounts of enterprise data to
larger, people generated voice over IP and social media data and even larger machine
generated sensor data. We also see that the uncertainty of the data increases as we go from
enterprise data to sensor data. This is as we would expect it to be. Traditional enterprise
data in warehouses have standardized quality solutions like master processes for extract,
transform and load of the data which we referred to as before as ETL. As enterprises started
incorporating less structured and unstructured people and machine data into their big data
solutions, the data become messier and more uncertain. There are many reasons for this.
First, unstructured data on the internet is imprecise and uncertain. In addition, high
velocity big data leaves very little or no time for ETL, and in turn hindering the quality
assurance processes of the data. Let's look at these product reviews for a banana slicer on
amazon.com. One of the five star reviews say that it saved her marriage and compared it to
the greatest inventions in history. Another five star reviewer said that his parole officer
recommended the slicer as he is not allowed to be around knives. These are obviously fake
reviewers. Now think of an automated product assessment going through such splendid
reviews and estimating lots of sales for the banana slicer and in turn suggesting stocking
more of the slicer in the inventory. Amazon will have problems. For a more serious case
let's look at the Google flu trends case from 2013. For January 2013, the Google Friends
actually estimated almost twice as many flu cases as was reported by CDC, the Centers for
Disease Control and Prevention. The primary reason behind this was that Google Flu
Trends used a big data on the internet and did not account properly for uncertainties about
the data. Maybe the news and social media attention paid to the particularly serious level
of flu that year effected the estimate. And resulted in what we call an over estimation. This
is a perfect example for how inaccurate the results can be if only big data is used in the
analysis. Imagine the economic impact of making health care preparations for twice the
amount of flu cases. That would be huge. The Google flu trends example also brings up the
need for being able to identify where exactly the big data they used comes from. What
transformation did big data go through up until the moment it was used for an estimate?
This is what we refer to as data providence. Just like we refer to an artifacts provenance. As
a summary, the growing torrents of big data pushes for fast solutions to utilize it in
analytical solutions. This creates challenges on keeping track of data quality. What has
been collected, where it came from, and how it was analyzed prior to its use. This is akin to
an art artifact having providence of everything it has gone through. But even more
peluang untuk membuat keputusan yang memungkinkan data, bukti yang diberikan oleh data
hanya berharga jika data memiliki kualitas yang memuaskan. Ada banyak cara berbeda untuk
mendefinisikan kualitas data. Dalam konteks Big Data, kualitas dapat didefinisikan sebagai fungsi
dari beberapa variabel yang berbeda. Akurasi data, keterpercayaan atau keandalan sumber data.
Dan bagaimana data dihasilkan merupakan faktor penting yang mempengaruhi kualitas data.
Selain itu, seberapa berartinya data sehubungan dengan program yang menganalisisnya,
merupakan faktor penting, dan menjadikan konteks sebagai bagian dari kualitas. Dalam bagan ini
dari tahun 2015, kami melihat volume data meningkat, dimulai dengan sejumlah kecil data
perusahaan hingga yang lebih besar, orang-orang menghasilkan data voice over IP dan media
sosial dan bahkan data sensor yang dihasilkan mesin yang lebih besar. Kami juga melihat bahwa
ketidakpastian data meningkat saat kami beralih dari data perusahaan ke data sensor. Ini seperti
yang kita harapkan. Data perusahaan tradisional di gudang memiliki solusi kualitas standar seperti
proses master untuk mengekstrak, mengubah, dan memuat data yang sebelumnya kami sebut
sebagai ETL. Ketika perusahaan mulai memasukkan orang dan data mesin yang kurang terstruktur
dan tidak terstruktur ke dalam solusi big data mereka, data menjadi lebih berantakan dan lebih
tidak pasti. Ada banyak alasan untuk ini. Pertama, data tidak terstruktur di internet tidak tepat
dan tidak pasti. Selain itu, Big Data berkecepatan tinggi hanya menyisakan sedikit atau tidak ada
waktu untuk ETL, dan pada gilirannya menghambat proses penjaminan kualitas data. Yuk simak
ulasan produk alat pengiris pisang ini di amazon.com. Salah satu dari lima ulasan bintang
mengatakan bahwa itu menyelamatkan pernikahannya dan membandingkannya dengan
penemuan terbesar dalam sejarah. Pengulas bintang lima lainnya mengatakan bahwa petugas
pembebasan bersyaratnya merekomendasikan alat pengiris karena dia tidak diperbolehkan
berada di sekitar pisau. Ini jelas pengulas palsu. Sekarang pikirkan penilaian produk otomatis
melalui ulasan yang sangat bagus dan memperkirakan banyak penjualan untuk alat pengiris
pisang dan pada gilirannya menyarankan untuk menyimpan lebih banyak alat pengiris dalam
inventaris. Amazon akan memiliki masalah. Untuk kasus yang lebih serius mari kita lihat kasus
tren flu Google dari tahun 2013. Untuk Januari 2013, Google Friends sebenarnya memperkirakan
hampir dua kali lebih banyak kasus flu seperti yang dilaporkan oleh CDC, Pusat Pengendalian dan
Pencegahan Penyakit. Alasan utama di balik ini adalah bahwa Google Pantau Flu Dunia
menggunakan Big Data di internet dan tidak memperhitungkan ketidakpastian data dengan
benar. Mungkin berita dan perhatian media sosial yang diberikan pada tingkat flu yang sangat
serius tahun itu mempengaruhi perkiraan tersebut. Dan menghasilkan apa yang kita sebut
perkiraan berlebihan. Ini adalah contoh sempurna tentang betapa tidak akuratnya hasil jika hanya
Big Data yang digunakan dalam analisis. Bayangkan dampak ekonomi dari membuat persiapan
perawatan kesehatan dua kali lipat jumlah kasus flu. Itu akan sangat besar. Contoh tren flu
Google juga memunculkan kebutuhan untuk dapat mengidentifikasi dari mana tepatnya Big Data
yang mereka gunakan berasal. Transformasi apa yang dialami big data hingga saat digunakan
untuk perkiraan? Inilah yang kami sebut sebagai penyedia data. Sama seperti kita mengacu pada
asal artefak. Singkatnya, aliran Big Data yang terus meningkat mendorong solusi cepat untuk
menggunakannya dalam solusi analitis. Ini menciptakan tantangan dalam melacak kualitas data.
Apa yang telah dikumpulkan, dari mana asalnya, dan bagaimana ia dianalisis sebelum digunakan.
 complicated to achieve with large volumes of data coming in varieties and velocities.
6 Valence: keterkaitan
In this video, we'll talk about a new that is usually not covered much. It's called
valence.
Simply put Valence refers to Connectedness. The more connected data is, the higher it's
valences. The term valence comes from chemistry. In chemistry, we talk about core
electrons and valence electrons of an atom. Valence electrons are in the outer most shell,
have the highest energy level and are responsible for bonding with other atoms. That
higher valence results in greater boding, that is greater connectedness. This idea is carried
over into our definition of the term valence in the context of big data. Data items are often
directly connected to one another. A city is connected to the country it belongs to. Two
Facebook users are connected because they are friends. An employee is connected to his
work place. Data could also be indirectly connected. Two scientists are connected, because
they are both physicists. For a data collection valence measures the ratio of actually
connected data items to the possible number of connections that could occur within the
collection. The most important aspect of valence is that the data connectivity increases
over time. The series of network graphs comes from a social experiment where scientists
attending a conference were asked to meet other scientists they did not know before. After
several rounds of meetings, they found new connections shown by their red edges.
Increase in valence can lead to emergent group behavior in people networks, like creation
of new groups and coalitions that have shared values and goals. A high valence data set is
denser. This makes many regular, analytic critiques very inefficient. More complex
analytical methods must be adopted to account for the increasing density. More interesting
challenges arise due to the dynamic behavior of the data. Now there is a need to model and
predict how valence of a connected data set may change with time and volume. The
dynamic behavior also leads to the problem of event detection, such as bursts in the local
cohesion in parts of the data. And emergent behavior in the whole data set, such as
increased polarization in a community.
7 Value: nilai
The Sixth V, Value.
In this module, we described the five ways which are considered to be dimensions of big
data. Each way presented a challenging dimension of big data namely, size, complexity,
speed, quality, and connectedness. Although we can list some other rays base on the
context, we prefer to list these five s fundamental dimensions that this big data
specialization helps you work on. However, at the heart of the big data challenge is turning
all of the other dimensions into truly useful business value. The idea behind processing all
this big data in the first place is to bring value to the problem at hand. In week two we will
Ini mirip dengan artefak seni yang memiliki pemeliharaan atas semua yang telah dilaluinya. Tetapi
bahkan lebih rumit untuk dicapai dengan volume besar data yang datang dalam varietas dan
kecepatan.
Valensi: keterkaitan
Dalam video ini, kita akan berbicara tentang hal baru yang biasanya tidak banyak dibahas. Itu
disebut valensi.
Sederhananya Valence mengacu pada Keterhubungan. Semakin banyak data yang terhubung,
semakin tinggi valensinya. Istilah valensi berasal dari kimia. Dalam kimia, kita berbicara tentang
elektron inti dan elektron valensi atom. Elektron valensi berada di kulit terluar, memiliki tingkat
energi tertinggi dan bertanggung jawab untuk berikatan dengan atom lain. Hasil valensi yang
lebih tinggi dalam balutan yang lebih besar, yaitu keterhubungan yang lebih besar. Ide ini terbawa
ke dalam definisi kami tentang istilah valensi dalam konteks Big Data. Item data sering langsung
terhubung satu sama lain. Sebuah kota terhubung dengan negara yang dimilikinya. Dua pengguna
Facebook terhubung karena mereka berteman. Seorang karyawan terhubung ke tempat kerjanya.
Data juga bisa terhubung secara tidak langsung. Dua ilmuwan terhubung, karena keduanya adalah
fisikawan. Untuk valensi pengumpulan data mengukur rasio item data yang benar-benar
terhubung dengan kemungkinan jumlah koneksi yang dapat terjadi dalam koleksi. Aspek yang
paling penting dari valensi adalah bahwa konektivitas data meningkat dari waktu ke waktu.
Rangkaian grafik jaringan berasal dari eksperimen sosial di mana para ilmuwan yang menghadiri
konferensi diminta untuk bertemu dengan ilmuwan lain yang tidak mereka kenal sebelumnya.
Setelah beberapa putaran pertemuan, mereka menemukan koneksi baru yang ditunjukkan oleh
tepi merah mereka. Peningkatan valensi dapat menyebabkan munculnya perilaku kelompok
dalam jaringan orang, seperti pembentukan kelompok dan koalisi baru yang memiliki nilai dan
tujuan bersama. Kumpulan data valensi tinggi lebih padat. Hal ini membuat banyak kritik analitik
reguler menjadi sangat tidak efisien. Metode analisis yang lebih kompleks harus diadopsi untuk
memperhitungkan peningkatan densitas. Tantangan yang lebih menarik muncul karena perilaku
dinamis data. Sekarang ada kebutuhan untuk memodelkan dan memprediksi bagaimana valensi
dari kumpulan data yang terhubung dapat berubah dengan waktu dan volume. Perilaku dinamis
juga mengarah pada masalah deteksi peristiwa, seperti ledakan dalam kohesi lokal di bagian data.
Dan perilaku yang muncul di seluruh kumpulan data, seperti peningkatan polarisasi dalam suatu
komunitas.
Nilai: nilai
V Keenam, Nilai.
Dalam modul ini, kami menjelaskan lima cara yang dianggap sebagai dimensi Big Data. Setiap cara
menghadirkan dimensi big data yang menantang yaitu, ukuran, kompleksitas, kecepatan, kualitas,
dan keterhubungan. Meskipun kami dapat membuat daftar beberapa sinar lain berdasarkan
konteksnya, kami lebih memilih untuk membuat daftar lima dimensi dasar yang membantu Anda
mengerjakan spesialisasi Big Data ini. Namun, inti dari tantangan big data adalah mengubah
semua dimensi lain menjadi nilai bisnis yang benar-benar bermanfaat. Ide di balik pemrosesan
semua Big Data ini pada awalnya adalah untuk memberi nilai pada masalah yang dihadapi. Di
explore how to take the first steps into starting to generate value out of big data. Now that
we saw all the ways, let's focus on an example of a big data challenge. Let's imagine now
that you're part of a company called Eglence Inc. One of the products of Eglence Inc is a
highly popular mobile game called Catch the Pink Flamingo. It's a multi-user game where
the users have to catch special types of pink flamingos that randomly pop up on the world
map on their screens based on the mission that gets updated randomly. The game is
played by millions of people online throughout the world. One of the goals of the game is to
form a network of players to collectively cover the world map with pink flamingo sightings
and compete other groups. Users can pick their groups based on player stats. The game's
website sends free cool stuff to registered users. Registration requires users to enter
demographic information such gender, year of birth, city, highest education, and things like
that. However, most of the users enter inaccurate information about themselves, just like
most of us do. To help improve the game, the game collects real time usage activity data
from each player and feeds them to it's data servers. The players of this game are
enthusiastically active on social media, and have strong associations with the game. A
popular Twitter hashtag for this game is, CatchThePinkFlamingo, which gets more than
200,000 mentions worldwide per day. There are strong communities of users who meet via
social media and get together to play the game. Now, imagine yourself as the big data
solutions architect for Fun Games Inc. There are definitely examples of all three types of
data sources in this example. The mobile app generates data for the analysis of user
activity. Twitter conversations of players form a rich source of unstructured data from
people. And the customer and game records are examples of data that this organization
collects. This is a challenging big data example where all characteristics of big data are
represented. There are high volumes of player, game and Twitter data, which also speaks
to the variety of data. The data streams from the mobile app, website, and social media in
real-time, which can be defined as high velocity data. The quality of demographic data
users enter is not clear, and there are networks of players which are related to the balance
of big data.
minggu kedua, kita akan mengeksplorasi bagaimana mengambil langkah pertama untuk mulai
menghasilkan nilai dari Big Data. Sekarang setelah kita melihat semua caranya, mari kita fokus
pada contoh tantangan Big Data. Bayangkan sekarang Anda adalah bagian dari perusahaan
bernama Eglence Inc. Salah satu produk dari Eglence Inc adalah game seluler yang sangat populer
bernama Catch the Pink Flamingo. Ini adalah permainan multi-pengguna di mana pengguna harus
menangkap jenis flamingo merah muda khusus yang muncul secara acak di peta dunia di layar
mereka berdasarkan misi yang diperbarui secara acak. Permainan ini dimainkan oleh jutaan orang
secara online di seluruh dunia. Salah satu tujuan dari permainan ini adalah untuk membentuk
jaringan pemain untuk secara kolektif menutupi peta dunia dengan penampakan flamingo merah
muda dan bersaing dengan kelompok lain. Pengguna dapat memilih grup mereka berdasarkan
statistik pemain. Situs web game mengirimkan hal-hal keren gratis ke pengguna terdaftar.
Pendaftaran mengharuskan pengguna untuk memasukkan informasi demografis seperti jenis
kelamin, tahun lahir, kota, pendidikan tertinggi, dan hal-hal seperti itu. Namun, sebagian besar
pengguna memasukkan informasi yang tidak akurat tentang diri mereka sendiri, seperti
kebanyakan dari kita. Untuk membantu meningkatkan game, game mengumpulkan data aktivitas
penggunaan waktu nyata dari setiap pemain dan memasukkannya ke server datanya. Para
pemain game ini sangat antusias aktif di media sosial, dan memiliki asosiasi yang kuat dengan
game tersebut. Tagar Twitter populer untuk game ini adalah, CatchThePinkFlamingo, yang
mendapat lebih dari 200.000 sebutan di seluruh dunia per hari. Ada komunitas pengguna yang
kuat yang bertemu melalui media sosial dan berkumpul untuk bermain game. Sekarang,
bayangkan diri Anda sebagai arsitek solusi Big Data untuk Fun Games Inc. Pasti ada contoh dari
ketiga jenis sumber data dalam contoh ini. Aplikasi seluler menghasilkan data untuk analisis
aktivitas pengguna. Percakapan pemain di Twitter membentuk sumber yang kaya akan data tidak
terstruktur dari orang-orang. Dan catatan pelanggan dan permainan adalah contoh data yang
dikumpulkan oleh organisasi ini. Ini adalah contoh Big Data yang menantang di mana semua
karakteristik Big Data diwakili. Ada volume data pemain, game, dan Twitter yang tinggi, yang juga
menunjukkan keragaman data. Aliran data dari aplikasi seluler, situs web, dan media sosial secara
real-time, yang dapat didefinisikan sebagai data berkecepatan tinggi. Kualitas data demografis
yang dimasukkan pengguna tidak jelas, dan ada jaringan pemain yang terkait dengan
keseimbangan big data.