第1讲大数据的基本原理

中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
第一讲大数据的基本原理
学学学学学
M M M M M
O O O O
中央财经大学金融学院
彭俞超
邮箱：yuchao.peng@hotmail.com
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
本讲内容
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C 三．大数据的运用 C C
二．大数据的思维
中中中中中
国国国国国
大大大大大
一．大数据概念和内涵
四．大数据的处理流程
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
2
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
一、大数据概念和内涵
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
大数据爆炸
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
4
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
大数据到底有多大？
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
5
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中
国
大
中
国
大
中
国
大
• data vs. digit 中
国
大
中
国
大
学学学学学
M M M M M
O O O O
O O O O
C C C C
•数据化不是数字化
•世界万物的数据化
•一切皆可以“量化”
• 态度变成数据——情绪
中
国
大
• 方位变成数据——导航
中
国
大
中
国
大
中
国
大
中
国
大
学学学学学
M M M M M
O O
• 沟通变成数据——社交媒体 O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
大数据时代：万物数据化
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
6
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
专题文章， Big Data
中中中中中
国国国国国
大大大大大
大数据发展的历程
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
• 起源于2008年9月的《Nature》刊登的一组
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
•尚不统一
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
• 《大数据时代》：
O O O O
O O O O
大数据的定义
C C C C
•字面上，巨大的数据？
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
• James Manyika（麦肯锡）：
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
的捷径，而采用所有数据进行分析处理。
中中中中中
国国国国国
大大大大大
学学学学学
• 大数据是指不用随机分析法（抽样调查）这样
型数据库获取、存储管理和分析数据的能力。
• 大数据是指数据的集合，其大小超出了现有典
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
海量的
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
洞察力
O O O O
O O O O
大数据的定义
C C C C
•研究机构Gartner：
中中中中中
国国国国国
大大大大大
大数据
决策力
学学学学学
M M M M M
O O O O
O O O O
C C C C
高增长率和多样化的信息资产。
中中中中中
国国国国国
流程优
化能力
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
多样的
中中中中中
国国国国国
大大大大大
• 大数据是需要新处理模式才能具有更强的决策
力、洞察发现力和流程优化能力来适应海量、
学学学学学
9
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
二、大数据的思维
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
•数据更好
•数据更杂
•数据更多
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
• 不是精确性，而是混杂性
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 不是随机样本，而是全体数据
• 不是因果关系，而是相关关系
中中中中中
国国国国国
大大大大大
学学学学学
大数据究竟哪里不一样？
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
11
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
• 困境：
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中来管理国民。中中
国国国国国
大大大大大
• 无法考察子类别
• 随机性难以保证
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
随机样本vs.全体样本
中中中中中
• 需要严密的安排和设计，缺乏延展性
国国国国国
大幅提高，但与样本数量关系不大
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 随机采样：最少的数据获得最多的信息
中中中中中
国国国国国
• 采样分析的精确性随着采样随机性的增加而
• 人口普查：数千年来，政府都试图通过收集信息
大大大大大
学学学学学
12
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
• 葡萄园与温度计
•不再期待精确性
M M M M M
O O O O
O O O O
C C C C
中中中中中
精准性vs.混杂性
国国国国国
大大 • MIT的通货紧缩预测软件大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
• IBM Candide vs. Google Translate
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
•“小数据” 最重要的就是保证质量
O O O O
C C C C
中中中中中
国国国国国
•大数据的简单算法优于小数据的复杂算法
大大大大大
学学学学学
13
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
• 啤酒与纸尿裤
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 学术研究要求因果性
•关联性是预测的关键
中中中中中
因果性vs.相关性
国国国国国
大大大大大
学 • 基于原因、传导途径来实施政策
学学学学
M M M M M
O O O O
• 飓风来临时，蛋挞销量提升
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
• 一些学者用大数据方法识别因果推断
M M M M M
O O O O
O O O O
C C C C
•现有业界人士关注是什么而不是为什么
中中中中中
国国国国国
大大大大大
学学学学学
14
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
大数据
O O O O
C C C C
中中中中中
•数据胜过经验
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大数据的两个思维
大大大大大
•案例1：友好的科学竞赛
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
试——预测2002年高等法院审核案件的结果
国国国国国
学家Andrew Martin、Kevin Quinn进行一场比
大大大大大
• 前者利用经验分析；后者利用九位法官的政治
学学学学学
• 2001年，宾夕法尼亚大学教授Ted Ruger与政治
15
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
16
M M M M M
O O O O
结果是：大数据（75%）>经验（59%）
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
•数据胜过经验
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
大数据的思维
• 基于真实故事改编
C C C C
•案例2：《点球成金》
中中中中中
国国国国国
• https://www.bilibili.com/video/av89870405/
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 不用棒球击球率，而是上垒率
中中中中中
国国国国国
• 以计算机和数学模型分析比赛数据
大大大大大
学学学学学
抛弃了数百年来挑选球员的传统惯例
M M M M M
O O O O
O O O O
• 奥克兰运动家棒球队总经理Billy Beane
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
17
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
站的位置
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
大数据的思维
C C C C
•数据是一种生产力
•案例1：《纸牌屋》
中中中中中
国国国国国
大大大大大
• 利用手机用户位置信息、
信号强弱等，优化信号基
•案例2：西班牙电话公司
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 利用人们的偏好数据进行编剧
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
18
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
三、大数据的运用
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
•试分析
M M M M M
O O O O
O O O O
C C C C
• 负债类业务
中
国
大
中
国
大
中
国
大
• 资产类业务中
国
大
中
国
大
学学学学学
• 如何选择客户？
M M M M M
金融场景1：
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
•已知一组企业的财务数据
•银行有如下两大类业务：
O O O O
O
C • 不同的客户推荐何种业务？ O
C
O
C
O
C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
20
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
聚类
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
21
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
•试问
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
的投资组合？
大大大大大
学学学学学
M M M M M
金融场景2：
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
•你是一个新上手的股票基金经理助理
• 如何从基金公司的持股组合中捕捉到合适
•你知道基金每季度都会披露10大重仓股
中中中中中
国国国国国
大大大大大
学学学学学
22
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
关联规则
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
23
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
金融场景3：
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
#：一些指数是可以被交易的
•已知央行提出的若干指标体系
如 “美好中国ESG100指数
中中中中中
国国国国国
•我们如何综合评价，形成指数？
大大大大大
学学学学学
M M M M M
们每个地区的普惠金融发展水平？
O O O O
O O O O
C C C C
中中中中中
国国国国国
•你在尝试研究普惠金融问题，综合评价我
大大大大大
学学学学学
24
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
降维
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
25
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
金融场景4：
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
•如何预测企业的违约概率？
中中中中中
国国国国国
请贷款时提供的详细财务信息。
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
•你是一个银行信贷审批员，你由企业申
中中中中中
国国国国国
大大大大大
学学学学学
26
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
分类
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
27
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
•精准营销
•风险管理
中中中中中
国国国国国
大大大大大
大数据金融
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 智能投顾、量化投资
• 银行理财、保险销售等
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
•资产定价（与金工类似）
O O O O
O O O O
C C C C
• 例如：微众银行、阿里小贷等
• 例如：水滴筹、银行app理财推荐
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
• 例如：工行的AI投资基金、对冲基金
O O O O
O O O O
C C C C
• 银行信用风险、P2P平台、大数据征信等
中中中中中
国国国国国
大大大大大
学学学学学
28
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 了解更全的信息
• 掌握更多的信息
• 获得更快的信息
中中中中中
国国国国国
大大大大大
大数据运用的本质
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
信息
中中中中中
国国国国国
大大大大大
学学学学学
29
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 主体之间
• 过去与未来
中中中中中
国国国国国
• 未意识的信息
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
• 主体自身的信息不对称
大大大大大
学学学学学
M M M M M
• 时间维度上的信息不对称
• 空间维度上的信息不对称
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
缓解信息不对称的三个层次
中中中中中
国国国国国
大大大大大
学学学学学
30
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
•……
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
•降低道德风险
•降低匹配成本
国国国国国
• 防范违约风险
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
• 优化产品质量以符合用户
• 对于企业而言，精准营销
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 对于客户而言，快速寻找产品
主体之间的信息不对称
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
31
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
• ……
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 股价预测
中中中中中
国国国国国
• 个体收入预测
• 经济景气预测
• 政府行为越策
大大大大大
学学学学学
M M M M M
• 信息有助于预测
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
时间维度上的信息不对称
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
32
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
身可能存在的问题
中中中中中
• 企业管理自身运营风险
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
主体自身的信息不对称
中中中中中
国国国国国
•自身创造了许多信息，而不自知
大大大大大
学学学学学
• 例如：苹果更新换代中的一些技术
M M M M M
O O O O
O O O O
C C C C
• 了解客户特征，唤醒客户未意识到的需求
中中中中中
国国国国国
大大大大大
• 通过对企业信息全方位监测与分析，了解自
学学学学学
33
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
四、大数据处理的流程
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
大数据生命周期
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
35
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
•例子
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
数据采集
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
•挑战：并发数高。
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 火车票售票网站记录销售信息
•地位：大数据处理流程的基础
•电子化、自动化的数据收集。
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
• 电商使用MySQL和Oracle来储存每一笔交易
中中中中中
国国国国国
大大大大大
学学学学学
36
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
数据存储
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
•分布式数据库系统
上分布的大型数据库
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
理系统的一份完整拷贝副本。
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
37
M M M M M
•将数据载入分布式数据库、分布式存储集群
O O O O
共同组成一个完整的、全局的逻辑上集中、物理
放在一个地方，每台计算机中都可能有数据库管
• 通常使用较小的计算机系统，每台计算机可单独
• 位于不同地点的许多计算机通过网络互相连接，
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
抽取和集成
中中中中中
国国国国国
大大大大大
数据预处理
学学学学学
M M M M M
O O O O
O O O O
C C C C
•让数据可以被使用
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
•保证数据的质量和可靠性
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
•对采集到的数据进行适当的清晰、去噪、
大大大大大
学学学学学
38
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
•语义引擎
•可视化分析
•预测性分析
数据分析
中中中中中
•数据挖掘算法
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
• ——结构化数据分析
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
• ——非结构化、半结构化数据分析
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
学习、智能计算等方法分析数据的规律
中中中中中
国国国国国
•采用分布式计算集群利用数据挖掘、机器
大大大大大
学学学学学
39
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
数据解释
中中中中中
•也称数据应用
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
构生动形象地展示给用户
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
•以可视化、人机交互等新型技术将分析结
大大大大大
学学学学学
40
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
谢谢！
完整四段核心内容
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C
https://www.bilibili.com/video/av89644991
中中中中中
国国国国国
大大大大大
学学学学学
M M M M M
O O O O
O O O O
C C C C

第1讲大数据的基本原理

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

第1讲大数据的基本原理

Uploaded by

Copyright:

Available Formats

中中中中中

You might also like

第1讲 大数据的基本原理

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

第1讲 大数据的基本原理

Uploaded by

Copyright:

Available Formats

中 中 中 中 中

You might also like

第1讲大数据的基本原理

第1讲大数据的基本原理

中中中中中