《销售培训一指禅》-TBDS Lite版-对内

You might also like

Download as pptx, pdf, or txt
Download as pptx, pdf, or txt
You are on page 1of 29

销售培训一指禅

TBDS-Lite 产品
行销接口人 王珊珊
大数据产品架构负责人 火雪挺
Part 1 什么是 TBDS
Part 2 为什么需要 TBDS 大数据产品
01
Part 3
Part 4
TBDS-Lite 产品优势
TBDS-Lite 版的客户是谁
Part 5 TBDS 典型案例
Part 6 销售指引 & 接口人信息
什么是 TBDS
01
TBDS 产品介绍
腾讯大数据处理套件( Tencent Big Data Suite , TBDS )是基于腾讯 10+ 年海量数据处理经验,面向数据全生命周期,提供的一
站式数据规划、集成、开发、治理、服务、应用平台。 TBDS 包括高性能计算存储分析引擎和丰富的数据微服务工具,可供用户灵活
组合,并通过全平台开放能力连通各行业优秀数据应用,满足用户在多行业、多场景的数据应用和运营需求。既可以是一站式大数据
开发平台,也可以是数据中台的基础底座,又可以是政企组织大数据生态的连接器。
TBDS 产品矩阵

基于 TBDS 的平台开放能力

大数据解决方案 企业级数仓 数据中台 实时计算 数据探索 信息检索 ……

开放能力:通过 TBDS 提供的平台开放能力,快速扩


展和适配内外部中台工具,形成联合的大数据产品方
数据治理 数仓建设 数据应用 案,为满足不同行业和企业的大数据解决方案建设提
数据产品及服务 供更多助力
数据 数据 数据 … 数据 数仓 指标 … 用户 …
BI Raydata
资产 标准 质量 … 建模 开发 管理 … 画像 …

一站式数据开发平台 全域数据管理平台 数据同步与服务总线


全链路工具产品 DataStudio ( WeData ) DataManager DataETL 工具产品:基于腾讯内部大数据业务验证和沉淀,聚
更多工具
焦提供面向开发者的数据集成、开发、服务一体化能
敬请期待
力,并通过平台服务能力进行扩展

TBDS TBDS Lite TBDS-OLAP TBDS-ES


引擎产品:兼容开源 Hadoop 社区标准,通过自研优化,
多引擎支持 更多引擎
进一步提升性能和稳定性,为构建大数据解决方案提
敬请期待 供了大数据平台基础能力
核心优势

企业级大数据云平台 安全加固
• 基于腾讯业务实践打造数据平台 • 完整的 4A 安全体系
• 海量数据处理能力 • 网络安全的立体防护
• 快速部署 • 多租户数据隔离安全
• 一体化的容灾备份

高性能计算存储引擎 可观测安全运维
• 具有互联网基因的开源组件增强
TBDS • 多组件统一监控
• 可视化流计算框架 六大核心能力 • 自定义预警
• 业界领先的高性能多维分析引擎 • 降低运维成本

一站式数据处理 生态开放融合
• 一站式数据开发 • 行业领域 TOP 级大数据合作伙伴
• 全域数据管理建模 • 场景化服务能力
• 简单易用的机器学习平台 • 集成与被集成生态圈
为什么需要 TBDS 大数据产品
02
企业级大数据需求路径
DI 时代 (数据智能)
为 DI 数据智能应用提供高保障的数据

企业全域数仓 / 数据平台
全域数汇聚 – 数据融合加工 - 数据治理体系 – 数据共享开放
BI 时代
主要支持 BI 数据分析和报表系统,响应即席查询

基础数据仓库
数据汇集 – 数仓建模 – 历史存档

数据孤岛时代
各业务系统的数据表独立服务单一的业务系统

数据库
数据建模 – 建表 – 数据库备份
市场空间和政策支持

全球数据总量( ZB ) 大数据全球战略布局全面升级

40
40 美国 中国
2012 年《大数据研究和发展倡议》
2016 年《联邦大数据研究与开发战略计划》
2016 年 3 月,第十三个五年规划
30 欧盟 纲要,明确提出实施大数据战略
2011 年《开放数据:创新、增长和透明治理的引擎》
21.6 《数据驱动经济战略》 2017 年 12 月 8 日,习近平:实
20 施国家大数据战略,加快建设数
15.2 澳大利亚 字中国
11.4 2011 年《国家数字经济战略报告》
2013 年《数据驱动经济战略》
10 8.59 2020 年首次将“数据”与土地、
6.6
4.4
英国 劳动力、资本、技术等传统要素
1.8 2.84
0.13 0.16 0.28 0.49 0.8 1.23 2013 年《英国数据能力发展战略规划》 并列为要素之一写入文件,强调
0 要加快培育数据要素市场
200 200 200 200 200 201 201 201 201 201 201 201 201 201 202 日本
5 6 7 8 9 0 1 2 3 4 5 6 7 8 0(F) 2012 年《面向 2020 年的 ICT 综合战略》

• 数据增长趋势:根据 IDC 等权威机构的数据测算,全球数据以年 40% • 看全球:大数据全球战略布局全面升级,大数据发展已到达从概念推广到全


的比例增长,以这样的速度,到 2020 年全球数据将已达到 40ZB ! 面落地的重要转折期,各国发布各种战略措施,积极推动大数据发展
(中国数据总量达 8ZB ,占比 20% ) • 在中国:在国家大数据战略背景下,借力政策的东风,从自身业务出发,对
• 挑战和机遇:数据量以不可阻挡的趋势在爆发,如何整合好数据、管 数据整合、管理和应用能力提前布局准备,机不可失!
理好数据、应用好数据,是挑战更是机遇!

数据来源:公开资料整理 9
如何判断客户有 TBDS 大数据产品的搭建需求

• 需要从 0-1 构建大数据体系的政企组织,且注重数据


数字 数字政府 安全,需要私有化和混合云部署的组织
中国 智慧城市
• 已经有一定的数据体系基础,需要向海量异构数据
处理转型的组织
数字
社会 • 已经有一定的大数据存算基础,需要向统一开发、
统一调度、统一监控、统一管理等精细化数据管理
转型的组织
数字
文化 • 组织有去 IOE 国产化的需求

• 客户具有实际可落地的数据应用场景,需要具有互
数字化产业赋能 数字 联网大数据能力的平台工具作支撑
产业数字化 经济
• 客户没有预期的应用场景,但知道数据的宝贵,
“先存下来再说”也是一种需求

1
0
TBDS-Lite 产品优势
03
TBDS-Lite 版解决客户大数据平台“起步难“的问题

客户痛点 TBDS-Lite 版

数据少、应用轻,无需大规模硬件投入 最低配置仅需 4 个节点服务器

预算少,价格敏感 刊例价起步仅 80 万

自带可选的数据微服务工具,例如数据开发、
缺乏统一成熟的数据微服务工具
数据管理

可以平滑升级扩容至 11 个节点以上的标准
担心增长与升级扩容问题
版、企业版,并按需加装必要组件

底层的 hadoop 存算引擎、上层的数据微服


担心被平台绑架 务均开放了接口,用户随时可以导入和导出
所有的数据及任务

1
2
TBDS Lite 对比 Hadoop 开源版本总结
能力 TBDS Hadoop 优势
• EB 级数据高效存储计算能力
• 单集群 1.2W ,多集群 5W+ 的集群规模,支持多集群纳管能力

海量数据存储计算企业级平台 ★★★★★ ★★★ • 日采集日志 40 万亿 +


• 日实时计算 3.5 万亿 +
• 日数据增量 500TB

• 物理服务器本地部署
灵活的部署方式 ★★★★★ ★★ • 私有云部署
• 公有云部署
• 完整的 4A 安全体系
安全性与可靠性 ★★★★★ ★ • 网络安全立体防护
• 一体化的灾备能力保证集群及组件高可用
• 基于开源,优于开源,技术栈平滑迁移,企业自主可控
自主可控性 ★★★★ ★★★
• 支持国产化的服务器、操作系统

一站式大数据开发能力 ★★★★★ ★★ • 数据全流程的数据开发平台,集数据集成、开发、处理、监控到数

据可视化一体化能力
• 针对各种组件、日志格式、监控指标提供多源采集、数据可视化、
平台运维能力 ★★★★★ ★★
时效与一致性可观测性运维体系,提升平台运维易用

• 兼容开源 Hadoop 生态和自研组件服务


兼容开放性 ★★★★★ ★★★ • 提供核心能力 API 接口满足用户更灵活的使用产品和二次开发
• 可集成内外部组件及各层合作伙伴能力
TBDS Lite 版产品架构
 海量数据存储和计算解决方案, TB-PB 级数据处理支持  支持多级多租户体系,满足集团 / 企业级管理需求
 支持存算分离,兼容对象存储 / 数据湖一体化方案  单集群最大超 1000+ 节点支持,支持多集群管理

数据集成 数据建模 数据开发 数据分析 数据治理 数据服务 …


多租户体系 | 多集群管理 | 混合云部署

分析 管理
Hive Spark Impala Presto ES

服务 Ambari Ranger
HBase Pheonix Iceberg Kudu

接入 存储 计算 Yarn Atlas
Flume Kafka HDFS MR Spark Flink

… …
Portal Master Worker
TBDS Lite 产品特点

弹性轻量,适用不同阶段需求 架构 全平台 生态赋能,拥抱“被集


• 4 节点起步,可扩展至数千台;
先进 开放 成”
• 支持社区版本升级;
• 全平台开放 API ,聚焦数据中台共
• 管控节点 docker 化,一键部
享能力建设;
署,支持平滑升级扩容。
• 协同打造整体产品解决方案;成为
数据工具 行业伙伴解决方案的一部分,帮助

链丰富 伙伴更好的服务客户。

一站式数据开发平台 全域数据管理平台
• 全域数据开发工具平台,满足多人线上协同开发需要 ; • 把分散的多方数据进行整合纳入统一的技术平台 ;
• 提供数据集成、数据开发、任务调度到运维监控全链 • 数据进行标准化和细分,提高数据价值。
路工具,为用户快速建设数仓、数据服务提供便利。
TBDS-Lite 版的客户是谁
04
从产品功能出发,满足客户典型的应用场景
需要低成本的、支持国产化的、自主可控的海量数据存算平台
需要基于 Hadoop 生态体系构建更丰富的数据仓库 / 数据湖,实现企业级用户画像、
金融数据资产、精准推荐物联网大数据等场景
需要一站式的数据处理平台,“麻雀虽小但也要五脏俱全”

数据汇聚与存储 1 202 离线数据仓库建设


拥有数十 TB 及以上数据,需要集成和 企业需要积累历史数据,建设统一的数据
汇聚包括结构化数据、半结构化数据和 中心,快速满足业务决策所需数据的需要,
非结构化数据,传统数据库无法满足情 存 管 期望提供一整套的工具平台帮助数仓落地,
况下,用于构建企业级大数据存储平台 并统一管理数据资产

数据分析与探索 033 404 支撑企业数字化转型


为企业的数据分析师和业务专家,提供 算 用 传统企业向数据驱动型企业转变,通过构建
可交互式的数据分析和探索工具,满足 全域数仓 / 数据平台,为企业探索创新型业
数据实时分析查询,通过数据运算进行 务提供快速数据支撑,如企业决策分析、生
探索挖掘,快速响应决策需要 产计划、精准营销、风控等

重点行业金融、政务、公安、零售,文旅,教育,能源
1
从客户需求出发, TBDS-Lite 实现组织大数据时代的入门

01
组织决策仍靠经验?数据价值无法体现?
• 数据化经营分析以支撑组织决策
• 支持海量异构数据的多维实时分析 支撑组织决策
• 数据挖掘业务价值实现数据智能 实现数据智能

降低数据 加速数据分析
拥有成本 形成数据资产

02 03
传统数据库存储贵?只能处理结构化数据? 数据管理杂乱无章?开发效率低下又不统一?
• 替代传统数据库和 MPP ,存储多样化数据 • 通过数据管理,实效统一高效且安全的数据管控
• 利旧低配置硬件,轻松存储 TB 级数据,有效降低单位存储成本 • 通过数据开发,加速数据从低价值密度向高价值的转换
• 通过数据探索,挖掘潜在的数据价值并形成数据资产
TBDS-Lite 不同伙伴的大数据售卖方案

业务场景导向
金融 政务 / 公安 零售 / 传媒 / 教育 制造 / 能源 文旅 / 地产 / 交通 ……
• 希望快速看到业务效果,对大
数据存算底层要求不高且预算
有限 业务应用
• 通过被渠道伙伴集成的方式售
卖,由伙伴开发上层应用 经营分析 标签画像 精准营销 风险控制 生产优化 供应链优化 优政惠民 时空分析 ……

交互式 BI 多维分析 数据简报 知识图谱 大屏展示


数据应用 集群管理 平台运
数据资产导向 集群纳管 营
统一日志
• 希望快速沉淀数据资源形成资 数据服务 数据交换共享 数据 API 平台 API

产,进行数据探索和挖掘,对 集群监控 监控告警


存算底层技术要求不高 数据集 数据开发 数据治理
• 通过被渠道伙伴集成的方式售
卖,由伙伴提供数据开发、数 成 离线数据集成 离线任务开发 机器学习 数据质量管理 数据标准管理 配置管理 产品管理
据治理、数据资产管理等能力
实时数据同步 实时任务开发 数据探索 元数据管理 数据资产管理 性能调优 安全审计

许可管理 租户管理
数据平台导向 数据源管理 库表管理 字典管理
数据管理 ……
• 希望从 0 到 1 构建大数据平台,
起步数据量少,以离线计算为
主,伴随部分实时计算需求 Hive Spark Presto Flink SuperSQL Iceberg
• 相信大厂品牌,置换原有闭源 Hadoop
或开源 Hadoop 平台,例如
CDH 等 生态 + 自研 HBase Pheonix Kudu …… Hermes ……

1
9
TBDS 典型案例
05
66
某大型国有银行数据中台项目案例

项目概述 方案架构 项目价值

项目背景: 项目价值:
 全面整合内外数据,实现全行共享
数据已成为重要的生产资料,数字
应用 产品创新 风险管理 用户服务 高效运营 复用,可实现 PB 级规模下的大数
化成为银行下一个十年的战略重点。
据可视化分析探索
某行在此项目中着力打造业内一流
 为某行大数据应用提供基础支撑,
的大数据分析及应用平台,从技术、
支持各业务条线在大数据平台之
数据、应用等多个层面推动全行数 DAAS …
数据微服务 用户 运营 数据 理财产品 信用风险 上根据需求快速构建大数据应用
字化银行转型。 数 画像 分析 检索 对比分析 预测服务
项目成果:

业务挑战:
中 TBDS 数据库服务
数据孤岛严重 存储成本高 台 数据资源服务目录 数据共享交换中心 图数据库
PAAS
数据质量低下 应用场景多样复杂 元数据管理 数据质量管理 数据标准管理 内存数据库
数据平台
风险管控 高效运营
离线计算 流式计算 机器学习 多维分析 关系型数据库
解决方案:

基于 TBDS 整合全行内部全域数 支付 行为 业务 位置 公共 新闻 消息
数据源 数据 数据 交易 数据 财报 舆情 评论
据,建立集约化数据中台,深度
用户画像 产品分析
构建智能金融服务

产品组合 TBDS Oceanus 商业智能分析 RayData


某大型国有银行数据中台项目案例建设成果及价值体现

• 实时横向爬取、比对、 • 全程收集各种审批流程
分析不同银行 / 机构间 日志,通过数据手段分
理财产品差异,借此指 析低效环节并加以改进,
导理财产品研发和改进 产品 高效 提升整体运营效率
创新 运营

用户 风险
服务 管控

• 基于该行内外部多年积 • 利用大数据手段有效抵
• 根据多维数据构建 累数据,对个人信用卡 御“羊毛党”和黑产入
实时用户画像 / 小额贷款、企业贷款 侵,降低运营活动中的
实时风险监控,坏账率 非正常资金损耗
• 根据用户属性和产 同比下降约 67% ;
品属性推荐不同理
财产品,做到真正
意义的“千人千
面”
某大型能源国企数据湖项目案例
事务型应用 分析型应用
应用层
电网管理平台 客户服务平台 调度运行平台 ... 企业运管平台 决策分析 报表中心 审计中心 数据洞察 ...

数据门户
数据资产管理 数据安全
统一数据服务层 营销域 资产域 ……
组件服务层
统一模型管理 数据安全网关
( 数据中台 ) 能力服务 工具服务
数据工厂 服务引擎 任务调度 数据挖掘
指标库 标签库 算法库
报表工具 自助分析 融合计算 智慧搜索
数据质量治理 数据脱敏

实时计算 批量计算
计算层 Spark/Flink Hive/MPP/Impala
数据标准管理 数据加密

结构化数据 非结构化数据 时序数据

关系型数据库 内存数据库
主数据管理 数据湖 数据安全审计
存储层 MPP 数据库 NoSQL 对象存储 时序库

全文检索库 图数据库

数据安全
元数据管理
管理中心
传输层 数据传输服务( DTS )
某大型能源国企数据湖项目案例建设成果及价值体现

• 省级数据采集实时监控, • 实现分区线损、台区线
数据采集完整率,及时 损、线路线损可视化逐
率 90% 以上。 层钻取。
• 数据清洗、数据校验实 • 实现台区线损、线路线
时监控,对档案、采集 损逐层钻取、逐层定位,
数据进行非空、约束、 实现线损输入输出异常
精度长度校验。 分析、拓扑关系查看。

链路 线损
监控 分析

大屏 数据
应用 清洗

• 基于微服务开发,实 • 按照统一数据模型配置
现链路监控,电网总 清洗校验规则
览,供用电总览,指 • 清洗结果输出统计和明
标监测,线损管理, 细数据,异常可追溯
配变运行监测,产业 • 根据异常类型生成对应
分布,住房空置率。 的工单,形成异常闭环
管理
某政府电子政务数据平台项目案例
应 分析

流程应用 政务服务 数据推送 宝i企 智慧应用 疫情防控 大屏 / 报表
应用

大 统一数据资源管理 & 服务

据 指标库 标签库

源 实时服务 企业主题库

企业统一库 企业政策库 重点监管库 重点关注库 企业信用库 企业补贴库 …

环保主题库
… 交通主题库 信用主题库
… 数 数
实时统计数据 融合明细数据库 据 据
实时数仓 ( 离线业务库 ) 标 安
(流式数据) 准 全
基础融合数据 人口 企业 政务信息 地理信息
基础库(资源网) 规 运
城市部件 公共服务 行为事件 宏观经济 范 维
人口库
数据标准化 数据融合
实时采集 法人库
贴源库
公安数据 发改数据 环保数据 教育数据 房屋库
市场监管数据 住建数据 城管数据 政务数据

市 事
办 过程数据 信用信息数据 学位资源数据 互 市
联 镜
源 小程序
/

区 网上

办 大厅业务数据 市信用平台数据 区教育 / 公安局数据 网 像 人口数据 法人数据
数 据
委 库

据 办 据 APP
数 统一受理平台业务数据 办委
各 业务数据 市共享平台数据 房屋数据
… … … …
某政府电子政务数据平台项目案例建设成果及价值体现
基于 TBDS 数据中台的疫情主题数据应用案例
销售指引 & 资源池 & 接
06 口人信息
资源池 & 接口人信息

【创新实验室】开放实验室环境,帮助伙伴⾏
业⽅案落地,配合渠道折扣返佣拉动伙伴收益

【 CSP 服务体系】释放服务份额给伙伴,配合
渠道折扣返佣拉动伙伴收益

【培训认证】技术赋能,分层⼈才体系筛选和
培养懂产品的专才

行销接口人:王珊珊 michwang@tencent.com

2
生态共赢推动产业重塑
感谢聆听!

You might also like