Download as pdf or txt
Download as pdf or txt
You are on page 1of 58

腾讯大数据云平台TBDS

V5.3.0.0

2022.3
1. 行业大数据发展趋势与机遇
2. 腾讯的大数据实践之路

目录 3. TBDS产品与能力介绍
4. 产品场景化解决方案
5. 市场认可和实践案例
01 行业大数据发展趋势与机遇
大数据行业发展趋势
全球数据总量(ZB) 大数据全球战略布局全面升级

40. 40. 美国 中国
2012年《大数据研究和发展倡议》
2016年《联邦大数据研究与开发战略计划》
2016年3月,第十三个五年规划
30. 欧盟 纲要,明确提出实施大数据战略
2011年《开放数据:创新、增长和透明治理的引擎》
21.6 《数据驱动经济战略》 2017年12月8日,习近平:实施
20. 国家大数据战略,加快建设数字
15.2 澳大利亚 中国
2011年《国家数字经济战略报告》
11.4 2013年《数据驱动经济战略》
2020年《关于构建更加完善的要
8.59 素市场化配置体制机制的建议》
10. 6.6
4.4 英国 大数据被正式列为新型生产要素
1.8 2.84 2021年《“十四五”发展规划》
0.130.16 0.28 0.49 0.8 1.23
2013年《英国数据能力发展战略规划》

0.
完善大数据标准体系建设
日本
2005 2007 2009 2011 2013 2015 2017 2020(F) 2012年《面向2020年的ICT综合战略》

• 数据增长趋势:根据IDC等权威机构的数据测算,全球数据 • 看全球:大数据全球战略布局全面升级,大数据发展已到达从概念
以年40%的比例增长,以这样的速度,到2020年全球数据 推广到全面落地的重要转折期,各国发布各种战略措施,积极推动
将会达到40ZB!(中国数据总量达8ZB,占比20%) 大数据发展
• 挑战和机遇:数据量以不可阻挡的趋势在爆发,如何整合好 • 在中国:在国家大数据战略背景下,借力政策的东风,从自身业务
数据、管理好数据、应用好数据,是挑战更是机遇! 出发,对数据整合、管理和应用能力提前布局准备,机不可失!
企业/政府大数据建设面临的核心挑战

大规模数据难以治理

随着数据规模的不断增大,数
据治理越发难以进行,数据质
量、监控、安全逐渐成为瓶颈

数据时效性不足

数据存算及时性差,数据问题反馈
响应周期长,无法满足政企运营要

5
大数据为企业带来的新机遇

大数据与大营销 大数据与精细化 大数据与新机会

企业运营涉及到的数据种类繁多, 大数据已经进入变现阶段,大
通过对海量数据的挖掘、分析,
指标成本上千,通过大数据计算 数据挖掘的成果,有助于企业
精准、迅速把控市场、用户与
挖掘能力的突破,才能实现精细 新战略的制定,占领新市场商
资源,获得更多收益
化的运营,获得额外利润 机

6
大数据技术发展的趋势展望

融合 大数据融合AI、云计算、5G、物联网等技术,向云数智一体化
平台发展,“准标准化”方式提供解决方案

安全 隐私保护与数据安全越来越重要,政府立法、民众安全意识升
级等都会推动大数据下全方位隐私安全技术的发展

大数据软硬件系统自主可控,完全国产化进程加快,国内大数
可控 据厂商充分竞争推动大数据系统快速升级

数字化转型逐渐由政府、大企业带动中小微企业,不断发挥数据
变现 价值,通过预测未来、指导实践与来进行数字变现意识不断增强

7
02
腾讯的大数据实践之路
腾讯大数据的发展演进

01 02 03 04

第一代 第二代 第三代 目前


2009-2011 2012-2014 2015-2019 2019~

批流融合
模式 离线计算 实时计算 机器学习/深度学习
云数智融合

Hadoop Spark/Storm/Flink 实时数据湖


架构 Angel/智能钛TI 云原生架构
天/小时/分钟 秒/毫秒

统计分析到数据挖掘 混合部署
单机到分布式 离线到实时
能力 结构化到非结构化 存算分离
拿来主义,局部优化 重写核心模块
从0到1自研 融合计算

9
支撑内部业务的统一大数据平台

集成 处理 治理 融合 分享 洞察

企业级大数据处理平台

数百产品线 数千“数据分析师”

CD IEG CSI PCG S WX TEG


G企 互 G云 平 职 G 技
业 动 与 台 能 微 术
发 娱 智 与 系 工

展 慧
乐 内 统 事 程

事 事 容 业 事

One Unified Bigdata Platform, 业 业 事 事 群 业
群 群 业 业 群
Unlimited Data Insight! 群 群

10
腾讯内部大数据能力的对外商业化输出-TBDS

采集 业务

CDG CSIG IEG PCG WXG TEG TME S线 企业 政务 ⾦融 电商 社交 游戏 ⼴告 ……

Tencent(对内) 腾讯云⾏业解决⽅案(对外)
数据源
实时/离线
产品 套件 统⼀

实时计算
任务调度 US 多维分析 星空 机器学习 太极 数据探索 ideX 安全
Oceanus
图数据
⾃助提取 idea ⼩⻢报表 BI ⽤户画像 Face 数据监控 Monitor 权限
EasyGraph

数据资产管理
监控
数据接⼊
TDBank
计算
TBDS 运维
多维分析 Hermes OLAP分析 Kylin/Druid 机器学习引擎 Angel 漂移计算 SuperSQL 大数据
云平台 告警
流计算引擎 Flink 批计算引擎 Spark/Hive 联邦学习 PowerFL 数据湖 iceberg
审计
数据传输 资源调度
TubeMQ 规范
Pulsar 存储


HDFS Hive HBase Ozone 关系 tPG …… API
S2Graph

11
基于TBDS的腾讯音乐曲库数据湖方案实践
采集数据 大数据平台 应用
登录信息 Binlog
推荐歌曲
MySQL
搜索记录
引导付费
听歌记录 MySQL Kafka Spark Streaming Iceberg 其他广告
付费记录
MySQL 用户挽留
Merge Into
收藏点评

数据实时 分钟级 秒级查询


入湖 数据分析过程 响应

binlog的流式增量入湖,入湖延时降 基于iceberg的数据湖方案,将整体端到 入湖的数据对下游可立见,下游可以


低到1分钟以内 端的数据展示时间缩短到分钟级。 使用结合Presto进行秒级查询,满足
交互式查询场景
12
基于TBDS的微信支付日志检索实践

异步索
引合并
接入数据 总存储规
1.6万亿/天 模14PB

索引数据 存储冷热
分离 分级

历史分区
副本降级 存算分离

检索并发 日志批量 95%查询


6000/天 导出 响应<5秒

微信支付接入Hermes以来,日志量规模从最初的百亿规模增长至现在的万亿级规模,Hermes
在存储能力、扩展能力、容灾能力和资源规划能力都经历了海量数据的检验。通过优秀的存储
架构使得微信支付可以在海量数据规模下从容的应对业务连续性提出的各种挑战。
基于TBDS的实时检索广告营销服务实践

实时用户
1 多业务系统画像 2 多维分析
画像
• QQ 微信 游戏 视频 • 快速实现大宽表内千亿级数据量的复杂多维分析
• 大宽表多维分析 • 即插即查即可见
• 人群洞察 • 千亿数据规模下任意维度组合、任意层级下钻的

• LBS 检索 毫秒级分析 实时检索分析引擎


Hermes是腾讯针对交互式海量数据分析需求而自主研
发的秒级分析平台。用户可以进行任意维度、任意层
级下钻等实时分析任务,结果响应在数秒左右。

3 海量日志分析 4 超大规模集群
• 日接入数据量 30000亿条 • 服务器规模2000+台 营销多维 运营数据
• 万亿数据全量秒查 • 业务集群65个

• 日分析任务500w+ • 单集群最大阶段534台 分析 多维分析

14
基于TBDS的游戏应用分析与营销推荐
业务特点 平台价值
• 海量数据采集,每分钟2000万条记录文件采集,150万/秒的消息采集
• 10万级任务调度,整个大数据平台10+万的任务数,100+万的任务实例 • 提升游戏的精细化运营,提高转户收入,减少用户流失
数 • 通过数据分析及时找出漏洞,保护用户账号及资金安全
• 海量数据的生命周期管理,权限管理

数据源 大数据平台
实时处理域

自加工
点击信息 实施数据
采集
Spark、Flink
机器学习
登录信息 广告推荐
实时指标监控异常
(交易异常、登录等)
tPG
登录信息 Oceanus




付费信息 中 离线处理域
心 风控系统
Face
数据加工 用户画像
在线记录 HIVE
近实时
数据采集


调 多表关联
社交记录

HDFS
用户画像 黄金眼
道具使用信息 账单系统
腾讯云海外数据中心部署TBDS

莫斯科

多伦多 法兰克福
首尔
中国
硅谷
东京
弗吉尼亚
印度

中国香港

新加坡

全球多个数据中心部署TBDS

随着腾讯游戏出海,全球已有
20多个数据中心部署TBDS大
数据平台,为腾讯游戏全球业
务提供数据支撑服务
03
TBDS产品与能力介绍
产品概述-大数据统一存储、计算、分析平台

腾讯云大数据平台套件TBDS(Tencent Big Data Suite)是基于开源体系,融入


腾讯内部海量数据处理先进实践,面向数据全生命周期,提供一站式、满足政企级
性能和容灾需要、全面支持信创、安全可信的大数据统一存储、计算、分析平台。

l 为企业快速构建海量数据处理平台/数据中台解决方案提供完善的平台和工具支撑。
l 通过对海量数据信息进行统一汇聚、实时和离线的分析和挖掘,帮助企业从海量
数据中获取真正的价值,及时洞察和决策新的机会和风险。

18
产品定位-提供多类核心引擎赋能政企数据平台建设
企业级大数据底座
Ø 为全行业提供安全可靠的大数据存算分析能力
Ø TBDS以组件丰富、性能优势、租户隔离、集群管控、灵活部署等特点作为大

01 数据基础底座来满足内外部用户公私有场景的项目交付。

实时数据湖
Ø 在TBDS-标准引擎之上,采用Oceanus、Iceberg、Alluxio、
SuperSQL组件构建实时数据湖方案

TBDS 02 Ø 从数据入湖、数据存储、数据湖计算、数据探索分析等维度不断提升
数据接入和计算的实时性、提升数据在湖内外流转的性能和稳定性。

MPP数仓

03
Ø 基于自主研发的分布式分析型数据库构建的分析引擎,支持行式和列式存储
来满足OLTP和OLAP场景
Ø 具备极速OLAP响应、超高性能计算、租户资源隔离等能力
Ø 可支持GB~PB不同规模的数仓构建、海量数据查询、多维分析等场景业务。

19
TBDS-企业级大数据底座:提供整套大数据方案能力与服务
On-Premise本地部署 On-Cloud公有云全托管 On-Hybrid混合云部署

多租户体系 | 多集群管理 | 多引擎适配 | 细粒度权限管控 | 血缘分析

数据中心 分析引擎 运维中心

批处理 交互查询 流式查询 联邦查询 查询加速


Hive SparkSQL FlinkSQL SuperSQL Presto
任务调度 服务健康度
Guldan

分布式计算引擎

数据管理 资源管理
Uther 批处理 内存计算 实时计算
MapReduce Spark Flink

分布式资源管理 监控告警
日志采集
Flume
分布式资源管理
Gaia/Yarn
统一日志
消息队列
Kafka 分布式存储管理

访问管理
列式存储 对象存储 内容搜索引擎
上传下载 HBase Ozone TBDS-ES
FTPonHDFS

分布式文件系统 产品管理
HDFS
TBDS-实时数据湖:数据入湖、湖内管理、出湖全面提效
数据湖
应用分析工具 数据探索DataInsight 敏捷数仓DataModel 数据服务API
交互式分析

工具链层 Wedata Oceanus 分


析 任务
作业脚 监控日
监 管理
本管理 志管理
SuperSQL 控
计算引擎
Spark Flink Presto Hive
TBDS 加速引擎 湖 数据
大数据平 库表
Alluxio 数据湖加速 内 小文件
台引擎 分区
管 元数据
合并
管理
表格式引擎 理 管理
Iceberg 表生命周期管理 文件索引支持 数据重组排序

存储引擎 HDFS Ozone COS 入


湖 元数据 一键 增量
自动发
管 现 入湖 迁移
数据入湖 Oceanus CDC增量 WeData 理

数据库 流式数据 其他

数据源 …… Tube Hippo …… 物联网IOT 互联网 系统日志 文件


TBDS-MPP数仓架构
敏捷数仓
数仓分层 指标模型定义 模型转化 标签管理…… 可视化大盘
DataModel
业务库 可视化
开发/治理
数据集成 数据开发 数据治理 数据服务……
WeData

ODS DWD DWS ADS


APP应用 BI报表
统计报表

结构化数据 业务数据 明细宽表 查询数据

物联网IOT
埋点日志 流量数据 指标汇总 分析数据 REPORT
监控告警

系统日志 维度数据 统计汇总 特征数据

操作日志
…… …… …… ……

数据探索
Shared-nothing架构(非共享集群) GB~PB规模集群能力 快速入仓
系统日志

行列混存 高数据压缩比 租户资源隔离 存算分离 MLS安全保护


TBDS核心技术优势

政府/企业级大数据云平台 国产化安全可信
• 基于腾讯多年业务实践的大数据平台 • 信创支持
• 抽象三大核心引擎适用政企不同业务场景 • 完整的4A安全体系
• 海量数据处理、分析能力 • 多租户数据隔离安全
• 多级多租户、快速部署、资源弹性伸缩 • 一体化的容灾备份

极致性能与可扩展性 增强运维
• 具有互联网基因的开源组件增强 TBDS • 全局指标预警告警
• 自研数十种大数据存算组件 • 服务健康度:强大的主动的
• 业界领先的高性能分析引擎 六大核心能力 问题发现能力
• 可视化的批流计算处理框架 • 存算资源地图:全方位掌握
资源使用情况

完善的全链路工具支持 开放融合
• 内置可选择一站式数据开发治理平台 • 行业领域TOP级大数据合作伙伴

• 内置高性能mpp数据库与敏捷数仓构建工具 • 丰富的场景化应用服务能力

• 内含简单易用的机器学习平台 • 丰富的集成与被集成生态圈

• 免适配,零开发,搭建丰富的大数据应用

23
政府/企业级大数据云平台

政务 金融 府

/


交通 运营商 级






能源 数据实时 数据治理 医疗
开发 工具
数据离线 数据共享
开发 服务
访问控制 告警日志
数据集成 数据
工具 可视化
租户管理 性能监控
TBDS
运维管理 Spark Flink 集群纳管
HADOOP HBASE HIVE ZK
24
极致性能与可扩展性




集群规模 每日新增数据 日采集数据条数 日实时计算次数 日启动容器个数 日计算任务 能

56000+ 500TB 45万亿+ 3.5万亿+ 1.5亿+ 1500万+ 可



小数据量(算力瓶颈) 大数据量(算力+成本瓶颈) 业务场景化支撑(各有所专)

批量+实时+流计算

商业化数据库 Hadoop单一组件 基于云的混合数据架构

混合数据架构有效解决大数据的存储和计算成本
完善的全链路工具支持










Oceanus WeData TBDS大数据平台
实时数据接入、开发计算平台,支持 提供支持全链路协作的数据规划、集 提供三种引擎产品满足不同客户对大
成、建模、开发、治理、分析、服务 数据平台建设的不同诉求
CDC实时同步等能力 等工具能力

DataInsight DataModel 底座portal管理运维


利用机器学习技术进行数据价值发 以业务为导向,自顶向下构建统一 平台租户管理、集群健康度监测、细
现,为大数据平台提供智能数据探 的数据模型体系,帮助企业提升数 粒度安全管控等工具保障
索和应用能力 据仓库建设效率

26
平台高安全、高可靠


强大的多租户数据安全和合规特性保证数据安全 化




认证 授权
ØKerberos认证
完 Ø面向用户、主机和服务的认证
Ø支持库,表,列级数据权限管控 网
Ø服务及功能权限管控
整 Ø账号认证:可以与AD,PKI/CA系统整 络

的 安
4A 全
安 审计 保护 立
全 体
Ø文件,表访问日志审计 Ø基于HTTPS传输加密
体 Ø运行记录的审计历史 Ø支持数据脱敏及检测规则 防
系 Ø平台运维日志及底层审计 护
Ø用户操作日志审计

一体化的灾备能力保证集群及组件高可用
可观测性运维系统

各类日志指标实时采集满足失效性、自研的Goblin统一日志及通用的SQL查询能力降低用户的使用成本同 增
时提升日志查询效率、独有的Rosta统一监控、Skywalking链路跟踪技术、实现可视化监控的智能化运维 强

通过自研 +社区方式实现了三位一体的可观测性系统

28
强大的生态融合
优化的开源组件+自研组件及工具+腾讯联合产品+各种伙伴产品



TBDS

TBDS完整的“集成”与“被集成”生态圈
核心差异化竞争力
腾讯内部海量大数据开发运维经验和自研引擎能力加持

实时流数据处理引擎
Oceanus
ü 集开发、调试、部署及运维于一体的一站式可视化
实时实时大数据处理平台
统一融合计算中间件
ü 3种应用搭建方式,满足不同层次的用户需求
ü 丰富的上下游生态,无缝对接不同业务线 ü 满足跨DC、跨引擎的异构数据源统一关联分析
ü 自助调试,快速验证应用的开发逻辑 ü 作为统一的融合SQL引擎,提供统一的异构数
ü 多维度实时指标+多渠道告警,助力业务轻松运维 据管理和分析入口
ü 计算结果实时可视化 ü 优化集群资源使用,解决业务资源使用瓶颈

高性能实时分析引擎
ü 支持海量存储,单表能够存储超过万亿行、万列,实现真正的大宽表存储海
量数据
ü 针对百亿/千亿级数据,数秒~数十秒耗时,实现数据精确查询/模糊匹配
ü 能够快速实现大宽表内千亿级数据量的复杂多维分析
ü 能够对千亿级/万亿级数据量,快速实现全文检索、模糊检索
TBDS技术特性-Hermes-多维实时检索分析平台
多维分析
海量存储
任意维 度组合分析、实时下钻分析、外部数
万亿行PB级数据存储
据关联

行存储 强扩展性
单表存储超过万亿行 支持横向纵向任意扩展

列属性 时效性
单表存储超过万列,最高可达到数十万列 检索与分析都在秒级、分钟级返回结果

实时检索 易用性
万亿数据检索与分析结果数秒内返回结果 支持http和jdbc接口,支持sql查询,简单易用

§ Hermes150台服务器规模,单机256GB内存、32核CPU、2T*12 SAS盘
§ 每天数据采集增量超过200亿行,目前存量超过2.5万亿行、2PB数据存量
项目验证 §
§
最大的大宽表有7000亿行数据,500个维度指标,约600TB数据量
在数百亿行数据中,进行实时查询和全文检索,耗时约4~10秒之间
§ 在数千亿行数据中,进行实时查询和全文检索,耗时约8~60秒之间
TBDS技术特性-Oceanus-实时流数据处理工具

Oceanus
是一个基于Flink框架,集开发、调试、部署及运维于一体的一站式可视化实时实
时大数据处理平台。

平台在提供应用管理、计算引擎和资源管理等能力的同时,通过日志、监控、告警等周边服务打
通了实时业务的全生命周期。

一站式 简单易上手 实时可视化 轻松维护

l 画布、SQL、JAR三种应用搭建 l 算子粒度调优 l 深度集成TBDS,租户管理、资


方式,满足不同用户需要 l 自主调试,逻辑验证 源细粒度管控
TBDS技术特性-Supersql-融合计算工具
总体架构 应用场景

L0 应用 JDBC/API
OLAP数据分析:通过SuperSQL对
Avatica
SQL Result
认证鉴权服务
1 数据分析/挖掘、生成报表等
Ranger
SuperSQL Server
L1 数据即时查询:通过SuperSQL对数
2
DC内/跨DC CBO 统一元数据存储
下推子SQL生成 据采样、小数据交互式查询等
Calcite Hive Metastore

选择最佳DC执行 透传执行 数据联邦查询:通过SuperSQL联合


DC1
3 分析不同数据源(例如Hive、HBase)
中的数据
计算引擎
L2
联接合并 下推计算 割裂的数据版本:通过SuperSQL
逻辑视图/临时表 4 查询不同集群中部署的不同数源版本
中的数据。
下推计算 DC2 DCn
…… 跨数据中心/集群查询:通过
数据源
5 SuperSQL查询多个数据中心/集群中
L3 Hive HBase TBase Oracle Hive PG MySQL ES 的数据
04
产品场景化解决方案
三引擎使用场景对比分析
企业级大数据底座 实时数据湖 MPP数仓
适用特征 海量数据存储,离线批处理,简单逻 实时数据计算分析,海量数 离线批处理、简单/复杂逻辑实时查
辑实时查询/流计算 据存算加速、实时分析 询统计、多维数据分析、数据集市
产品架构 大数据批流处理 海量并行处理(MPP)架构
数据类型 结构化、半结构化、非机构化(日志分析、文本分析) 结构化,少量非结构
技术特性 数据规模 TB~百PB PB~百PB GB~TB~PB(GB~TB居多)

集群规模 单集群支持1000+节点 单集群1000以内(10-100居多)


应用领域 BI分析、精准营销、大数据挖掘 数据科学、机器学习 统计分析、BI报表、监控
方案复杂度 一般(tbds提供专业支撑) 中(tbds提供专业支撑) 简单
时效要求 中/高 中/低 低(与数据量维度相关)
预算要求 低 中低 中
业务要求 运维要求 一般(tbds提供交付支撑) 低(偏数据库运维)
用户要求 Java开发人员/DBA/大数据挖掘工程师/数据科学家 市场业务\数据分析师
扩展要求 扩展性高 较高
数据中台 三种底座皆可,根据上述对比以及实际场景/业务进行灵活选择
数仓分析 对半结构、非结构数据的查询分析 or 对冷数据的查询分析 or 特 结构化数据分析
应用场景 大规模数据
湖仓一体 联合使用:PB级高质量结构化数据分析使用MPP,其余使用TBDS引擎
实时计算 大规模、非结构数据 结构化数据

35
企业级大数据底座-支撑某公安的智能数据应用建设

公安内网数据 公安大数据处理平台 涉案人员活动轨迹


活动轨迹 • 海量活动IP标签数据
警综数据 公安数据 • 多维度多视角场景交易数据
• ……
110三合一平台数据
公安“大脑”
物联网数据 可疑人员画像
数据 线索画像 • 可疑犯罪标签
数据
视频监控 物联网数据 输入 输出 • 高危人员推送
• ……
互联网数据 打击犯罪模型 案件侦破模型
互联网数据 腾讯数据
数据共享交换
预防预测模型 统一管控模型 数据服务 • 数据服务能力
运营商数据 银行数据
知识图谱 • 统一权限管控
算法工厂 模型工厂
• ……

TBDS企业级大数据底座
服务层 统一数据服务与交换
工具层 数据质量管理 数据安全管理 数据资产目录

组件层 实时数据计算 离线批量处理 文件/对象存储 高效计算引擎

平台层 平台管理+集群监控

36
实时数据湖-支撑某银行的数据中台建设

业务提效 ü 实时数据计算分析
ü 海量数据存算加速
营销经营 客户管理 数据科学 风险控制 精准推荐

SuperSQL 关键技术三:SuperSQL融合计算

出湖计算

关键技术二:“虚实”数据湖加速
Alluxio

WeData
数据湖 索引表
业务索引 理财产品表、 投资明细、 账户汇总、
流水表 业务表 用户信息表 明细表 交易明细 汇总表 交易汇总
Iceberg

HDFS Ozone 治理

Wedata 关键技术一:批流一体+CDC实时
CDC实时 Oceanus
数据入湖

结构:交易/客户/投资/运行数据 流式:实时结算、推荐 其他:社交数据、离线报表、年报、录音


文件
Tube 物联网IOT 互联网 系统日志
MPP数仓-支撑某区级政务数据中台建设

ü 敏捷数仓自动构建
ü 实时+离线混合架构
指挥城市建设 城市治理中心 城市指挥中心 指挥应用app 疫情防控

指标库 标签库
实时服务
关键技术三:DataModel自动建仓
企业主题库 信用主题库 交通主题库 环保主题库 疫情专题库
企业基本信息库 信用抽查库 车辆库 水污染库 疫情事件库
企业政策库 企业信用库 货物库 大气分布库 疫情物资库
数 …
仓 实时统计数据
构 实时数仓 DWD
基础库 关键技术二:MPP架构提效提速
建 (流式数据) 人口 企业 政务信息 地理信息
基础融合数据
城市部件 公共服务 行为事件 宏观经济 人口库

法人库

ODS 房屋库
Oceanus 公安数据 发改数据 环保数据 教育数据
市场监管数据 住建数据 城管数据 政务数据

市 办事过程数据 信用信息数据 学位资源数据 关键技术一:高效数据迁移工具



/

数据源 区 人口数据 法人数据


委 网上办事大厅数据 市信用平台数据 区教育/公安局数据 镜
办 像
数 统一受理平台数据 各委办业务数据 市共享平台数据 库 房屋数据

… … …
38
TBDS-能够带来什么价值

盘活资产-赋能业务,让大数据开发管理成为核心竞争力

值 值
价 价 价值 价值 价值
管理 管理 使 用 使 用 使用

数据管理 数据资产 业务驱动 辅助决策 数据运营


更简单 更清晰 更智能 更科学 更高效

l 灵活选择底座引擎, l 数据湖仓资产以数 l 基于大数据分析模 l 数据挖掘、探索效 l 精准营销服务


技术与时俱进 据地图的方式呈现 型的风控业务、精 率提升 l 风控验证服务
l 开发、管理、运维一 l 资产使用分析,资 准推荐业务 l 开发、运营、管理 l 打造城市数据治理、
体化,使用更简单 产更具有温度 l 基于机器学习的业 层等不同角色不同 运营、指挥中心
务能力升级优化 使用策略
05
市场认可和实践案例
市场认可
腾讯云大数据平台是政府机构的信赖产品

10亿+市场认可 8000+节点规模
400+政企客户 90%+年增速
1500 • 基于腾讯多年海量数据处理经验 70000

• 企业级大数据云平台 60000
1200 • 全链路数据工具
50000
• 高性能存算引擎
900
• 开放、兼容、安全、生态 40000 腾讯云大数据平台是企业数字化转型的必要设施
30000
600

20000
300
10000

0 0
2018 2019 2020 2021
产品荣誉

优秀产品及案例荣誉 世界级产品荣誉

中国计算机学会科技进步奖 星河奖最佳大数据产品奖 百家大数据优秀案例

Sort Benchmark冠军

Sort Benchmark是一个专门从事排序基准评估的非盈利机构。
该机构每年都会举办一次排序基准评估比赛 sort benchmark
competition ,被誉为计算界的奥运会。
• 2016年,腾讯打破Sort Benchmark 4项纪录,98.8秒完成
100TB数据排序。
工信部信息技术应用创新解决方案 数博会大数据最佳案例实践奖 • Sort Benchmark官网:http://sortbenchmark.org/,
• 新闻报道网址:
http://www.51cto.com/art/201611/521036.htm。
完善生态
全面支持信创国产化生态,已涵盖国产化芯片、操作系统、服务器领域,成功完成对鲲
鹏、海光、飞腾、申威、兆芯、麒麟、中科红旗、UOS等信创产品的适配
2019Q2 内
外 容保
痛点 解决方案 效果发需 密,


数据汇聚:部里系统数据对外开 数据汇聚与共享:基于TBDS腾讯大 实现与各级人社业务系统互联,与
放、共享能力有待提高 数据平台,构建全国社保卡服务平台, 金融机构、第三方支付机构等建立
打通多个业务系统接口,实现数据汇 总对总接口,完成数据汇聚工作,
聚。 形成全国联动服务能力,统一实现
社会机构互联网接入服务

数据服务:政府数据和社会数据 基于TBDS腾讯大数据平台,在实现 在融合政府数据与社会数据的基础


项目名称: 全国电子社保卡线上服务平台 融合不够,无法实现个性化、多 数据汇聚的基础上,建立政府大数据 上,提供基于数据的服务类功能,
样性的数据服务 与社会大数据融合共享机制,对数据 包括提供个体授权性服务、用户画
企业名称: 人社部
进行综合治理与分析,使群众可以通 像、信息核验、状态比对、行为轨

所属行业: 政府/部委 过社会服务渠道享受人力资源和社会 迹分析、服务偏好分析、风险分析、


保障服务、通过政府与社会数据融合 个性化服务、信用服务
企业规模: 1000+(人) 享受创新服务,并提升政府的监管决
策能力。
项目背景: 新建全国电子社保卡线上服务平台

项目规模: 2000+(万元) 以⼤数据为核⼼,在融合政府与社会数据基础上,提供个体授权性、⽤户


案例亮点
画像、信息核验、状态⽐对、⾏为轨迹分析、服务偏好分析、⻛险分析、
购买产品: TBDS企业版
信⽤服务等数据服务。
集群规模: 29

潜在竞品: 阿里/华为/平安 利⽤云计算和⼤数据技术,在⼈社部⼀级建设“全国社保卡线上认证与服


价值实现
务平台”,利⽤⼤数据存储、计算能⼒、分析和挖掘能⼒和⽤户交互和接⼝
赢单分析: 腾讯大数据平台整体技术和方案能力
能⼒,为电⼦社保卡各个业务域(签发、就业、⽀付等)提供数据统计分
析服务、商⽤业务查询服务、实时业务监控数据计算等服务。

44
2021 Q1 内
痛点 解决方案 外 容保
效果

需 密,
数据安全,数据质量。提供数据资产 删
忽略“数据质量”和“数据安 除
识别、敏感数据发现、数据分类分级、 提升政务数据质量,数据共享
全”,难以保障数据被有效和高
脱敏、访问监控、风险发现预警与审 安全可控。
效使用。
项目名称: 宝安政务大数据管理与应用项目 计能力

客户名称: 宝安区人民政府 不支持实时数据采集。采用 解决原有平台单点故障问题,


采用TBDS大数据平台提供分布式存储
所属行业: 政务 oracle单机版数据处理架构,不 提供分布式数据分析能力,通
计算能力,提供CDC实时数据采集工
具备分布式存储和计算的开发能 过CDC数据实施采集,提升
项目背景: 政务数据中台 具。
力。 数据时效性。
项目规模: 1000+(万元)
建设基于大数据资源平台的数据标签 规范“一数一源”,建立数据
购买产品: TBDS 企业版+政务数据中台 平台基础数据资产维度不够全面。
体系,重点针对人口、商事主体、楼 生态系统,全面提升数据治理
集群规模: 10+ 未建立全区规范统一的数据标签
栋、房屋、政务、网格、交通、环水 和服务体系,进一步为生产服
体系。
潜在竞品 阿里 等专题进行数据梳理 务。

宝安区作为腾讯未来的总部所在地,项目具备战略意义。为腾讯在宝安区实
简介:宝安区政府积极推进大数据资源中心的升级优化建设,强调 案例亮点
现“2横6纵”解决方案架构体系的落地提供基石。
“突出大数据驱动的智慧宝安”:发挥大数据驱动效应,强化大数据

处理支撑能力,推动以数据为核心的业务协同,支撑智慧宝安的创新

应用。要优化大数据资源中心,“完善全区政务‘一朵云’,梳理统 升级改造宝安区基础数据平台,规划完整数据架构体系,构建公共数据中间层,
价值实现
一的数据资源目录,优化大数据资源‘一平台’,精准绘制智慧宝安 建设可视化数据治理和研发平台,鉴权数据应⽤⽀撑能⼒。完善数据中台安全
‘一张图’,深化各部门大数据应用,推动全区数据开放增值”。 保障体系。

45
2021 Q3 内
外 容保

客户痛点 解决方案 效果 需 密,


数据归集。全市政务基础数据汇 构建数据全流程一体化大数据中枢, 推动全市基础数据资源归集,
聚在中金云,已归集31个委办 实现从数据采集、处理、分析、服务 梳理市直部门及公共服务机构
局,664项数据资源,共计 的“三清单一目录”。
到应用的全流程贯通,形成全市覆盖、
项目名称: 武汉智慧城市Wecity 24.69亿数据,初步形成6大基 深入推进数据治理、提升政务
技术领先、服务一流的大数据支撑体
础库。但数据更新频率较慢、数 数据质量,完成市、区共计
客户名称: 武汉市人民政府 系,沉淀城市数据资产,统一的数据
据来源单一,归集的单位规模还 157个部门的数据的清洗处理。
所属行业: 政务 标准规范,深挖数据潜在价值,提供
有待提升。 沉淀数据资产,完善数据资源
统一权威的数据支撑。
项目背景: Wecity 体系,建设7大基础库,17大
主题库。
项目规模: 35000(万元)

购买产品: TBDS 政务数据中台联合产品

集群规模: 35 1、打破传统共享交换模式,构建全市统⼀的⼤数据资源池。
案例亮点
2、构建社会数据、互联⽹数据与政务数据深度融合的应⽤模式。
简介:结合当前阶段信息化发展实际及城市未来发展需求,武汉市开展
智慧城市基础平台建设,智慧城市基础平台是基于城市学的生命体、 3、绘制全市统⼀的城市运⾏基础底图。
有机体理念,以系统科学为指引,利用云计算、大数据、物联网、人
工智能、区块链、5G等新一代信息技术,为城市交通治理、公共安全、
4、完善数据开放能⼒,加快数据⽣产要素向相关产业赋能。
应急管理、政务服务、医疗卫生、旅游、环境保护、城市精细化管理 5、形成全⾯的数据资源管理体系,实现省市县三级联动。
等构建的智慧城市基础平台,推动建设并打通各类城市数字化管理平
台,利用实时全量的城市数据,即时修正运行短板,优化城市公共资
源,实现城市治理模式、服务模式和数字产业发展的高质量突破。智 有效推进武汉市经济发展、社会⺠⽣、城市管理、安全应急、决策指挥
慧城市基础平台数据中枢是新时代智慧城市建设的前瞻性最佳实践, 价值实现
是未来城市不可或缺的新基础平台。 等⾼效运⾏和应⽤创新,有效推进基于⼤数据的政府治理能⼒和城市管
数据中枢是智慧城市基础平台的重要支撑,建设智慧城市数据中枢有
利于武汉市加快打造智慧化的多维感知、整合共享、分析决策、精细 理能⼒的提升。
管理、精准调控等基础核心能力,是实现政府治理体系和治理能力现
代化,助推武汉市经济社会高质量发展的重要手段。

46
2021Q1 内

痛点 解决方案 效果外发 保
需 密,

统一大数据平台:客户在大 构建BDP大数据平台:构建面向 中行大数据应用平台,全面整合银除
数据平台建设和使用方面存 全行的大数据应用平台,实现了 行内外数据,实现了全行数据共享,
在平台建设能力薄弱、大数 统一数据治理、全链路大数据开 支持PB级规模的大数据可视化分
据开发经验不足、大数据组 发和一站式可视化运维管理 析探索,最大程度地释放数据的流
件繁多运维复杂等问题 动性和挖掘数据的价值,从根本上
提升了中行的数据运用能力。

项目名称: 中国银行大数据平台及数据湖项目 统一数据湖平台:长期以来 构建UDP数据湖平台:数据湖一 中国银行数据湖平台帮助中国银行


数据价值挖掘能力欠缺、数 期以数据为中心,以“覆盖 首次实现了全行数据资产汇集一处,
企业名称: 中国银行 据孤岛严重是中国银行在推 BDP/EDP数据源、一次接入分批 能够为中国银行统一数据分析层、
进数据应用上面临的现实困 加载”为与原则,搭载以离线文 展现层、数据沙箱等探索提供平台
所属行业: 金融/银行
境。严重阻碍了科技创新和 本接入、文件湖、缓冲区和贴源 支撑,也为沉淀和深度挖掘全行数
企业规模: 10000+(人) 数字化转型。 层为主体的数据治理体系,离线 据资产打下了坚实技术基础。
接入超过一万张源表加载至贴源
项目背景: 新建全行数据中台
层、逐步替代EDP、BDP提供数据
项目规模: 10000+(万元) 支撑。

购买产品: TBDS旗舰版
本项⽬是TBDS在四⼤国有银⾏体系的⾸个案例,包含了腾讯云、⼤数据
集群规模: 3000+ 案例亮点
平台、⼈⼯智能平台、数据湖及中⾏数据层⾯整体规划的综合性项⽬
潜在竞品: 阿里

银行大数据平台、数据湖整体方案与开放定
赢单分析: ⽤户数据体量庞⼤,对⼤数据平台深度使⽤,定制化要求程度⾼,对产品
制化能力
价值实现
稳定性,迭代性、扩展性、安全性也提出了很⾼的要求。

47
2021Q1 内
外 容保

客户痛点 解决方案 项目效果 需 密,


数据服务:无法打通与访问全部 统一数据服务:构建数据共享和开放 引入服务平台和统一数据门户后,
数据,没有便利的数据服务接口, 服务体系,实现全行对外提供数据服 将现有散布各处的数据服务能力集
无客户统一视图及统一客户管理 务、数据查询、数据分析的统一化 中整合(量化指标待提供)
项目名称: 上海农商银行数据能力中心建设项目一期
数据处理:没有实时数据处理能 统一数据开发:搭建流计算、离线计 数据能力中心围绕风控、标签、分
企业名称: 上海农商银行
力,数据处理滞后 算、分布式数据存储的大数据平台, 析、报表等维度,构建了更完善的
所属行业: 金融/银行 引入统一的分布式数据模型,并在此 “全”、“便”、“享”、“快”
基础上构建用户指标体系、标签体系 的技术服务体系(量化指标待提供)
企业规模: 10000+(人)
数据治理:没有全行级的数据管 统一数据运维:构建数据全生命周期 实现全行内外部数据规范化、体系
项目背景: 新建全行数据中台
理、数据质量低、数据不完整 的集中统一运维平台 化、平台化、服务化的集中管控目

项目规模: 10000+(万元) 统一标准落标:在建模阶段就引用数 标,确保了数据来源唯一性,解决


据标准,解决数据落标难的问题 了业务取数难、取不准的问题
购买产品: TBDS旗舰版

集群规模: 100+

潜在竞品: 阿里/华为 本项目是TBDS在农村商业银行体系的第一单,是整合了云平台、大数据


案例亮点
处理、数据治理、数据库等产品的综合性银行项目,整体规模大
赢单分析: 银行数据中台整体方案与开放定制化能力

简介:上农商2020-2022年发展战略规划将“坚定数字转型”确定为
上农商数据能力中心的建设实现了数据开发与数据服务的集中统一管理,实
三个核心战略之一。加快数字化转型、提升数字化发展水平,既是战 现了全行数据开发、管控、运维、服务的一体化;同时构建了数据共享和开
略推进的需求,也是服务上海市数字化转型战略任务、履行市属金融 价值实现
国企责任的体现。上农商将通过数据能力中心建设项目加快金融科技 放服务体系,实现了对外提供数据与服务的统一化,提升了全行数据与服务
数字化转型,推进数据、科技、业务紧密深入融合,同步实现数据开
发和数据服务的统一管理,提升数字化对业务发展的支撑能力。数据 管理水平。本项目荣获“2021金融业新技术应用创新突出贡献奖”
能力中心建设项目不仅是信息系统建设项目,更是与数字化转型战略
相匹配的管理项目。

48
2021Q1 内
外 容保
发 密
痛点 解决方案 效果 需删 ,

统一数据集成:客户内部有 构建tbds大数据集成平台:对各 在统一的集成平台之上进行各种集
多种数据源需要统一集成到 种不同数据源进行配置、管理, 成任务的管理,简化使用成本及运
大数据平台,同时需要覆盖 以及元信息同步。通过离线任务 维管理复杂度。
离线和实时接入的场景。 及实时任务实现不同场景下的数
据集成。

项目名称: 中信建投证券大数据基础平台
数据中心信创专区:客户构 构建tbds大数据信创版本:支持 全面覆盖客户各场景下大数据平台
企业名称: 中信建投证券 建全信创数据中心,从底层 客户在信创专区的部署及使用, 的产品落地,北京生产及测试环境、
基础设施到操作系统及上层 实现信创与非信创不同环境的产 上海灾备环境,信创专区生产及测
所属行业: 金融/证券
服务全链路信创 品落地 试环境等
企业规模: 10000+(人)

项目背景: 新建集团大数据平台

项目规模: 1000+(万元)
本项⽬是TBDS⾏业领域信创⾸例,同时在同⼀客户内实现信创与⾮信创
案例亮点
购买产品: TBDS企业版 不同环境的产品实施落地。

集群规模: 50+

潜在竞品: 阿里 实现⼤数据平台统⼀数据集成,统⼀数据开发,统⼀数据分析,统⼀运维
价值实现
管控。
赢单分析: 企业级大数据平台,全链路开发能力

49
效果内容
2020 Q1
客户痛点 解决方案

发 保密

数据孤岛:客户现状数据无法融合贯 以国网行业为模型基准,建设
删 ,
汇聚23个业务源系统1574张数据
通,造就信息壁垒,导致企业拥有 企业级数据仓库模型。具有清 除
表,670亿条数据。完成ERP、
大数据,有效利用的只是小数据 晰的主题域、业务域等。 PMIS、营销涉及的源表,设计出
117张模型表,完成所有模型设
计和etl落地。

项目名称: 湖南国网企业数据中台 标准困局:缺乏统一数据理解,数 实现在数据流转过程中的元数 完成《国网湖南省电力有限公司

据无法被全企业共享使用 据管理、数据标准管理、数据 数据标准与模型清册(第一批)》


客户名称: 湖南国网
质量管理等。 内容编写及落地
所属行业: 能源
共享难题:各专业线条独立进行数 在数据模型统一规范的基础上, 建设数据网关、数据生成服务、
项目背景: 数据中台 按国网业务特性建立通用的指 数据文件生成、数据资源目录、
据开发,常导致“烟囱式”重复建
标数据,为业务管理与使用提 服务开放和调用以及权限控制。
项目规模: 900(万元) 设,数据缺乏沉淀和共享,不利于
供数据服务。
成本和效率
购买产品: TBDS 企业版+明略数据中台

集群规模: 50

案例亮点 电力行业全平台能力深度结合,提升湖南国电的业务数据水平
简介:国网湖南省电力公司大数据管理提升项目响应国网公司提出建
设“三型二网”为主线,融合营销业务、用电信息采集、调控中心、
PMS等各业务系统的数据,以业务专题分析为主线,基于泛在电力物
联网,以应用驱动为设计原则,在收集和整理所有历史数据的基础上
通过TBDS平台,实现4个贯通(服务贯通、数据贯通、平台贯通、网络贯
以数据的真实性、完备性和实时性为改进的方向,同时采用符合大数
据发展趋势的最先进技术,通过量身定制的方法构建高效、精简、整 通);通过1套创新治理体系,实现“存量”治理全、准、快,“增量”治理
合的全省电力大数据系统, 实现对数据处理、分析与挖掘的实时性、流 价值实现
程化、智能化,提高省电力公司业务处理时效性、减少经营损失、降 避免新孤岛、推动系统整合;通过TBDS数据生态产品,实现1套服务型生态
低客户投诉,提升公司精益化管理水平和辅助决策能力。
机制,以应用为抓手,推进数据双向融合开放,促进数字经济发展。

50
2020 Q4 内
外 容保
痛点 解决方案 效果 发需 密
删 ,

各平台独立建设导致组件的重复 统一数据湖,包含大数据平台 最高权限集中,实现统一集中
封装和部署,资源管理和利用效 +MPP数据仓库。 管控。
率低下
项目名称: 南方电网大数据平台与数据湖建设项目

客户名称: 中国南方电网 架构陈旧,开源大数据平台运维 TBDS基于腾讯内部业务场景优 提升整体业务查询性能、稳定


能力不足,性能低,无法支撑微 化后的大数据组件,提供性能 性。性能整体提升30%
所属行业: 能源
信账单、设备台账等业务。 优化参数。升入业务场景,协
企业规模: 28W+(人)
助设计新业务架构。
项目背景: 南网数据湖底座
业务系统自行建设数据应用,难 各业务数据统一归集到数据湖 加速数据、应用几大核心功能
项目规模: 3000+(万元) 的融合,形成数据中心的整体
以实现公共数据积淀,无法形成 底座,数据服务层作为数据中 组件化服务能力,降低数据中
购买产品: TBDS 企业版+MPP数据库 企业统一管理视图 心对外提供服务能力的应用层。 心技术使用门槛。

集群规模: 500+

潜在竞品 阿里,华为
卡位能源电力行业,作为南方电网集团的数据底座,后续扩容规模大。对
案例亮点
于他各网省规划大数据平台方案具备示范性标杆作用。
企业简介:公司于2002年12月29日正式挂牌成立并开始运作,供电

区域为广东、广西、云南、贵州和海南五省及港澳地区,负责投资、

建设和经营管理南方区域电网,经营相关的输配电业务,参与投资、 构建统⼀数据湖,具备离线分析、实时分析的能⼒。服务于电⽹管理平台,
价值实现
建设和经营相关的跨区域输变电和联网工程;从事电力购销业务,负 客户服务平台,运营监控等重点业务。助⼒数字电⽹智能电⽹的建设。
责电力交易与调度;从事国内外投融资业务。

51
2020 Q3 内
外 容保

痛点 解决方案 效果 需 密,


通过顶层设计、标准引领、数据汇聚、 目前已接入广东省18个地市
省医疗保障局和21个地市医疗
资源整合、服务融合、平台建设及能 的医保数据。横向联通同级政
保障局均没有信息化应用系统、
项目名称: 广东省医疗保障信息平台 力输出等方式,建设广东省医疗保障 府相关部门信息平台,畅通部
业务管理系统和对外公共服务子
客户名称: 广东省医疗保障局
业务规范统一、数据汇聚共享、监督 门、区域、行业之间的数据交
系统。
动态协同的医疗保障信息化系统。 换。
所属行业: 医疗

项目背景: 医疗数据中台 依托与大数据相关组件(TBDS等)和


构建省级的数据中台,实现省
项目规模: 总规模16000(万元) 原业务系统采用关系型数据库搭 开源工具建设。贯穿数据流处理,从
级平业务应用系统的数据汇聚
建,应对海量数据采集分析存在 数据汇聚、治理、处理、分析。提供
购买产品: TBDS 企业版+医疗数据中台 和业务协同,让大数据和AI技
瓶颈。 高性能的离线实时计算、大数据分析
术真正赋能医保。
集群规模: 70+(使用数广政务云资源) 服务、集中式作业调度等能力

潜在竞品 阿里

简介:广东省医疗保障数据中台,纵向联通国家及广东省各地市的医 腾讯在全国医保项目中的第一个落地方案,为即将在全国各省展开开的医保
案例亮点
疗保障信息平台,横向联通同级政府相关部门信息平台,畅通部门、 信息化建设提供示范。
区域、行业之间的数据交换,实现数据通过平台共享、业务在平台办

理、监管依托平台支撑。依照国家医保局下发的数据中台技术规范标
构建医保便捷可及“⼤服务”、规范⾼效“⼤经办”、智能精准“⼤治理”、融合共
准,提供相应配套的数据中台各工具系统,通过数据中台实现数据汇 价值实现
享“⼤协作”、在线可⽤“⼤数据”、安全可靠“⼤⽀撑”信息化⽀撑体系。
聚、数据治理、数据服务等服务。

52
2021Q1 内
痛点 解决方案 外 容保
效果

需 密,
数据接入种类多、规模大:数据 多云数据接入及分治:针对性的构建 删
建立了4个集群,总节点数200+,

来源于APP端、H5、服务端, 私、专、公有云的数据接入通路,基 通过两条互有分工的实时数据接入
包括结构化数据和应用流水数据, 于蜂巢、CKafka、数据集成工具实 链路(蜂巢及CKafka),充分满
每天处理数据量2TB+; 现流式数据、批量数据的接入,并根 足各类数据接入、处理、分析的时
高性能处理要求:数据中台各项 据不同场景实现数据的按需接入、整 效性、可靠性、稳定性要求,前端
指标计算结果直接支持前端APP 合、分层建模、加工分析。 应用支持千万级日活运行,后端支
实时应用,要求延时<1秒、可 持监控运营数据实时分析展示。
靠性>99.99%。
项目名称: 5G新媒体平台
数据指标多头计算:不同部门的 数据指标治理:支持客户梳理新媒体 建立了台内统一的新媒体指标体系,
企业名称: 中央广播电视总台技术局 多个新媒体应用具有不同的数据 应用核心指标及数据,明确指标定义 杜绝了标准不一致问题,编写并沉

所属行业: 传媒 及指标设计,指标计算逻辑、标 及计算逻辑,构建统一的指标标准。 淀广电行业数据分类及指标体系标


准不统一,无法形成统一的评价 统一指标计算:强化数据中台定位, 准。
企业规模: 10000+(人) 考核标准,无法对央视新媒体的 明细数据按要求统一接入数据中台, 增强数据中台的价值地位,避免了
运营情况进行全局掌握。 评价考核指标及分析指标均由数据中 其他数据平台的引入竞争,为持续
项目背景: 央视创新型新媒体平台建设
台计算输出,确保了逻辑和口径统一。 开展数据项目做好铺垫。
项目规模: 50000+(万元)
本项⽬是TBDS在传媒⾏业的重点项⽬,实现了多云混合部署,数据多链
购买产品: TBDS企业版 案例亮点
路接⼊,整体集群规模、数据规模⼤;通过数据治理⽅法论的引⼊,⽀持
集群规模: 200+ 客户数字化转型⼯作开展,沉淀了⾏业内的标准成果。

潜在竞品: 阿里 • 打造能⼒全⾯、性能稳定的数据中台,全⾯满⾜央视频的场景需求
价值实现 • 拓宽数据中台的应⽤场景,使之提升为全台的数据中台
赢单分析: 跨BG的产品融合能力及技术先进性
• ⽀持央视数字化转型,尤其是为新媒体领域的社群化、会员制业务创新
提供重要⽀持。
53
2020Q1 内
外 容保
发 密
痛点 解决方案 效果 需删 ,

基础平台需求:数据应用服务基 构建TBDS大数据基础平台:从多源 对接中外运内部200多个系
础平台需要支持高性能计算,诸 数据集成、异构数据的存储、离线/ 统的数据连接外部50多家船
如MR、HIVE、SPARK、FLINK, 实时的数据处理、数据检索分析、 公司的数据,100多家航空
全文检索等常用计算组件的主要 集中式的作业调度工作流。 公司的数据,1800多个海港
核心功能。同时计算组件需要具 和空港的数据
备开放性、兼容性和高可靠性等。

项目名称: 中外运数据应用服务平台项目
统一开发管控需求:开发管控平 构建TBDS大数据开发平台:全链路 数据应用开发服务:不仅知
企业名称: 中外运股份有限公司 台需要在敏捷数据开发和运行环 数据开发和一站式可视化运维管理 道货在哪,同时知道哪些地
境支撑这两个能力进行建设,成 在数据应用集成层提供丰富的数据 方的场站是最优解,路线如
所属行业: 企业/物流 为一个运行稳定、运维方便,开 分析工具,支持模块的拖拽和自由 何规划、可以快速满足客户
发效率高,基于多租户的一体化 组合,简化流程,提升开发系统的 需求,提升客户体验,又可
企业规模: 1000+(人)
平台 友好性和易用性以及操作的便利性。 以提高物流效率,降低物流
项目背景: 新建集团大数据平台 成本。

项目规模: 1500+(万元)

购买产品: TBDS企业版
本项⽬是TBDS重点标杆客户,从⼀期项⽬的顺利落单,⼜形成了⼆期、
案例亮点
集群规模: 50+ 三期的扩容及数据服务,重点客户深耕的典范。

潜在竞品: 华为

赢单分析: 企业级大数据平台,全链路开发能力 ⽤户对接系统复杂,对⼤数据平台深度使⽤,⽀撑连接了200+内外部数


价值实现
据源,对产品稳定性,迭代性、扩展性、安全性也提出了很⾼的要求。

54
2021Q2 内
外 容保
发 密
痛点 解决方案 效果 需删 ,

数据孤岛严重:四川省医疗保障 构建TBDS大数据基础平台:从多源 对接省局内部20+数据源;
局缺乏省级大数据平台,省局内 数据集成、异构数据的存储、离线/ 对接21地市州医保局,每日
部、省局与地市州之间无法有效 实时的数据处理、数据检索分析、 增量集成数百T数据到省局数
共享和互通数据;省局也无法及 集中式的作业调度工作流。 据中台;成功对接国家医保
时将数据上报国家医保平台 平台并上报核心数据;
项目名称: 四川省医疗保障信息平台
统一开发管控需求:开发管控平 构建TBDS大数据开发平台:全链路 应用开发商无需写复杂的数
企业名称: 四川省医疗保障局 台需要在敏捷数据开发和运行环 数据开发和一站式可视化运维管理 据抽取、转换、清洗代码,
境支撑这两个能力进行建设,成 在数据应用集成层提供丰富的数据 直接基于TBDS大数据平台的
所属行业: 医疗
为一个运行稳定、运维方便,开 分析工具,支持模块的拖拽和自由 全链路数据开发平台快速分

企业规模: 医疗数据中台 发效率高,基于多租户的一体化 组合,简化流程,提升开发系统的 层、分级建设数据仓库,同


平台 友好性和易用性以及操作的便利性。 时系统性地完善数据治理体
项目背景: 新建数据中台,集成全省21地市州医保局数据 系、极大地提升了数据质量

项目规模: 总规模11000(万元)

购买产品: TBDS 企业版+医疗数据中台

集群规模: 100+ 本项⽬是TBDS在省级医保平台的⼜⼀个重⼤项⽬,奠定了TBDS在全国医


案例亮点
保市场的领先定位;
潜在竞品: 阿里、华为

赢单分析: 企业级大数据平台,全链路开发能力
打通四川省内部医保体系的数据孤岛,实现数据及时汇聚,信息及时共享;
价值实现
同时也完成了国家医保局的数据上报要求;

55
2021Q4 内
外 容保
发 密
痛点 解决方案 效果 需删 ,

数据孤岛严重:云南白药集团内 构建TBDS数据湖:从多源、异构的 对接云南白药客户内部50+
部子公司和部门众多,部门内部 数据源抽取全域数据,统一归集到 数据源,包括结构化、半结
各自建设有IT系统,系统之间无 TBDS数据湖存储和管理;子公司和 构化和非结构化的数据统一
任何数据共享和交换,部门协同 部门统一从数据湖提取所需数据, 入湖;打破数据孤岛,完成
较弱,数据价值亟待挖掘和开发 完成部门业务的协同 集团内部数据共享和业务协
项目名称: 云南白药数据湖建设 同

企业名称: 云南白药 无数据标准:数据源来自各个业 基于TBDS数据湖的数据治理:依据 入湖的全域数据100%完全符


务部门不同的IT系统,由众多厂 国家相关政府部门指定的国标、行 合标准,数据质量大幅提升,
所属行业: 医药、快消
家承建,建设时并未按照统一的 标等,制定云南白药集团内部统一 助力上层数据类应用准确率

企业规模: 3000+ 标准梳理和存储,导致数据存储 的数据检测和存储标准;全域数据 提升63%,覆盖率提升47%,


样式众多,开发和分析人员无法 入湖前统一按照相关标准检测,确 提高了整个集团的运营效率;
项目背景: 新建集团数据湖,集团全域数入湖+数据治理 快速、正确地识别和辨认,严重 保入湖的数据符合标准,保障数据
影响数据类应用的准确性 质量
项目规模: 总规模1600(万元)

购买产品: TBDS 企业版

集群规模: 40+ 本项⽬是TBDS数据湖⾸个医药⾏业的案例,帮助云南⽩药集团搭建了全


案例亮点
域数据湖平台
潜在竞品: 阿里、华为

赢单分析: 企业级数据湖,数据治理
打通云南⽩药集团内部的数据孤岛,实现数据及时汇聚⼊湖,信息实时共
价值实现
享;同时制定了数据⼊湖标准,保障了⼊湖的数据质量

56
感谢倾听
腾讯云TBDS
TBDS-2022年产品规划-Roadmap

Q2 Q3 Q4

实时数据湖,湖仓一体能力完善 存算分离,计算引擎容器化 全面云原生能力,混合云架构


ü 运维、权限、资产治理能力提升 ü 统一元数据和融合计算 ü 计算引擎容器化改造
ü 集成iceberg、presto等打造实时数 ü 存算分离能力增强 ü 联邦更多外部引擎
据湖方案 ü 核心计算引擎容器化 ü 混合云架构

目标一 目标二 目标三 目标四

轻量化 竞争力 体验提升 运维增量

4节点起步部署,增强模 核心存算组件增强,提升云 Portal使用体验优化,兼顾 丰富底座自动化测试场景以


块化交付能力 原生和全平台安全能力 开发与运营人员 及提升故障恢复机制

You might also like