作者 | Linda
过去三十多年,国内数据库一直是跟随者的姿态,直到 2010 年,云计算厂商进入数据库行业并推动云化,数据库才进入了全新的发展阶段。
2020 年是国产数据库的爆发点。在 Gartner 公布的《2020 年度全球数据库魔力象限评估报告》中,腾讯云、阿里云、华为云进入魔力象限,这也是中国数据库 40 年来首次进入全球顶级数据库行列。
在前不久的腾讯云数据库 2020 年度盛典上,腾讯云发布了数据库品牌 TDSQL 的全新战略升级计划。这篇文章,我们聊聊 TDSQL 品牌升级原因以及升级后的变化。
1腾讯云数据库产品族
腾讯云提供的数据库产品及服务有 20+,并且以每年发布 5 大产品、50 多个新功能的速度递增。腾讯云的数据库产品按服务类型可以分为关系型数据库、非关系型数据库、分布式数据库、分析类数据库以及 SaaS 服务产品。
- 关系型数据库包括 MySQL、PostgreSQL、SQL Server、MariaDB;
- 非关系型数据库包括 Redis、Tendis、MongoDB、Memcached 、HBase、TcaplusDB;
- 分布式数据库:CynosDB、TDSQL、TBase;
- 分析类数据库:TBase、ClickHouse、Elasticsearch、SparkSQL、Snova;
- SaaS 服务:DTS-DBbridge、数据库智能管家 DBbrain、订阅商业分析等等;
其中,自研的数据库主要包括三类,且生长于不同团队和不同业务场景下:
- 一是强交易型分布式数据库 TDSQL,对内支撑了整个腾讯的交易动态,包括财付通等,对外为金融政务行业提供数据库解决方案;
- 二是在复杂场景下使用有明显优势的云数据库 TBase,是腾讯在开源的 PostgreSQL 基础上研发的高性能 HTAP 数据库。这是大数据团队孵化的数据库,既能承担实时的数据处理,也具有较好的兼容性、稳定性;
- 三是企业级云原生数据库 CynosDB,是由开源数据库适配业务自主研发的数据库。因其一开始就是为了云而打造,能够服务海量用户,在使用效率和节约成本方面表现出色。
12 月 24 日,腾讯云正式宣布将原有的 TDSQL、TBase、CynosDB 三大产品线将统一升级为“腾讯云企业级分布式数据库 TDSQL”。全新的 TDSQL,共有三大产品系列,分别为分布式数据库 TDSQL、分析型数据库 TDSQL-A、云原生数据库 TDSQL-C。
因这次升级,全新的 TDSQL 更加融合,全新升级后的 TDSQL 辅以能够融合公有云与私有云、连接传统 IDC 与云数据库的数据库 SaaS 工具 DBbridge,和实现软硬一体融合的 TDSQL 一体机,共同构成性能与通用性兼得的产品能力族。
2在此之前,TDSQL 经历了什么?
这要从腾讯数据库的发展历程说起。
2002 年,腾讯的数据库还处于自用阶段,腾讯计费平台部的一个数据库服务率先使用了开源的 MySQL,之后逐渐覆盖腾讯多个领域的互联网业务。在这个过程中,财付通的上线,是腾讯数据库在纯粹金融业务中应用的起点。
2004 年,为了实现公司级敏感业务高可用、核心数据的零流失、核心交易的零错账等目标,腾讯自研了一款数据库产品,并在此后不断迭代,2012 年正式被命名为 TDSQL。
2014 年,微众银行成立,普惠金融对数据库的要求是低成本、无限扩展。于是,TDSQL 第一次作为交付型产品,真正使用在银行里。目前微众所有核心系统仍然跑在 TDSQL 上。此后,TDSQL 成为腾讯云拓展市场的拳头型产品。
2019 年,TDSQL 拿下了第一个传统银行核心改造的项目,与张家港农商银行合作,从集中式迁移到国产分布式,打破了该领域对国外数据库的长期依赖。新一代核心业务系统已经成功启动并投入使用,张家港城商行也成为全国第一家核心系统采用国内分布式数据库的传统银行。
现阶段,仅腾讯内部就有超百亿级别的用户账户。TDSQL 在互联网全业务广泛应用的基础上逐步向政务、金融渗透,并朝着实现全行业应用覆盖的目标迈进。目前,TDSQL 在各个城商行、大行、海外都有应用案例。
在这个过程中,除了深耕单点技术能力,团队也在思考如何让应用开发和整个交付过程更加流畅。这也是推动此次 TDSQL 品牌统一的重要原因。
33 个发展方向:云原生、超融合、国产化
对于企业来说,向国产数据库迁移过程中,不能对应用有太大影响。既要在使用体验上整体相似,还需在稳定性、高可用性等基本能力上有明显提升。因此,TDSQL 在国产数据库的替换方案上,重点布局稳定性、高可用、语法的兼容性、异构迁移与应用回迁等方面。并将云原生、超融合、国产化,作为腾讯云数据库发展的核心战略。
目前,腾讯云系统上有 40 万 + 云原生账号;自己的业务体系中有超过 12 亿月活的用户,交易量为数十亿笔 / 天;发起的开源项目已超过 110 个,拥有 33 万 star。
一、 云原生是腾讯云数据库最重要的架构
传统架构的云数据库存在着诸多缺陷,例如数据问题回档慢、维护成本高、可用性低、故障恢复慢等。云原生数据库,是传统数据库与云数据库、云计算的融合。用一个形象的比喻:传统的数据库上云是一种“搬家”模式,而云原生数据库提供的是一种“拎包入住”的方式。
云原生数据库 TDSQL-C 可以兼容多个数据库引擎,并采用计算和存储分离的架构,最小购买单位为集群,每个集群的计算节点和存储空间单独计费。
值得一提的是,TDSQL-C 在产品架构上的创新是其他国内厂商所不具备的。TDSQL-C 通过对内核的深度改造,实现了“日志即数据库”的计算与存储分离架构,从根本上解决了传统数据库弹性扩展能力的不足。同时完全兼容 MySQL 以及 PostgreSQL 等开源协议的产品特性,使得企业业务“零”改造就可以平滑地迁移到 TDSQL-C 上,帮助用户业务快速上云。同时 130 万 QPS 的高性能和 128TB 海量存储能够充分满足企业长期的业务需求,值得一提的是,TDSQL-C 实现了秒级的升降配和故障恢复,秒级扩展 1 到 15 个只读实例,毫秒级主从延迟,GB/s 的快照备份回档,无论在可变的业务场景还是稳定高并发业务场景,均能赋予业务最优的弹性计算能力和最优的成本。
不止于高性能,腾讯云基于普通软硬件的极简优化,使性能与可用性达到与商用数据库相当的水平,却让成本降低至商用数据库的 1/15。直观上看,云存储降低了硬件采购成本;TDSQL-C 将存储计算分离后,可以对数据库进行全生命周期的智能化管理,实现按使用量计费,不使用不计费;智能自动化运维减少人工干预,也降低了隐性成本。
二、基于云原生构建超融合体系
伴随新基建、产业互联网快速发展,各行各业数字进程加速,数据形式越来越多样化,越来越海量。如何能高效的解决数据库在性能、成本、服务等诸多方面的问题,超融合是必然趋势。
腾讯云的数据库超融合体系,主要四个方面搭建:底层实现、开发者接口、软硬一体化交付、全链路生态。该体系能够融合公有云与私有云、连接传统 IDC 与云数据库的数据库 SaaS 工具 DBbridge,实现软硬一体融合的 TDSQL 一体机:
- 底层多模多引擎融合:极致的性能、成本和通用性有着天然的矛盾,多元化的场景下多引擎共存,充分发挥各个引擎的特点与优势,才能实现极致和通用;
- 向开发者提供标准化接口:多引擎的共存无疑会给开发者带来选择的困难,TDSQL 通过 AI 智能调度、Serverless 等方案,能够彻底实现多引擎统一的标准化服务;
- 交付方式融合:TDSQL 一体机是公有云的延伸,能够让客户在敏感业务和运营成本之间实现更加精细化的管理;
- 全链路生态融合:打通云上云下,让所有客户能享受云上丰富的 SaaS 和 PaaS 服务,快速实现研发和服务全链路融合。
超融合体系可以让整体服务简单易用。例如“数据库安全”服务,具体包括加密、审计、SQL、防火墙等产品和功能,开发者只需要通过页面上简单的配置就能完成数据在全生命周期的管理。
三、把核心技术掌握在自己手里
回看过去几十年,很多企业应用系统使用 Oracle 的原因,是开发商的开发习惯难以改变,如果在开发时就选用国产数据库或者开源 MySQL/PG 等,也是完全可行的。
国产化数据库迁移不是一次性的迁移工作,更重要的是迁移后如何在较低的成本下稳定运行。这需要构建一个十分稳定的生态,需要学习 Oracle 当年构建生态的方法,加大技术开放的力度,培育第三方服务生态体系,免去企业的后顾之忧。
腾讯数据库积极融入国产生态系统,对底层硬件、操作系统、中间件等上下游的生态都进行了深度适配和优化。在 TDSQL 品牌升级的同时,腾讯云还发布了“国产数据库加速器产业联盟计划”,同步成立了数据库合作生态扶持基金。
此外,腾讯云培训认证体系也专门设置了“企业级分布式数据库 TDSQL 产品认证”课程,帮助企业从业人员了解分布式数据库 TDSQL 基本原理和架构,并具备基础安装使用和通过 TDSQL 赤兔平台进行资源管理和备份配置。帮助企业把私有云环境的运维便利、可诊断性、快速定位能力提升至公有云水平。
「张家港农商行」是国内首家银行传统核心应用国产分布式数据库的案例,在迁移完成以后,整体成本下降了 75%;「平安信用卡」核心是全球首例银行大型机下移的项目,它支持十亿级日交易量;刚刚结束的第七次人口普查中,TDSQL 支持了十亿级用户数据、亿级个人用户、七百万个终端和百万级峰值 QPS;此外,TDSQL 还通过「数字广东」为全广东数字化民生政务提供数据库服务;在「人保财险」部署了超过上千个节点,提供全核心业务的数据库服务……
这些不止是 TDSQL 的历史性节点,也是国产数据库发展进程中的重要突破。把核心技术掌握在自己手里,更好满足产业数字化的发展,是腾讯一直努力的方向。
4持续迭代
国内数据库的市场需求在不断变化,分布式的需求源于客户驱动,客户需求方向是更加多样化、聚合化,同时希望数据库的使用效率更高、成本更低。
目前,腾讯数据库已有的 20 多款产品及配套服务,每年有着超过 1000 次产品升级迭代,服务 1000 多家政府客户和 2000 多家金融客户。
回看 2020 年,TDSQL 在底层核心能力和产品形态上做了迭代:
- 在底层核心能力方面,以尽可能让客户能像使用集中式一样使用分布式数据库为目标,持续优化存储过程、分布式查询、智能诊断,以及基于一些新硬件的自研引擎等,提升数据库的智能化;
- 在运维和服务能力方面,推出了 TDSQL 软硬一体机的版本,让产品交付就多了一种一体机的输出方式。同时,通过专有的认证和培训体系,让企业运维人员快速适配能力。
而在 2021 年,TDSQL 一方面会针对混合云需求的产出整体解决方案,包括快速适配硬件和一体机的能力、传统数据库的兼容性等。
据 IDC 预测,到 2024 年中国关系型数据库软件市场规模将达到 38.2 亿美元,未来 5 年整体市场年复合增长率为 23.3%。国产数据库迎来了最好的时代,也希望能看到 TDSQL 在数据库国产化的路上持续发热。