伴随着数字化转型的深入推进,产业对数据化的需求发生了革命性的变化。而开源对数据库的影响也在不断增强,已经覆盖软件开发的全域场景。
9 月 22 日,中国工程院倪光南院士在企业级开源分布式数据库厂商 pingcap 用户峰会上的致辞中提到:“全球开源数据库已经超过商用数据库,占比达到 52%。全球最受欢迎的前 10 名数据库中有 6 个是开源数据库。同时,分布式、云计算、大数据正在重塑数据库的市场格局,2021 年全球云数据库市场份额已超过传统部署模式的数据库,标志着云数据库取代传统数据库地位的趋势已经确立。”
开源模式以及分而治之的开放式架构备受用户认可
认识 pingcap 是在 4-5 年前,彼时笔者就关注到了开源数据库领域,对 pingcap 联合创始人兼 cto 黄东旭进行了一期专访。如今时隔多年,来到 pingcap 用户峰会,笔者最大的感受就是这家开源分布式数据库厂商对用户需求的洞察已非常深入,相信贴近用户这一点也是其能够快速成长的重要原因之一。
仍记得企业网 d1net 在对某位金融行业 cio 进行专访时曾聊到过 pingcap,那位 cio 对 pingcap 赞赏有加,他当时提到:“在交流的过程中 pingcap 告诉我 tidb 社区版就能满足我们企业的需求,让我用社区版就好,是免费的,有问题可以向他们反馈。这是第一家真心帮助用户解决需求问题却不要求我付费的厂商,给我留下了非常好的印象。即使接下来公司业务发展需要用到商业版,我也非常乐意付费。”这位 cio 的表述,真实地反映了用户对开源社区商业模式的高度认可。
pingcap 创始人兼 ceo 刘奇
pingcap 创始人兼 ceo 刘奇在会上提到:“分布式数据库是一个高度复杂的系统,与云的结合让复杂度进一步上升。分布式数据库是否能生存下去,本质在于能否掌控复杂度。”在过去的一年中刘奇做的最重要的工作之一是拜访用户,在与大量用户沟通后刘奇发现:分而治之的开放式架构被认为是未来分布式云原生数据库活下去的唯一方法,大多数用户选择 tidb 的首要原因在于 tidb 采用分离式架构,更能管理复杂性。
据用户反馈:pingcap 更受 ceo 和 cfo 的欢迎,因为使用 tidb 替换传统数据库,至少可以将使用成本降低一半,还能破解企业在技术人才匮乏方面的难题。除此之外,越来越多的年轻用户已不再关心数据库的底层架构,只关注数据库产品能否应对业务敏捷挑战,能否在不确定的环境下满足业务高速发展的需求。
数据库能力如何支持企业级用户业务的敏捷性?
商业模式的成功,只是企业驶入发展快车道的第一步,而第二步则是不断打磨产品。刘奇提到:企业级用户对数据库产品敏捷性的需求使 pingcap 重新思考,及时调整组织架构以及产品方案,以满足用户核心系统对敏捷性和稳定性的要求。
tidb 早在 1.0 版本就实现了在线事务处理的规模化扩展,为 htap 能力打下坚实的基石;4.0 版本实现初步的 htap 能力,olap 与 oltp 分区独立,物理隔离;5.0 版本在原有 htap 引擎的基础上引入 mpp 架构,进一步提升海量数据下的并行计算与分析能力,支持同一架构下对 spark、flink 等技术栈的集成,成为具备完整实时 htap 能力的分布式数据库,助力企业提升关键业务的时效性。
2022 年, tidb 6.1版本发布,强化了系统优化器,支持系统智能选择存储方式,这是第一个面向企业级的长期支持版( long term support,简称 lts),可稳定维护。对于用户而言,在没有特定需求开发的情况下,可以选择最新的 lts 版本投产。如果需要某个 dmr(开发里程碑版本)发布的新功能,可以选择 dmr 版本进行 poc 以及试运行,待到对应的 lts 版本发布后升级 tidb 到稳定生产状态。pingcap 期望通过“敏态 稳态”快慢结合的方式最大限度兼顾快速迭代和稳定投产两方面的需求。
pingcap 研发副总裁 唐刘
“pingcap 是一家非常年轻的公司,我们的产品也在不断打磨和完善。一方面我们需要快速迭代,不断将产品的价值快速交付给客户,另一方面面对诸多核心场景,我们还要打磨一个更加稳定的产品,让客户能够非常高效、放心地使用。” pingcap 研发副总裁唐刘如是说。
pingcap 的做法是采用“稳态 敏态”双轨并行的研发机制:一方面采用开放式架构,另一方面充分利用丰富的用户场景持续打磨产品。这样的好处是既能保证用户对产品触手可及、随时可用,又能在核心场景稳定放心地使用。
数据服务的敏捷性究竟有多快呢?最好的例子就是 oss insight。这是一款从 0 到 1 快速打造的产品,oss insight 起初只是刘奇为了在 5-8 分钟内讲清楚什么是 htap 的一个 demo,它支持复杂条件的查询和分析,可以让用户从熟悉的简单数据中获得全新视角的洞察,同时也是一个真实承载了 50 亿条数据的平台,更是一个一秒就能体验的真实、好看、好用、好玩且易于传播的平台。
用户普遍认为,要做 oss insight 这样一个查询和分析的平台大概需要 4-6 个人花费半年时间。实际上,基于 tidb cloud,2 个人只花一个周末就可以将第一个版本推向市场。以这样的速度,企业通过 tidb 可以领先对手几倍时间,也可以节约大量人力成本,真正做到以更低的技能要求、更快的速度将产品推向市场,从而更快产生价值。
pingcap 研发副总裁唐刘提到: oss insight 有将近 50 亿条开源数据,查询条件非常复杂,面对这样高度复杂的情况,pingcap 和 oss insight 研发工程师不停打磨、重构、加固优化器,如今不但研发工程师不再需要写 hint ,而且智能优化水平比人工写 hint 提速了 20-30%。
“通过 oss insight ,我们可以让人人都能在 5 秒钟内获得 insight 。我们设想每个组织、每个企业、每个人都可以获得这项能力,都有好奇心去获取 insight,基于 oss insight 中的开源数据,任何人都能提出自己的 idea。”刘奇如是说。
另外一个例子是一家银行客户,这家头部股份制银行将 tidb 产品应用到银行核心系统,与 pingcap 持续打磨 tidb 的内核能力。如今的成果是:在 7×24 小时性能测试中,可以将整个延迟抖动控制在 2% 以内;在某头部城商行互联网交易系统上将延迟缩短了 4 倍,满足了客户互联网银行核心上线的需求。
据了解,作为一栈式数据服务平台,tidb 一直致力于提升用户业务的敏捷性,近两年产品内核性能和稳定性也在不断提升,成为各行业头部企业的选择。tidb oltp 的 tpcc 性能提升 200%-300%,实时 htap 性能提升 200%-300%,核心场景性能也获得持续突破,例如银行的转账核心负载延迟优化达 4 倍之多,物流等超高吞吐实时在线交易读写混合负载性能提升 100% 以上,保障了数亿用户的顺滑体验。
为何 pingcap 成为行业头部客户的共同选择?
会上,来自建信金科、百胜中国、传音控股、老虎国际、平安科技、杭州银行、中国人寿财险、工商银行、东软集团、中电金信、嘉和美康、神州数码、云徙科技、天翼云等多家 pingcap 重量级客户、凯发在线的合作伙伴及产业大咖为其站台,分享数字化转型与数据价值创新中的选择,探讨如何通过面向未来的敏捷数据服务平台实现业务的加速和创新。
建信金科是中国建设银行金融科技子公司。建信金科基础技术中心副总裁邢磊道出了其选择 pingcap 的三大理由:一是服务于客户成功,关注客户遇到的实际问题;二是 pingcap 具有开源开放的特征,相信开源和开放的力量会成为未来企业技术重要的组成部分;三是 pingcap 有很好的成长性,与 pingcap 一起、与优秀的开发者和专家一起将取得更快的成长。
建信金科基础技术中心副总裁 邢磊
与大多数用户不同的是,建信金科与 pingcap 的接触始于 tikv。建信金科在做微服务、分布式时要对数据做拆分,要求在现有的传统渠道、传统业务和交易不受影响的前提下改造后端的服务能力,建信金科过去使用的是国外开源软件,在安全稳定运行方面存在很大挑战,而 tikv 在这样的背景下进入了建信金科的视野。
邢磊提到:为了能自己掌控技术,建信金科从 2020 年开始接触 tikv,与 pingcap 共同努力投入研发资源和精力做业务场景适配,经过一年时间成功将 tikv 5.0.4 版接入到全行分布式体系中,顺利扛住 4 万多 tps 压力稳定运行。伴随核心业务改造,建信金科于 2021 年底将整个核心业务在分布式平台上进行切换,tikv 起到了关键作用。2022 年建信金科进一步借助 tikv 的高可用体系构建了跨地域、跨中心的灾备能力。
由于前期只关注应用系统项目,建信金科的业务在大规模分布式体系当中遇到了一系列稳定性、可用性问题,基础平台、基础软件等的可用性如何保障是一大难题。借助 pingcap 的chaos mesh 混沌工程框架,在双方的共同努力下,建信金科在 2021 年 7 月完成了第一批最重要的 18 个混沌和故障场景的注入。如今,建信金科已完成混沌工程平台方案设计和平台一期开发、建设工作,逐个攻破其在虚拟化环境、容器环境下的各种故障场景的模拟以及自动化装配、组装难题,使各类组件和数据库能在场景下进行完整检验后再推向应用型项目。
传统金融企业交易业务线和数据分析业务线的数据处理通常是分开的,多维查询和管理类分析业务倾向于用大数据业务处理,但是随着企业数字化转型的逐步深入以及平台生态的繁荣建设,所有的关键业务、核心业务都面临着新的挑战,用传统的大数据技术很难在数据实时更新场景下同时提供多维的分析和查询能力,这恰恰是 htap 要解决的问题。邢磊回忆:“当时建信金科遇到了非常大的挑战,留给 pingcap 的时间非常短,从2021年 4 月底提出到 5 月底完成技术验证测试,只有一个月的时间,而到 10 月建信金科已正式投产进入稳定迭代。现在,建信金科的每个新场景都有 tidb 的身影。”当前,建信金科正在尝试将系统升级到 tidb 的最新版本,同时将统一视图、全量资产、反洗钱业务等在 htap 上做验证和迁移。
百胜中国是中国最大的餐饮企业,致力于成为全球最创新的餐饮先锋。百胜中国首席技术官张雷提到:“tidb 是业内开源分布式数据库的翘楚,百胜中国在 2019 年就开始用 tidb 尝试替代传统的商业数据库产品。百胜中国非常看重核心数据的处理主权,开源数据库恰恰能够帮助掌握这一主权,同时借助活跃的开源社区,进行企业内部创新性的架构研究以及落地。”经过一年的探索,tidb 最终在百胜的业务中台得以落地实施,稳定可靠地支撑海量的线上交易,实现了降本增效的目标。此外,百胜中国将 erp 中的交易数据同步到 tidb 中,与 bi 工具进行集成,大幅缩短了企业内部的财务报表生成时间,极大提升了内部的工作效率。
传音控股是一家致力于成为新兴市场消费者最喜爱的智能终端产品和移动互联服务提供商,在与 pingcap 的合作中,将其移动商店的整体服务架构迁移到了 tidb 上。传音控股移动互联 cto 史团委提到:“pingcap 使得传音控股可以将更多资源投入在业务的推进上,从庞大、复杂且耗时的中后台工作中解放出来,提升人效,大幅降低成本。”据悉,tidb 的水平扩展、故障自恢复、数据强一致性、高度兼容性等特点,帮助传音控股实现了技术进阶,大幅缩减了成本,提升了用户体验,加速了技术架构平台化与垂直化的演进。
老虎国际作为全球知名的国际化券商,在新加坡、美国、中国香港、澳大利亚等地持有 59 张牌照或资质,在全球多地开展业务。老虎国际技术副总裁柳锴表示,只有真正的全球化公司才能服务全球化客户。基于全球化的业务,老虎国际面临着全球业务拓展、数据架构复杂以及金融数据安全等方面的挑战。tidb 可以解决系统架构的复杂度,同时通过低延迟、数据强一致性,解决业务挑战与数据安全挑战,获得了老虎国际研发、运维以及业务等多个部门的一致认可。
持续引领数据库的演进方向
据悉,接下来 pingcap 将在 db 微服务化、云原生、智能化以及未来数据生态等方面不断探索,持续引领数据服务的演进方向。对用户而言,最直观的感受是 pingcap 正在不断降低数据库的行业门槛。tidb 在提供数据库本身能力的同时,提供非常强的实时在线分析能力,并且通过规模效应将成本降低至原来的十分之一甚至是百分之一。
唐刘提到:tidb 包括存储层、计算层在内的各个组件都可以以微服务的方式提供,通过微服务化的方式做 tidb 系统架构的演进是 pingcap 一直坚持的研发原则。db 微服务化可以将数据库任何可分离的组件都实现服务化,打造 pb 级在线数据服务平台,提供更高的规模效应、更好的容错能力以及更强的风险控制手段。最近半年以来 pingcap 正在进行存算分离的拆分,tiflash 的存算分离是第一个阶段;第二个阶段,tikv 会将 compaction 移出做一个新的功能架构,预计将在半年到一年之内发布新产品。
可以看到,过去几年 tidb 提升的速度非常快,随着架构本身被分离得越来越好,产品性能的提升和改进将会非常惊人。唐刘进一步表示:“一个好的架构,一个正确的内核才有成长的可能,才有更高的天花板,接下来几个月大家还能看到更多惊人的表现。”
关于企业网d1net(www.d1net.com):
国内主流的to b it门户,同时在运营国内最大的甲方cio专家库和智力输出及社交平台-信众智()。同时运营18个it行业公众号(微信搜索d1net即可关注)