随着企业业务不断上云,微服务、容器化架构的不断应用,兼顾了devops标准,满足持续交付基本诉求的企业数据中台采用云原生架构成为了必然趋势,正如智领云科技联合创始人兼cto 宋文欣所言:“数据中台必须要有云原生这样一个架构作为它的底座,云原生和数据中台是不可割裂的两个部分。也就是说,数据中台必须要建设在云原生架构的基础之上,这是它的基本技术架构。”
“在建设数据中台的过程中不少企业走入了误区。” 宋文欣指出:“数据中台不是一个开箱即用的产品。它不像数据库这样的it产品可以部署完直接使用,评判的标准就是性能、稳定性,这些非常简单明了的指标。”
“建设数据中台首先要基于一个技术架构。其次,他需要很多厂商共同配合,甚至要调整企业原有的组织架构。有从上至下的数据驱动理念,依照自身的特点解决自己的业务问题。”
“在建设数据中台过程中,也不仅仅是技术问题,还要有方法论来支撑,即便有了优秀的技术提供商也不一定能建设成功,企业自身也要认同数据中台建设是一个核心工程,愿意牺牲一些局部利益,来追求全局、长远的利益。”
“建设数据中台也不能设立太远大的目标。刚开始的时候的小目标可能就是降低一些成本,不能期待短期带来巨大的效果,而是需要经过不断探索,通过循序渐进的方式做好数据资产的基础积累。比如首先要拉通数据、消除数据烟囱,为各种场景下的分析做好准备,同时要有长期建设的观念,从一些能见到收效的痛点着手逐步迭代。”
企业想要建设一个好的数据中台必然需要一个实现路径,那dataops就是实现这一目标的最佳路径。宋文欣表示:“dataops的终极目标是能够让数据科学家、数据工程师以及数据运维人员,在一套完整的体系下,通过工具加方法论的支撑,实现敏捷、快速的数据开发与数据管理。”
dataops涉及到的组件很多,开源的或者商用的,云原生dataops就是通过“做减法”的方式敏捷地发挥这众多组件的作用。宋文欣表示:“云原生的方式能够很方便地集成一些开源和商用软件,如数据开发、数据安全、数据监测、质量管理、机器学习等上百种软件。通过云原生架构提供的接口和插件将这些软件集成到dataops平台上来,让客户把主要精力集中于他的业务分析、数据治理,而不是去直接对接这些复杂系统的软件。”
通过容器化和标准化大数据组件,云原生dataops成为这个生态体系的粘合剂。最终帮助客户实现提高数据研发效率、降低运维成本、降低存算成本、提高治理效率,即便是新手也可以快速建立生产级的大数据应用并充分利用数据的价值。
以技术带经验 构建适合企业自身需要的数据中台
“我们通过bdos云原生数据中台架构,帮助企业打造一个数字化驱动的底座。通过这个底座帮客户建设企业的数据中台。” 宋文欣表示:“除了bdos数据中台架构,我们还将通过在中台的建设过程中积累的经验为客户提供落地建议。”
“首先帮助客户做顶层设计。结合客户的业务情况,以及未来的规划发展,为他的技术架构选型做好顶层设计。比如对实时数据要求不高时,那前期就不用去做实时数据的工作,可采取批处理来解决。如果要对快速产生的数据做出响应,那就要实时处理的技术架构。”
“其次是数据标准和数据规范的建设。我们遵循oneid、 onemodel 、oneservice的数据中台建设原则。同时要遵循客户所在行业的数据标准和数据规范。这在建设数据平台之前就该规划好,否则未来数据中台建设就会杂乱无章,达不到你想要的效果。”
“第三是组织架构的调整。我们会建议企业需要招聘、拥有怎样技能的人员,以及相关的组织架构,以及这些部门应该如何去参与数据中台的建设。”
“第四,如何建立自己的指标体系。这包括投入产出的指标体系、关键性能指标体系以及监控审计体系。从而让整个数据中台能够在一个全局可控的情况下运行,然后再按这个过程不断地去迭代,最终实现数据驱动的决策,从决策中收集数据,形成技术、业务、决策互相驱动,相互印证的数据闭环”宋文欣最后说 。