10月23日,由企业网d1net、中国企业数字化联盟、信众智cio智力输出及社交平台共同主办的2021汽车业数字化升级大会盛大召开,邀请了行业技术专家一起相聚浙江 • 嘉兴共论“数智化”转型之道。
以下是现场速记。
commvault资深技术经理 林晓明
林晓明:大家好,感谢大家在周末参加这个研讨会,我是来自commvault的技术顾问林晓明,今天我跟大家分享的题目是“化繁为简,无限扩展——智能数据服务赋能汽车数字化转型升级”。
首先我把commvault公司跟大家简单介绍一下。commvault在1996年以前是at&t贝尔实验室的一个部门,这个部门叫commvault,1996年美国国会把at&t拆分了,这个时候贝尔实验室就解散了,1996年的时候,风险投资把这个部门买了出来,成立了一个独立的软件公司,后来在纳斯达克上市了。2010年以前,我们只是做数据备份和数据保护,2010年以后,我们把数据备份和保护的软件变成了一个数据智能管理的平台,在一个平台上对数据进行全方位的管理,我们现在是更多的关注在云的时代,对云原生,云的应用进行管理。
这25年,我们公司专注一个产品,就是做数据管理和数据的保护,在这个产品上,累计了1000多个专利,在gartner的评比当中,我们连续10年都是行业的领导者,有几个参数还是蛮值得关注的。第一个,98%的用户满意度,另外有10万个企业级全球忠实的用户,云端的数据达到1eb,这是gartner的评比,我们在gartner的领导者象限,去年和今年三个分项评比当中都拿到了第一名。第一是计算中心的数据保护,第二是虚拟化和云的保护,第三个是企业的边缘数据保护,都得了第一名的高分。
数字化的年代,特别是云的时代,每个企业it的架构正发生着变化,以前数据都在计算中心里,现在开使用云和saas服务,以前都是管理软件,现在saas的应用越来越多了,以前只是做敏捷开发,现在只是devops。以前大家用虚拟化,现在很多企业把虚拟化往容器方面迁移,以前的管理软件是it主导,现在更多的是业务部门来主导。在这样一个it架构发生变化的时候,导致了什么状况呢?导致了多代数据无序蔓延,it架构里面有老的,传统的,比如说物理机,集中存储,现在有虚拟化,有容器,有私有云,公有云,这个都是多代的架构,每一代架构的数据还是很多的,就会导致多代的数据的无序蔓延。无序蔓延当中有几个突出的问题。
第一个是数据碎片化,以前大家的数据都在集中的存储里面,现在大家的数据分散了,分散在云里面,虚拟化里面,容器里面,数据的碎片化。碎片化以后导致故障点多,有物理的故障和逻辑的故障,逻辑的故障,比如说人的误删除,误操作,软件的bug等等。还有一个大家很头疼的网络攻击越来越多了,特别是勒索病毒,上个月美国一个输油管道被勒索病毒攻击了,一天损失1.5亿美金。还有一个是监管越来越多了,今年我们出台了《数据安全法》,11月1号马上出来一个《个人信息保护法》,监管是越来越多,还有一个是企业在不断创新,创新的过程当中你会发现it的基础架构也会发生变化。可能很多原来是在传统的物理服务器里面,可能要迁到私有云,或者是迁到公有云,你的数据要发生不断的迁移,还有就是自动化,很多我们都是靠人工在管理,效率很差,这些问题都会对你的业务的增长,或者是业务的连续性带来损害,每个都会增大业务完整性的缺口。
针对这些问题怎么办呢?commvault的想法是这样,首先要把数据保护好,数据对于企业越来越重要,我们说数据是企业的重要资产,资产是什么?就是钱,这个资产没管理好,钱就丢掉了,所以要把数据管理好,特别是要保护好。第二,数据安全,要防止网络攻击,防止人为的误操作,或者是人有意的删除。还有一个,我们要做数据的合规,做数据的治理,特别是敏感数据的治理。11月1号《个人信息保护法》出来以后,读过了就会知道,泄露了个人信息以后,你将面临着很高的惩罚。还有一个,你要做创新,创新的过程当中你会发现数据要不断转换,你也要从传统的服务器迁到私有云,迁到公有云,只有实现了数据的转换,才可能实现创新。另外,要做到自动化,很重要的一点,必须对你现有的数据进行分析,进行洞察,找出规律来以后才能做自动化。
commvault提供的凯发在线的解决方案就是智能化的数据平台,在这个智能化的数据平台里面我们要实现什么?第一要实现数据的管理和保护,在数据安全、合规、数据转换和数据的分析。从产品提供的形式上有这样几部分,第一部分,我们要做数据保护,特别要做数据的灾备。第二个层面,我们要提供更高效、廉价的数据存储的管理,commvault有分布式存储系统,有超融合备份一体机的凯发在线的解决方案,另外还有一个saas服务,在云上的saas服务。另外一个,在数据的洞悉和分析上,我们提供了文件的优化管理,数据合规的治理,和ediscovery这方面的管理。还提供了saas的服务。从交付方面有多种交付方式,有传统的交付方式,也有超融合的一体机的方式,也有saas的方式,不管是什么方式,对于用户的体验和管理都是一体化的,一个界面统一管理。
作为一个制造业来说,数据管理实际上在这个表里做了一个分析,从应用软件来看,分这样几类,第一个是设计类的,pdm、prm都是这一类,数据用于设计的。第二类是用于生产管理的erp/crm,其他的应用,就是oa、邮件等等其他的管理系统,对于大型的集团公司来讲,有很多分公司,数据分散在分公司里面的,还有多云战略,既有私有云,也有公有云,实例、对象存储、云应用。管理的数据的形式来看,无非是结构化的,非结构化的,现在多了云里面的资源,从管理的需求上来看,最基本的是数据的保护,必须把数据保护好,数据不能丢,还有一个是系统的快速恢复,不中断业务的应用。另外作为企业的来讲,有数据的长期保存,像设计图纸,可能要放20年,甚至永久。另外是应对灾难,怎样做灾备,地震、火灾、水灾,你要应对灾难。还有分散在边缘上的,怎样实现共享,另外就是合规,满足合规的要求,你要发现敏感数据在哪里,还要找到,当要跟用户打官司的时候,怎样把数据找出来。针对这么复杂的应用,打黑点的是基本应用,打三角的是我们推荐要实施的,打五角星的是最优方案,把这个做完以后,系统数据管理是比较完善的。
拿一个典型的制造业,或者是一个汽车制造业的分布式集中管理的架构图,一般我们可能有一个主的生产中心,另外有一个灾备中心,还有很多分支机构,有的有十几个厂,甚至几十个分支机构,另外还有多云战略,可能有一个到多个公有云,这样的分布式架构情况下,我们要实现分布式的集中管理,通过一个管理平台,可以做集中的管理。特别是私有云的情况下,或者是有big data的情况下,要求很高,我们提供了超融合的凯发在线的解决方案。我们把分布式的文件系统和commvault的数据管理平台超融合集成在一起,这样他的横向扩展性会更好,性能会更高,他在一个池子里面可以做到5pb的数据。
还有一个问题,我们现在勒索病毒大家要去进行防护,备份是很好防止勒索病毒很好的方法,也是最后的救命稻草,勒索病毒突破你的网络防护以后进来了,把数据破坏了,最后救命的方法,就是把备份数据恢复过来。但是备份数据不能被勒索病毒攻击掉,备份数据也攻击掉了,只好花钱找黑客买解码的密码了。所以首先要使备份数据是防篡改的,有三个层面,一是软件的层面具有worm存储策略,主要是防止有权限的管理者误操作,误删除,或者是恶意删除,或者是黑客进来拿到权限以后,进来恶意删除。另外一个就是操作系统层面上要做加固,防止有权限的用户进来吧文件系统格式化了,把文件系统删除掉了,文件系统要防止文件的篡改,即使有权限进来了,也改不了文件。有人说,这个防护我还是不放心,怎么办呢?做这样一个配置,就是做一个air gap技术,是一个网络隔离技术,用单向防火墙把数据的副本放在网络的隔离区里面,从你的生产环境里,是没办法访问隔离在隔离区里面的数据的,当要把数据传到隔离区里面的时候,他的发起是从air gap里面发起的,是一个单向的,这样做成网络隔绝,我们叫零信任,所有人都不信任,我就放在里面,这样以来,数据副本至少有三份。第一部分是放在备份系统里面的,另外一份放在网络隔离区里面的,还有一份放在灾备中心的,所以你的数据至少是有这三个副本,第一个副本是为了快速恢复,第二个副本,隔离区里面防止恶意删除,灾备区里的主要是防止灾难,是这样三个。
再看一下智能服务平台,针对应用这边是怎么提供服务的,制造业里面用得最多的是数据库,我们对数据库提供全方位的保护和全方位的管理。第一个,可以做数据库的逻辑导入、导出,第二个可以做流失备份,第三个可以结合快照技术,利用存储的快照,对数据库进行快照的备份,另外还可以对数据库做克隆,克隆出来做测试,做开发,做灾备都可以。另外还可以做数据的及时同步,复制到灾备中心,这就是数据的管理。
恢复的角度来看,可以做整库的快速恢复,也可以做表级恢复,还可以做数据脱敏。用于什么场景呢?把生产库克隆出来做测试开发,里面有很多敏感信息,比如说身份证号,账号,电话号码,这些东西要脱敏,你不脱敏,就可能把个人信息泄露掉了。按照11月1号颁布的《个人信息保护法》,可能要承担法律责任。另外还可以把这些数据库迁移到云上,反过来也可以把云里的数据迁过来,这是全方位的管理。
另外很多大型企业都用了sap hana,现在用得越来越多了,commvault对hana有一个全方位的支持,对公有云都可以提供全方位的保护,这是对hana的。
在制造业里面,有一个特点,非结构化的文件很多,特别是产线上面,有很多小的文件,我们叫海量的小文件,动辄上千万个,有的上亿个,小文件的备份恢复用传统的方法做是非常慢的,commvault提供的方法,用block的技术,夺一个快照,快照里面把变化的数据块找出来,再去做备份,这种方法做,效率比传统的方法提高10倍到20倍。这种方法还有一个好处,备份数据可以直接挂载起来进行访问,对你做恢复验证,或者是找数据的时候非常方便了,不需要用传统的方法恢复好再去做。备份策略来看,需要全备份的时候做一个合成全备,备份服务器上做,不会影响生产系统,这种方法非常有效地解决了海量文件系统的保护。
另外一个是在每个企业里都有很多个人终端或者是工作站,我们叫边缘数据,还有很多移动办公,或者是分支机构里面也有很多移动办公的设备,这种东西叫边缘数据。这个数据以前没怎么很好保护,commvault提供了集中的边缘数据保护的方式,特别是对移动办公人员,通过因特网也可以进行保护,用这个东西还可以做一个安全的拆理,跨国公司,现在进欧洲或者是美国的海关,会把笔记本拿去扫,上面有敏感的文件,说不定要扣下来,用这种方法怎么做呢?进海关之前,把笔记本清空,手机上的数据都清空,进到关里面以后,通过系统把要用的文件下载下来,回来的时候也清空,回来以后再恢复,这样过关的时候就非常安全,可以做安全差旅。
还有一个是big data,汽车行业里面的制造厂很多都在上这个,commvault能够对这个提供一个全方位的保护,目前主流的分布式的文件系统都可以提供保护。他有一个特点,数据量特别大,你要备下来,吞吐能力必须非常大,我们的凯发在线的解决方案,就是用超融合的技术,能够提供非常高的performance的保护,每小时可以达到50tb备份的吞吐量。
虚拟化这一块儿,提供了五层的保护,第一层是复制的技术,存储的复制,软件的复制,第二层是快照的复制,软件的快照和存储的快照。第三层是备份,第四层是虚拟机的归档,第五是虚拟机的灾备。有人问,你搞这么多层干嘛呢?有一个复制不就可以了吗,其实复制是防止不了逻辑错误的,快照是可以隔绝逻辑错误的,但是快照的成本比较高,一般保留的时间不长,保留一周了不得了。备份可以保留的时间更长,保留半年,甚至一年都可以,归档就是保留时间会更久一些,不需要的东西就归档。灾备是放到异地去,提供了五个方面的保护。
现在大家都在上云,commvault有全方位的云数据管理的凯发在线的解决方案,由于时间关系,我挑了四种场景。第一种场景,备份上云,有的公司,我没有灾备中心,建灾备中心花的费用太高,怎么办呢?租公有云空间,本地数据加密去重以后放在云存储里面,非常好实现了远程灾备,数据放到500公里,1000公里以外,在一千公里以外建一个数据灾害耗费很大,租一个公有云就可以放过去了。数据到云里面去以后,派什么用场呢?可以用云里面的资源做恢复演练,恢复演练这个机器用得不多,一年用几次,好处是用的时候付钱,不用的时候不付钱,这样比较节省钱。还有一个是迁移,有各种各样的系统,commvault有各种各样迁移的方式,可以把物理机,虚拟机,数据库,都可以迁移到公有云上面去。数据在云中应用起来以后,很多数据也需要保护,大家一定要注意,公有云一般对你的数据是不负责任的,防止的是物理故障,逻辑故障防止不了,误删除了,软件的bug导致数据的破坏,赔不了你钱的。所以在云里面还要做好数据备份。
另外一个,在云里面备份,可以把备份数据拉回本地中心,也可以拉到另外一朵云上面去,这样不会被一个公有云绑死。
commvault平台可以实现多云之间的数据转换,vmware直接转换成aws或者是华为,不需要再去有别的方法去做,可以实现自动的转换,各种平台都可以。还有一个是灾备,commvault提供的灾备凯发在线的解决方案,跟原来的存储厂商不一样,存储厂商的凯发在线的解决方案都是双活中心,比较贵,commvault是提供了多层级的dr凯发在线的解决方案,可以做到分秒级的,分钟级的,小时级的,天级的,多层级的凯发在线的解决方案是什么样的呢?可以节省你整个费用,大家觉得做dr,灾备的投入太高了,项目报上去一般被老板打回来了,主要是费用太高,这种方法可以极大节省费用,我们在很多制造业里面做过调研,真正要求rpo、rto非常高的应用系统只占5%,95%不需要那么高的rpo、rto,对于要求不高的应用系统,尽量用慢一点的方式去做,这样可以节省带宽,也可以节省资源。
还有一个是数据的应用,这个是什么呢?实际上数据是这样,你把它用得越多,价值越高,所以我们要想办法把你这个数据不断涌,多用一次,他的数据价值就越高了。我们也是在想,怎样提高数据的价值呢?比如说我们把数据都手机备份到备份池子里面来了,传统备份的数据没什么用,只有恢复的时候才有用,我们现在派生出几个用场。第一个,文件的分析,实际上你到一个计算中心里面去,你告诉我你的数据是怎么分布的,怎么增长的,怎么访问的,没一个人知道。很多人搞一个月也统计不出这个数据,因为大家都是分散的,不知道。以前要把这个数据分散到上百台服务器里面,装插件,把这个数据统计上来,也很麻烦。commvault怎么做呢?因为数据都备份了,通过备份数据的分析马上就可以知道数据是怎么分布的,怎么访问的,明年做预算,我是有依据的,我们在制造业里面做了一个分析,三年不访问的数据,占65%,经常访问的占30%几,意味着我们买了很多存储,放的数据是不经常访问的,怎么办呢?再想办法,是不是把不常访问的数据归档出去,在线数据资源就释放了。另外一个,敏感数据的治理,也是一样,做敏感数据并不知道敏感数据在哪里,备份池子里面进行分析就知道了,敏感数据在哪个数据库里,通过集中的数据池里做敏感数据的分析,可以找到敏感数据在哪里,这些敏感数据有没有保护?会不会泄露?都可以分析出来。合规也是一样的,合规的本质是做内容索引,通过内容索引找到,比如说在邮件里面找到一个打官司的证据,如果传统的方法做起来就很麻烦,我们这个方法做相对就简单很多。运维这一块儿,我们有非常好的报告,这个不去讲了。
总结一下我们的特点,四个字,化繁为简,数据管理是it运维里面最复杂的,原因是什么?管理的对象太多,有中心,有公有云,有私有云,有虚拟化,有saas,有容器,有大数据。另外,commvault的生态也比较好,存储、应用、虚拟机、大数据、saas服务,都有很好的生态。
总结一下凯发在线的优势,我们用一个智能的管理平台,为企业的多个中心,多个云进行统一的管理,得到的效果是什么?操作更方便,性能更高,费用更便宜,数据更安全,最后一点很重要,管理更规范,有一个规范的管理。
最后看两个例子,这是一个我们的老客户,大型的汽车配件公司,以前是40几套备份管理软件来管理,现在集中在上海,两三个人就可以管理,管这42个分支机构。这也是一个特种车的厂,数据中心也很大,有一个dr中心,分支机构也很多,有2个公有云,阿里和aws,我们实现了集中的统一的管理。这就是我们的客户,由于时间的关系,我们就介绍这么多,只能作为一个抛砖引玉。我们在外面有一个展台,茶歇的时候,欢迎大家到我们展台来咨询,参加我们的互动游戏,谢谢大家!