伴随数字化转型升级和新技术的普及应用,数据成为创新应用的基础和驱动力,与此同时全球数据量每两年以翻倍的速度增长,预计到2025年,企业数据会在现有的基础上增长到3倍,87%的企业数据会存储在公8有云上,海量数据的存储成为信息产业的新挑战。如何存储庞大的数据,是企业和云厂商面临的首要问题。
在近日举办的亚马逊云科技存储服务媒体沟通会上,亚马逊云科技宣布加速云端存储服务创新,通过智能分层、专门构建以及统一数据保护三大层面,帮助企业进一步应对海量数据上云面临的诸多存储挑战,重塑云中数据活力。
数据爆涨带来三大存储挑战
亚马逊云科技大中华区产品部总经理陈晓建在主题演讲中提到:“数据的爆发性增长,尤其是云上的数据增长已经是新常态,数据增长也会带来诸多挑战。”
一是敏捷与成本,如何应对海量数据增长所带来的成本急速上升,与数据存储服务敏捷性能之间根深蒂固的矛盾。
二是多样化需求,如何设计不同的存储服务满足不同业务的需求。
三是数据保护,数据安全与合规问题也是企业考虑的重中之重。
为破解上述挑战,重塑云中数据活力,亚马逊云科技仅在2021年就发布了130多项存储新服务和功能特性,如今,其存储服务已经全面覆盖了对象存储、块存储、文件存储、数据备份、数据容灾、以及数据传输与边缘处理各个方面,客户可根据自身需求灵活选择,在云端开展业务创新。
亚马逊云科技大中华区产品部总经理 陈晓建
亚马逊云科技存储服务的持续创新
一、智能分层——成本与敏捷的自动平衡
为平衡敏捷与成本之间的矛盾,亚马逊云科技就存储服务的成本与敏捷性开展持续创新。以amazon s3这一经典的对象存储产品为例,从2006至2022年的16年间,整个存储成本降低了7倍。
2021年12月,借助于更智能的存储分层技术,亚马逊云科技将全球九大可用区域的两款主要产品amazon s3标准非频繁访问层(amazon s3 standard-infrequent access)和amazon s3单区非频繁访问层(amazon s3 one zone-infrequent access)的存储价格降低了31%,可见降低用户的存储成本一直是其努力的重要方向。
根据数据被使用的不同频率,可以简单把数据分为热、温、冷、冻四个层次,而亚马逊云科技已开发了8层存储层级,用户可以根据自己的数据类型、需要的读写性能、可接受的成本,选择合适的存储层级应对业务需求。
为满足医疗影像数据这类实时性高、数据很大、访问频率低的数据存储需求,亚马逊云科技在几个月前推出amazon s3 glacier instant retrieval即时检索归档存储,与普通归档存储产品不同的是,采用这款产品用户数的取回速度达到毫秒级,可以把冷数据当成热数据来处理,让音频视频、手机相册、日志归档、影像资料等数据以低成本实现归档数据的快速检索。
数据的冷热并非是一成不变的,如果业务要上线新功能,数据冷热发生较大变化,存储逻辑势必要大改。为了满足这类需求,亚马逊云科技于2018年推出amazon s3智能分层功能,专门面向未知访问模式的海量数据而设计。据悉,amazon s3可以根据数据的实际访问智能判断合适的存储层级,自动在不同层级的存储之间移动数据,既降低了用户运营的复杂性,又将运营成本大幅降低,至多可节省68%的成本。据悉,智能分层功能现已拓展到了共享文件存储amazon efs。amazon efs提供四种存储等级,可节省高达72%的存储成本。
nagarro(奈佳罗)是一家从事软件服务和咨询的公司。nagarro中国区的首席架构师郭亮在会上提到:构建数据资产saas平台面临存储成本、传输效率、容量预测、可靠性和灾备、数据安全五大方面的挑战,nagarro通过使用amazon s3智能分层功能,解决了构建数字资产saas平台过程中的诸多挑战,覆盖了客户所需存储的全部类型,支持全球多区域部署确保了数据的持久性和可靠性;无需关心数据如何分层存储,让业务人员能够更专注于应用,同时还节省了70%的存储费用,实现成本和敏捷的自动平衡。目前,nagarro的数字资产saas平台已服务于5,000多家企业级用户。
此外,结合amazon s3,nagarro还通过使用亚马逊云科技ai服务,智能挖掘数据价值。amazon s3的海量存储为nagarro未来打造数据湖仓奠定了基础,郭亮透露:“我们数字资产产品未来的方向是caas(内容即服务),nagarro会继续加深和亚马逊云科技的合作,进一步深度挖掘数据潜力。我们也希望亚马逊云科技能推出更多更好的功能,为我们节省成本,提供更好的服务。”
二、专门构建——满足多样化的上云需求
如今,数据类型多种多样,既有云原生应用产生的数据,也有传统应用产生的数据,而这两类应用所需要的云存储服务也不尽相同。
针对云原生现代化应用,企业客户可以使用云原生serverless文件存储amazon efs,获得简单、无管理成本、海量弹性扩展、高度集成、自动优化的体验。
针对erp等传统的企业级应用,如果应用上云时需要按照云存储产品的接口重新改写代码,没有企业用户愿意这样做,保证兼容性对企业和云厂商而言都是非常重要的工作。为此,针对erp/crm、数据库、自动驾驶、混合云等云端企业级应用,亚马逊云科技提供了amazon ebs io2 bx和amazon fsx系列服务,前者为运行在线下数据中心san存储上的应用而设计,而后者是为各类企业应用而专门构建的共享文件存储。
考虑到不同行业、各类不同的业务场景对共享存储的不同要求,亚马逊云科技将企业应用分为四个类别:一是以windows为主的应用,底层服务要完全满足windows的环境,包括acl文件访问控制权限,以及active directory兼容等;二是高性能计算,对整个存储的性能和吞吐率有着非常高的要求;三是各类企业应用,上云时必须完美的兼容和支持之前的功能;四是大数据环境,往往需要高吞吐、低延时等凯发在线的技术支持。
为满足以上四类场景的不同需求,亚马逊云科技专门构建了一个场景化应用fsx家族,目前可提供四种amazon fsx产品:一是amazon fsx for windows;二是为支持高性能计算特别设计的amazon fsx for lustre;三是全方位、全托管的云上存储amazon fsx for netapp ontap,可支持各类企业应用;四是面向大数据分析linux工作负载而设计的amazon fsx for openzfs,提供高达1百万iops ,而延迟仅有几百微秒,非常适合运行机器学习、音视频实时处理等数据密集型的工作负载。
陈晓建提到:全球领先的风电智能化服务商金风慧能采用亚马逊云科技的hpc集群和amazon fsx for lustre高性能共享文件系统,在一周内完成气象预测系统搭建,整个系统让金风慧能的气象数据计算时间缩短了1/3, 每年节约了70%的成本,并且大大简化了运维过程。
ontap是联想凌拓母公司之一netapp的文件存储系统,联想凌拓产品管理与营销高级总监林佑声在会上提到:“联想凌拓专注于智能数据管理领域,帮助客户最大限度地挖掘数据价值。ontap及其数据管理功能在许多关键工作任务中发挥着不可或缺的作用。我们通过amazon fsx for netapp ontap,将netapp广受信赖的文件存储和数据管理能力带到了亚马逊云科技上。由亚马逊云科技支持、运行和销售的全面托管服务,让客户能够轻松地将ontap的强大功能部署于几乎所有应用程序。”
全球领先的物流提供商嘉里物流采用amazon fsx for netapp ontap公有云方案, 通过系统自带的snapmirror功能,快速把线下数据中心netapp ontap的数据迁移到亚马逊云科技上,在云上,利用amazon fsx for ontap snapshots 做跨区域灾备,实现关键数据的快速备份保护,并利用亚马逊云科技实现存储空间和备份空间的按需使用,随时扩容;同时也免除了复杂的管理开销,方便的实现了业务数据在各个国家不同部门之间的安全快速共享,提升了嘉里物流业务系统的安全性和可靠性。
三、统一数据保护——一站式数据备份服务
为了保障业务的连续性以及数据安全,企业对数据备份的重视程度越来越高,然而很多数据备份系统十分复杂,大多数企业都面临着管理复杂、安全合规以及成本高昂三大挑战。
为有效解决以上三大挑战,亚马逊云科技将amazon backup扩展至amazon s3和vmware工作负载,让客户使用统一的数据保护策略,即可配置、管理和监督数据的备份与恢复。amazon backup 一站式备份服务现已支持15种以上的数据源备份,包括全部的存储服务(块、文件、对象),以及各类数据库,计算和存储网关。
为降低备份管理的复杂度,amazon backup一站式备份服务提供图形化管理控制台,帮助用户简化备份管理,降低了整体运维的成本,同时用户还可以通过预设的备份策略进行自动化备份,从而大幅降低手动备份可能带来的诸多问题。
在安全合规方面,amazon backup深度集成了亚马逊云科技自带的kms数据加密服务,备份操作权限和数据访问权限都可以通过iam进行细颗粒度监控,可满足个人信息安全规范、等保等安全合规要求。此外,利用amazon backup的集中数据备份,以及备份库锁定功能,可有效防止勒索病毒的攻击,将生产数据备份到备份库,设置备份库锁定功能,病毒或恶意操作都无法改变或者删除备份库中的数据。
据悉,澳大利亚领先的独立石油和天然气生产商santos起初将数据放在块存储服务amazon ebs上,通过amazon lambda脚本做手动备份,但是随着业务的发展,数据量激增,手动备份的时间越来越长,整个备份的成功率只有80%左右。经过再三考量,santos选择amazon backup,通过自动设定备份策略在后台由系统进行备份,极大减轻了it人员的工作负担,不仅备份时间减少了80%,相关运营成本也降低了50%,最重要的是,备份任务的成功率从 80% 提高到 100%,完全满足了企业数据的合规需求。
助力全球各行业用户开展业务创新
陈晓建提到:“亚马逊云科技存储服务已经成为it行业的‘水’和‘电’,让各行各业的业务都能从存储服务中获得价值。”据悉,亚马逊云科技存储服务覆盖制造业、化工、媒体、社交网站、视频、汽车、航空航天等行业,广泛服务于全球各地、各个行业、各个规模的企业客户,同时为国内嘉里物流、金风慧能、苏泊尔、oppo、首汽约车,中集集团、金蝶,桐树基因、我爱我家等客户提供广泛存储服务。