云计算从出现到现在已经走过15年,云计算行业风向标——亚马逊在云计算也整整探索了15年。2021年进入re:Invent的第十个年头,亚马逊云计算再次为行业带来大量的创新技术和产品,今年亚马逊为re:Invent定义的主题是“探路者”,孜孜以求地不断探索也彰显出亚马逊在云计算的底气和霸气。综观2021 re:Invent的新技术和产品发布,可以梳理出亚马逊云科技自我定义的脉络:自研芯片、云无界、数据为王、聚焦行业应用以及低碳践行。这其中,亚马逊将云服务商的定义更近一步,如何做到和客户“责任共担模式”?在2021 re:Invent上推出的新产品和方案都拥有一个针对性,那就是如何提升云基础设施的利用效率以及如何更多地采用可再生能源支持业务运营。应该说,亚马逊云科技正在演绎一个探路者的故事。
亚马逊云科技大中华区产品部总经理顾凡
自研芯片厚积薄发
在re:Invent上,亚马逊云科技重磅推出了三项自研底层技术,包括:自研通用计算处理器、自研机器学习训练芯片和自研固态硬盘。 亚马逊云科技是云厂商里面最早做自研芯片的,自研芯片是需要时间和经验的积累,从2013年开始到现在,已经拥有Nitro、Graviton、人工智能机器学习自研芯片三条产品线。在通用计算处理器方面,亚马逊云科技推出新一代基于Arm的自研CPU处理器Amazon Graviton3,这是亚马逊云科技自研设计的第三颗CPU处理器。由Amazon Graviton3处理器支持的C7g实例与由 Graviton2 处理器支持的当前一代 C6g 实例相比,可将计算密集型工作负载性能提高多达25%。Amazon Graviton3处理器与Graviton2相比,为科学计算、机器学习和媒体编码工作负载提供高达2倍的浮点运算性能,为加密工作负载速度提升高达2倍,为机器学习工作负载提供高达3倍的性能。Amazon Graviton3处理器的能效也更高,在相同性能下,与同类型EC2实例对比,可节省高达60%的能源消耗。C7g实例是云中第一个采用最新DDR5内存的实例,与基于Amazon Graviton2的实例相比,它提高了50%的内存带宽,从而提高了科学计算等内存密集型应用的性能。
Trn1
基于去年推出的机器学习训练芯片Amazon Trainium,亚马逊云科技在今年的re:Invent上发布基于Trainium的实例——Trn1。Trn1为在Amazon EC2中进行深度学习模型训练提供最佳性价比以及最快的训练速度,与P4d实例相比,通过Trn1实例训练深度学习模型的成本降低多达40%。Trn1实例提供800Gbps EFA网络带宽(比最新基于GPU的EC2实例高两倍),并与Amazon FSx for Lustre高性能存储集成,让客户可以启动具有EC2 UltraClusters功能的Trn1实例。通过EC2 UltraClusters,开发人员可以将机器学习训练扩展到一万多个与 PB 级网络互连的 Trainium 加速器,让客户按需访问超算级性能,即便是最大型和最复杂的模型,训练时间也可以从几个月缩短到几天。
此外,亚马逊云科技还发布了采用全新Amazon Nitro SSD固态硬盘的Im4gn/Is4gen/ I4i实例,可为I/O密集型工作负载提供超高存储性能。通过自研的 Amazon Nitro SSD,Im4gn/Is4gen/I4i实例提供高达 30 TB 的 NVMe 存储,与上一代I3实例相比,I/O 延迟降低了 60%,延迟可变性降低了 75%,从而最大限度地提高了应用程序性能。Amazon Nitro SSD通过优化存储堆栈、虚拟化管理程序和硬件与Amazon Nitro 系统紧密集成。与使用商用SSD相比,亚马逊云科技同时管理Amazon Nitro SSDs的硬件和固件,使SSD更新交付速度更快,让客户可以从改进的功能中获益。Im4gn 实例(现已可用)采用 Amazon Graviton2 处理器,与 I3 实例相比,性价比提高多达 40%,每 TB存储成本降低多达 44%。Is4gen 实例(现已可用)也采用 Amazon Graviton2 处理器,与 I3en 实例相比,每 TB 存储成本降低多达 15%,计算性能提高多达 48%。
云无界
作为全球覆盖超级广泛的云,亚马逊云科技基础设施遍及25个地理区域的81个可用区,并计划新建9个区域和27个可用区,有14个本地扩展区域、17个Wavelength区域,有108个Direct Connect光纤直连站点,有310个边缘站点和13个区域缓存站点。在此基础上,亚马逊云科技宣布,2022年将在21个国家建设超过30个本地扩展区,让客户以更低的延迟服务其终端用户。亚马逊云科技2020年开始在美国建立了两个本地扩展区,2021年增加了12个本地扩展区。2022年,建立本地扩展区的步伐将进一步加大。
不仅如此,亚马逊云科技还通过一系列技术,将云延伸到亚马逊云科技的基础设施之外,包括Amazon Outposts、IoT 服务、Snow 家族服务,一直延伸到 Amazon Ground Station,让云扩展到了太空的卫星数据。Outposts将亚马逊云科技的云体验延伸到客户的本地数据中心,跟云端无缝连接。IoT服务、Snow家族将云的能力延伸到地球上各个角落。 Amazon Ground Station是卫星地面站服务,通过卫星地面站接收数据到亚马逊云科技区域进行处理。亚马逊云科技推出新的托管服务Amazon Private 5G,则是让企业方便利用5G专网来连接企业内的联网传感器和边缘设备,并且通过亚马逊云科技控制台统一管理。此外,亚马逊云科技还发布了新服务Amazon Cloud WAN,将亚马逊云科技全球网络的优势带给企业,让企业的广域网跟云融为一体。
数据为王
亚马逊云科技一直致力于把数据库、数据湖、数据分析、人工智能和机器学习更紧密地集成起来,让客户的整个数据旅程里享受全栈服务。”从大数据走向海量非结构化数据,事实上80%的数据是非结构化的。”亚马逊云科技为数据服务提供了完整的、端到端的工具,从数据存储、到计算、分析、人工智能创新。利用广泛而深入的云服务,凭借在数据领域的产品创新与前瞻眼光,亚马逊云科技将助力企业实施现代化的端到端数据战略,实现数据驱动的创新。
现代端到端数据战略有三个要素:
第一:数据架构现代化。不同的场景需要使用专门构建的工具,专门的工具需要专业的现代化托管平台。在已经很丰富的数据服务组合之上,亚马逊云科技又发布多个数据工具。Amazon DevOps Guru for RDS是一个数据库性能工具,它利用机器学习,可以在几分钟内自动检测、诊断和解决难以发现的数据库性能问题。Amazon RDS Custom 提供了 SQL Server支持,它通过托管式服务节省时间,帮助实现自动化版本维护与补丁升级,将宝贵的资源专注于更重要的业务。另外一个重要的发布是Amazon DynamoDB 的新功能Standard-Infrequent Access表类,它可以将不频繁访问的表数据进行分类,DynamoDB 的存储成本降低60%。Amazon Database Migration Service Fleet Advisor 是一个数据库迁移工具,它可以帮助客户选择最佳可用的计算实例和配置,用以部署机器学习模型,获得最佳的推理性能和成本,并且将过去数周才能完成的工作缩短到数小时。
第二:统一分析数据。通过云上专门工具实现数据有机整合与统一,帮助企业打破数据孤岛。亚马逊云科技为在 Amazon S3 上构建数据湖提供了强大的耐用性、可用性和可扩展性以及安全性和分析工具,使用亚马逊云科技最新发布的数据湖构建工具,可以快速构建适合的数据湖,Amazon Athena 提供了一种有用的方法来分析所有数据,获得见解。利用 Amazon QuickSight Q,客户可以快速、轻松地获得答案,所有用户无需培训即可访问 BI。
第三、基于数据进行业务创新。帮助数据进行创新的内核是“从客户角度出发”,企业植根于自身业务的创新诉求是创新的原动力,而人工智能等技术为创新提供了手段与方法。本次re:Invent,亚马逊云科技机器学习平台Amazon SageMaker又添六项新功能。亚马逊云科技新推出的Amazon SageMaker Ground Truth Plus,让用户无需编写任何代码即可快速交付高质量的训练数据集。数据是机器学习的燃料。不过,准备数据的过程令人沮丧甚至令人愤怒。有了这项新功能,极大地解决了数据科学家准备数据的痛点问题。在模型构建与算法编写环节,新推出的Amazon SageMaker Studio Notebook 允许用户访问广泛的数据源,在一个记事本中执行数据工程、分析和机器学习工作流。新推出的Training Compiler 模型训练编译器,让机器学习模型培训速度提高50%。Inference Recommender 模型推理推荐程序,可将部署时间从数周减少到数小时。Serverless Inference 无服务器推理,通过按使用付费的定价降低拥有成本。
云计算赋能行业创新
云计算深刻改变了一个事实,就是应用的开发者如何去看待底层的基础设施和各种平台资源。云计算发展到今天,在应用开发者的眼里,一切云计算的资源都是可以代码化的,都可以被编程。而这一切的基础就是亚马逊云科技从第一天就坚持的API文化,就是万物皆API。从2006年Amazon EC2由几个API就可以创建、注销计算资源,到15年后的今天,超过200多种的亚马逊云科技服务,有上千种API正在服务数百万个的客户,每天在自由地在云上构建。
在今年re:Invent发布中,为帮助客户最大限度实现数据价值,亚马逊云科技千方百计降低数据使用的门槛,把机器学习的能力交到数据科学家和工程师的手中,让更多的人掌握机器学习,让运维人员更好地去处理那些无差别的劳动,让行业用户更好地使用亚马逊云科技的云资源,更快地去掌握机器学习这门高门槛的技术。
无论是开发人员、运维人员、数据科学家、行业用户,还是即将进入云计算行业的初学者,亚马逊云科技都在不断推出新的服务和功能,降低他们的使用门槛。本次re:Invent上推出的很多新服务和新功能都具有这样的意图。前面介绍的QuickSight Q是一个例子。新推出的Amazon SageMaker Canvas又是另一个例子。它让业务分析师能够使用点击式界面生成更准确的机器学习预测,从而扩展了对机器学习的访问,无需编码。
新发布的Amazon SageMaker Studio Lab 是一项免费、无需配置的服务,开发者、学者和数据科学家,只要有创新的想法,立即就可以动手实践机器学习。它也让客户将能够专注于实践机器学习与数据科学,无需设置或配置任何环境与机器。为了将机器学习能力交到更多的人手中,亚马逊云科技还将通过DeepRacer冠军杯赛、培训与认证、机器学习大学、机器学习纳米学位等项目,计划到 2025 年全球培训 2900 万人。
低碳践行
在re:Invent上,亚马逊CTO Werner Vogels发布了亚马逊云科技架构完善(Well Architecture) 的第六个支柱:可持续发展,倡导用环保的最佳实践来学习、测量、改进云端计算工作负载。此前,亚马逊云科技架构完善有卓越运营、安全性、可靠性、性能效率、成本优化五个支柱。现在增加了可持续发展作为第六个支柱。
越来越多的构建者在构建云上应用时,将把低碳环保作为衡量因素,不是一味追求最高性能、最低延时、最高画质等等,而是在低碳环保跟性能、延时、画质等因素做一个最佳的平衡。全球权威调研机构——451 Research 的研究结果,亚马逊云科技运营的基础设施能源效率,是受调查的美国企业数据中心中位数的 3.6 倍。进一步调查来自法国、德国、爱尔兰、西班牙和瑞典各行各业的 300 多家公司。研究发现,亚马逊云科技的数据中心能源效率是普通欧盟公司的 5 倍。在亚马逊云科技运行商业应用的公司,可以减少近80%的能源消耗。如果将 1 兆瓦的典型工作负载转移到 亚马逊云科技,每年可以减少1000多公吨的碳排放。未来,亚马逊云科技还将推出一个碳足迹工具,帮助客户在云端追踪应用的碳排放足迹,让云上的低碳环保变得可衡量,以便更多的开发者和企业加入到低碳环保的行列中来。