亞馬遜第三代服務(wù)器芯片來了!機(jī)器學(xué)習(xí)負(fù)載性能飆3倍,能耗降60%
作者 | 心緣
編輯 | 漠影
芯東西12月1日?qǐng)?bào)道,今日凌晨,云計(jì)算領(lǐng)域最受矚目的年度技術(shù)盛會(huì)AWS re:Invent在拉斯維加斯舉行。這是時(shí)隔兩年,re:Invent再度在線下舉辦。今年也是AWS re:Invent十周年和全球最大云服務(wù)商亞馬遜云科技(AWS)的十五周年。AWS首席執(zhí)行官Adam Selipsky在主題演講中首先分享了AWS的最新成績,包括Amazon S3服務(wù)存儲(chǔ)了3萬億多份文件、AWS提供逾200種服務(wù)、在全球有數(shù)百萬客戶等。期間,AWS發(fā)布其第三代自研服務(wù)器處理器Graviton3、基于AWS自研云端AI訓(xùn)練芯片的加速實(shí)例Trn1、讓開發(fā)小白也能輕松上手機(jī)器學(xué)習(xí)預(yù)測(cè)模型的Amazon SageMaker Canvas、用于輕松構(gòu)建數(shù)字孿生的AWS IoT TwinMaker等一系列重磅新品。值得一提的是,這是Adam Selipsky接任AWS首席執(zhí)行官一職以來,首次在線下發(fā)表公開演講。在原AWS負(fù)責(zé)人Andy Jassy接替Jeff Bezos擔(dān)任亞馬遜CEO后,曾為AWS效力11年的Selipsky成為AWS新的掌舵人。
Graviton3:機(jī)器學(xué)習(xí)負(fù)載性能提高3倍
AWS首先推出其第三代基于Arm的自研服務(wù)器處理器Graviton3。相比上一代處理器,Graviton3的計(jì)算性能可提高25%,浮點(diǎn)和加密工作負(fù)載性能提高2倍,機(jī)器學(xué)習(xí)工作負(fù)載性能提高3倍,其消耗能源將減少60%。
Graviton3處理器還包括一項(xiàng)新的指針身份驗(yàn)證功能以提高安全性。AWS正與操作系統(tǒng)及編譯器開發(fā)人員合作,以增加對(duì)該功能的額外支持。AWS在2018年底推出其首款自研Graviton處理器,2019年推出第二代Graviton2,如今AWS客戶可使用12種由Graviton2驅(qū)動(dòng)的不同實(shí)例。新款Graviton3芯片將為AWS即將推出的EC2 C7g實(shí)例提供支持,適用于HPC、批處理、電子設(shè)計(jì)自動(dòng)化(EDA)、媒體編碼、科學(xué)建模、廣告服務(wù)、分布式分析和基于CPU的機(jī)器學(xué)習(xí)推理等計(jì)算密集型工作負(fù)載。C7g實(shí)例也是云產(chǎn)業(yè)中第一個(gè)配備DDR5內(nèi)存的實(shí)例。除了耗電量更少外,其內(nèi)存將提供比上一代EC2實(shí)例中使用的DDR4內(nèi)存高50%的帶寬。在網(wǎng)絡(luò)方面,C7g實(shí)例將提供高達(dá)30Gbps的網(wǎng)絡(luò)帶寬和彈性結(jié)構(gòu)適配器(EFA)支持。目前AWS正在運(yùn)行C7g實(shí)例的預(yù)覽。Selipsky說,現(xiàn)在幾乎每個(gè)工作負(fù)載都有超過475種不同的實(shí)例類型可用。
推出Trn1新實(shí)例,加速機(jī)器學(xué)習(xí)模型訓(xùn)練
除了服務(wù)器芯片外,AWS早在2019年就發(fā)布其自研云端推理芯片,并于2020年推出其專為機(jī)器學(xué)習(xí)模型設(shè)計(jì)的自研云端訓(xùn)練芯片Trainium。今日,AWS公布其由Trainium芯片提供支持的最新實(shí)例Trn1?!拔覀兿M転樵谠贫擞?xùn)練深度學(xué)習(xí)模型提供最佳的性價(jià)比,并在EC2上提供最快的性能?!盨elipsky說。Trn1是第一個(gè)每秒帶寬高達(dá)800千兆字節(jié)的EC2實(shí)例,適用于大規(guī)模、多節(jié)點(diǎn)分布式訓(xùn)練用例,包括圖像識(shí)別、自然語言處理、欺詐檢測(cè)和預(yù)測(cè)等等。
Selipsky談道:“我們可以將這些與Ultra集群聯(lián)系起來,這些集群由數(shù)萬個(gè)與兆字節(jié)規(guī)模網(wǎng)絡(luò)互聯(lián)的訓(xùn)練加速器組成。這些訓(xùn)練Ultra集群由強(qiáng)大的機(jī)器學(xué)習(xí)超級(jí)計(jì)算機(jī)提供支持,用于快速訓(xùn)練有數(shù)萬億參數(shù)的最復(fù)雜、最深的學(xué)習(xí)模型。”早在2014年,亞馬遜就已成立芯片研發(fā)部門,并于次年收購以色列芯片設(shè)計(jì)公司Annapurna Labs。迄今AWS已公布其三個(gè)系列的自研芯片,除了前文所述的Arm服務(wù)器芯片、用于機(jī)器學(xué)習(xí)加速的云端訓(xùn)練及推理芯片之外,還有替CPU分擔(dān)工作負(fù)載的AWS Nitro系統(tǒng)芯片。
Mainframe Modernization:讓客戶盡快“擺脫”主機(jī),遷移上云
隨后,Selipsky宣布了一款主機(jī)遷移和現(xiàn)代化新平臺(tái)AWS Mainframe Modernization,旨在幫助AWS客戶盡快“擺脫”主機(jī),以便更好地利用云。今天,客戶擺脫主機(jī)束縛的方法有幾種,要么幾乎原樣調(diào)整應(yīng)用程序,要么可能會(huì)將應(yīng)用程序重構(gòu)和分解為云端的微服務(wù)。但這兩種方式都要耗費(fèi)相當(dāng)長的時(shí)間來完成,因?yàn)榭蛻舯仨氃u(píng)估應(yīng)用程序源代碼的復(fù)雜性,了解對(duì)其他系統(tǒng)的依賴性,轉(zhuǎn)換或重新編譯代碼,然后必須測(cè)試所有內(nèi)容,以確保一切正常。而AWS Mainframe Modernization能幫助企業(yè)以比以往低得多的成本,更快地在AWS上遷移、現(xiàn)代化和運(yùn)行主機(jī)工作負(fù)載。使用其一套開發(fā)、測(cè)試和部署工具以及兼容主機(jī)的運(yùn)行時(shí)環(huán)境,它可以將主機(jī)工作負(fù)載移動(dòng)到云端所需的時(shí)間縮短多達(dá)2/3。
該解決方案還將幫助客戶評(píng)估分析他們的主機(jī)應(yīng)用程序是否就緒,然后幫助他們選擇要走的路徑并制定計(jì)劃。許多公司可能希望在云上運(yùn)行一些應(yīng)用程序,并希望其中的一些實(shí)際AWS使用相同的API、硬件和工具,由AWS全面管理和支持。
AWS Private 5G:幾天構(gòu)建專用移動(dòng)網(wǎng)絡(luò)
面向5G通信,AWS推出AWS Private 5G,一種可在幾天內(nèi)即可輕松構(gòu)建和擴(kuò)展專用移動(dòng)網(wǎng)絡(luò)的新服務(wù)。
以往部署專用移動(dòng)網(wǎng)絡(luò),需投入大量時(shí)間、金錢和精力來設(shè)計(jì)其網(wǎng)絡(luò),以實(shí)現(xiàn)預(yù)期的峰值容量,并從多個(gè)供應(yīng)商采購和集成軟件和硬件組件。即便客戶能夠運(yùn)行網(wǎng)絡(luò),當(dāng)前的專用移動(dòng)網(wǎng)絡(luò)定價(jià)模型也會(huì)對(duì)每臺(tái)連接的設(shè)備收費(fèi),并使涉及數(shù)千臺(tái)連接設(shè)備的用例成本高昂。而使用AWS推出的這項(xiàng)新服務(wù),用戶只需告知想在哪里構(gòu)建網(wǎng)絡(luò),并指定網(wǎng)絡(luò)容量,AWS就會(huì)提供所有必要的硬件、軟件和SIM卡。其自動(dòng)配置功能使得用戶可按需連接盡可能多的設(shè)備。AWS Private 5G簡化了部署,允許客戶快速部署自己的4G/LTE或5G,可快速擴(kuò)大和減少連接的設(shè)備數(shù)量,并受益于熟悉的按需云定價(jià)模型。該服務(wù)沒有前期費(fèi)用或每臺(tái)設(shè)備成本,客戶僅支付他們要求的網(wǎng)絡(luò)容量和吞吐量。總體而言,用戶無需漫長的規(guī)劃周期、復(fù)雜的集成和高昂的前期成本,即可享用到移動(dòng)技術(shù)的所有優(yōu)點(diǎn)。
Amazon SageMaker Canvas:零經(jīng)驗(yàn)小白也能玩轉(zhuǎn)機(jī)器學(xué)習(xí)
Selipsky也談到機(jī)器學(xué)習(xí),他說AWS提供了周圍最廣泛和最完整的機(jī)器學(xué)習(xí)功能集,希望通過AWS Sagemaker推動(dòng)機(jī)器學(xué)習(xí)普及。今日,AWS又推出一項(xiàng)新的可視化、無代碼機(jī)器學(xué)習(xí)服務(wù)Amazon SageMaker Canvas。
與其現(xiàn)有的機(jī)器學(xué)習(xí)服務(wù)不同,這里的目標(biāo)受眾不是高度技術(shù)性的數(shù)據(jù)科學(xué)家和工程師,而是企業(yè)內(nèi)部的任何工程師或業(yè)務(wù)用戶。Amazon SageMaker Canvas使得沒有任何經(jīng)驗(yàn)的用戶,無需編寫任何代碼,只需用鼠標(biāo)點(diǎn)擊拖拽,即可創(chuàng)建機(jī)器學(xué)習(xí)預(yù)測(cè)模型。該服務(wù)得到了AWS完全托管的機(jī)器學(xué)習(xí)服務(wù)SageMaker的支持,可用于解決欺詐檢測(cè)、減少流失和庫存優(yōu)化等業(yè)務(wù)關(guān)鍵型用例。
4項(xiàng)基于云的分析服務(wù)
AWS提供有大量分析工具來幫助客戶挖掘數(shù)據(jù),并宣布推出Amazon Redshift、EMR、MSK和Kinesis等四項(xiàng)基于云的分析服務(wù),它們現(xiàn)可作為無服務(wù)器和按需服務(wù)提供。
Selipsky提到不同的工作負(fù)載需要正確的數(shù)據(jù)庫來支持它們,分析服務(wù)也是如此??蛻舨幌霌?dān)心運(yùn)行這些服務(wù)帶來的基礎(chǔ)設(shè)施,除了省去管理集群的麻煩外,用戶只需為其使用的資源付費(fèi)。AWS推出了數(shù)字程序AWS技能生成器,并在Amazon.com上提供學(xué)習(xí)云技能,以及AWS重新/啟動(dòng)程序,以幫助剛開始上云的用戶。“Amazon Redshift Serverless會(huì)自動(dòng)為您準(zhǔn)備正確的計(jì)算資源?!盇WS的Danilo Poccia解釋說:“隨著更多并發(fā)用戶和新工作負(fù)載的發(fā)展,您的數(shù)據(jù)倉庫會(huì)自動(dòng)無縫擴(kuò)展以適應(yīng)變化。您可以選擇指定基本數(shù)據(jù)倉庫大小,以額外控制成本和應(yīng)用程序特定的SLA?!?/span>同樣,AWS處理流數(shù)據(jù)的服務(wù)Kinesis現(xiàn)在提供完全托管的按需模式。使用此新容量模式,服務(wù)可以根據(jù)數(shù)據(jù)流量自動(dòng)擴(kuò)展。為了方便企業(yè)訪問所需數(shù)據(jù),Selipsky展示了Amazon QuickSight Q功能如何提供儀表板以有用的方式顯示數(shù)據(jù)。
AWS Lake Formation:構(gòu)建安全的數(shù)據(jù)湖
AWS Lake Formation是一個(gè)非常重要的安全提升,允許限制對(duì)特定行和列的訪問,并僅向授權(quán)用戶自動(dòng)過濾和顯示數(shù)據(jù)。建立和管理數(shù)據(jù)湖涉及許多人工、復(fù)雜和耗時(shí)的任務(wù)。相比以往動(dòng)輒花費(fèi)數(shù)周或幾個(gè)月的時(shí)間,采用AWS Lake Formation,幾天就能輕松地建立一個(gè)安全的數(shù)據(jù)湖。
Selipsky分享了一些新特性,可簡化進(jìn)一步的數(shù)據(jù)加載、優(yōu)化存儲(chǔ)和管理對(duì)數(shù)據(jù)湖的訪問:一個(gè)是Governed Tables。這是一種新型的Amazon S3表,使得在任何規(guī)模下攝取和管理數(shù)據(jù)變得簡單和可靠。它可以自動(dòng)管理沖突和錯(cuò)誤,確保用戶視圖一致,并無需自定義錯(cuò)誤處理代碼或批處理更新。當(dāng)啟動(dòng)為Governed Tables提供自動(dòng)壓縮的存儲(chǔ)優(yōu)化選項(xiàng)時(shí),用戶無需自定義ETL作業(yè),這些作業(yè)讀取、合并和壓縮數(shù)據(jù)到新文件中,然后替換原始文件。還有具有行和單元級(jí)安全性的粒度訪問控制,用戶可根據(jù)執(zhí)行操作的身份控制對(duì)查詢結(jié)果和AWS Glue ETL作業(yè)中的特定行和列的訪問。AWS IoT TwinMaker:輕松構(gòu)建數(shù)字孿生
最后出場(chǎng)的是一項(xiàng)名為AWS IoT TwinMaker的新服務(wù),可用于輕松創(chuàng)建和使用現(xiàn)實(shí)世界系統(tǒng)的數(shù)字孿生。數(shù)字孿生是建筑物、工廠、生產(chǎn)線和設(shè)備等事物的虛擬表示,它們定期更新現(xiàn)實(shí)世界數(shù)據(jù),以模仿其所代表系統(tǒng)的行為。有了這項(xiàng)新服務(wù),用戶無需將數(shù)據(jù)移動(dòng)到單個(gè)存儲(chǔ)庫中,便可通過連接視頻提要和應(yīng)用程序等來源的數(shù)據(jù)來創(chuàng)建數(shù)字孿生。
另一個(gè)平臺(tái)AWS IoT FleetWise允許制造商從數(shù)百萬輛車中收集數(shù)據(jù),并易于在云中進(jìn)行分析。用戶可將內(nèi)置數(shù)據(jù)連接器用于這些服務(wù):AWS IoT FleetWise用于設(shè)備和時(shí)間序列傳感器數(shù)據(jù);Amazon Kinesis視頻流用于視頻數(shù)據(jù);Amazon Simple Storage Service(S3)用于存儲(chǔ)視覺資源(如CAD文件)和來自業(yè)務(wù)應(yīng)用程序的數(shù)據(jù)。
AWS IoT TwinMaker還提供了一個(gè)框架以創(chuàng)建自己的數(shù)據(jù)連接器,與其他數(shù)據(jù)源(如Snowflake和Siemens MindSphere)一起使用。一旦創(chuàng)建了數(shù)字孿生,用戶可能會(huì)希望在物理環(huán)境中可視化數(shù)據(jù)。為了解決這個(gè)問題,AWS IoT TwinMaker創(chuàng)建了一個(gè)數(shù)字孿生圖,它結(jié)合了用戶物理系統(tǒng)的虛擬表示和連接的數(shù)據(jù)源之間的關(guān)系。這允許用戶準(zhǔn)確建模他們的現(xiàn)實(shí)世界環(huán)境。用戶可以導(dǎo)入現(xiàn)有的3D模型來排列物理空間的3D場(chǎng)景。從那里,用戶也可以添加交互式視頻和傳感器數(shù)據(jù)覆蓋,以及來自連接機(jī)器學(xué)習(xí)服務(wù)的見解。該服務(wù)附帶了Amazon Managed Grafana的插件,這是Grafana Labs開放儀表板和可視化平臺(tái)的托管服務(wù)。
結(jié)語:云正為更多企業(yè)提供轉(zhuǎn)型的關(guān)鍵途徑
在過去的15年里,云計(jì)算作為新興技術(shù)革命的核心驅(qū)動(dòng)力,正為越來越多的企業(yè)提供了實(shí)現(xiàn)轉(zhuǎn)型的關(guān)鍵途徑?!拔覀儾艅倓傞_始,”Selipsky提到只有5-15%的支出轉(zhuǎn)移到云端,因此有一個(gè)很大的機(jī)會(huì)到來,5G和物聯(lián)網(wǎng)也變得非常重要。在演講期間,Selipsky還宣布,AWS正在為培訓(xùn)盡一份力,希望到2025年培訓(xùn)29萬個(gè)云技能工人,以應(yīng)對(duì)云相關(guān)工作的爆發(fā)式增長。
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。