AWS最強(qiáng)自研訓(xùn)練芯片炸場，還有新一代服務(wù)器CPU。

作者 |  芯東西編輯部
芯東西11月28日美國拉斯維加斯報(bào)道，北京時(shí)間11月29日凌晨，全球第一大公有云巨頭AWS（亞馬遜云科技）扔出了其生成式AI年終“王炸”。搖滾樂開場，AWS的CEO亞當(dāng)·塞利普斯基（Adam Selipsky）在一陣掌聲中登上re:Invent舞臺。

距離微軟和OpenAI聯(lián)盟的GPT-4新品“轟炸”過去還不到一個(gè)月，AWS緊接著放出了新的大招，從芯片、大模型平臺、AI應(yīng)用、生態(tài)合作等多個(gè)方面秀出“肌肉”：1、推出第四代自研服務(wù)器CPU芯片AWS Graviton4，相比三代處理速度快30%，能將處理大型Java應(yīng)用的速度提升45%。2、推出為生成式AI和機(jī)器學(xué)習(xí)訓(xùn)練設(shè)計(jì)的云端AI芯片AWS Trainium2，性能比上一代芯片提高到4倍，可提供65ExaFlops超算性能。3、英偉達(dá)創(chuàng)始人兼CEO黃仁勛到場，宣布英偉達(dá)與AWS達(dá)成戰(zhàn)略合作，針對生成式AI推出全新超級計(jì)算基礎(chǔ)設(shè)施、軟件及服務(wù)。4、推出生成式AI助手Amazon Q，支持聊天、生成內(nèi)容、編程、插件及定制開發(fā)，硬杠微軟Copilot。

▲現(xiàn)場展區(qū)展出了Amazon Q免費(fèi)體驗(yàn)的申請二維碼入口

5、數(shù)據(jù)分析平臺Amazon QuickSight、呼叫中心服務(wù)Amazon Connect等應(yīng)用接入Amazon Q，具備生成式AI能力。6、Amazon Bedrock大模型平臺三大升級：支持微調(diào)、知識庫RAG（檢索增強(qiáng)生成）和持續(xù)預(yù)訓(xùn)練，全面推出Amazon Bedrock Agent、安全產(chǎn)品Guardrails for Amazon Bedrock預(yù)覽版。7、S3對象存儲服務(wù)更新，推出新的高性能、低延遲層S3存儲類別Amazon S3 Express One Zone，比Amazon S3標(biāo)準(zhǔn)版快10倍，計(jì)算成本降低60%。8、推出4項(xiàng)Zero-ETL（提取、轉(zhuǎn)換、加載）集成功能，使跨數(shù)據(jù)存儲的數(shù)據(jù)訪問和分析更快、更容易。9、推出由生成式AI驅(qū)動的Amazon DataZone智能推薦功能，可生成數(shù)據(jù)資產(chǎn)及其模式的詳細(xì)說明。10、擴(kuò)大與OpenAI競爭對手Anthropic的合作，Claude大模型的早期訪問、自動定制和微調(diào)功能優(yōu)先提供給AWS客戶。11、全球最大藥企輝瑞擴(kuò)大與AWS的合作關(guān)系，輝瑞利用生成式AI每年減少了7.5億至10億美元的成本。今年4月，AWS推出了覆蓋IaaS（基礎(chǔ)設(shè)施即服務(wù)）、PaaS（平臺即服務(wù)）、SaaS（軟件即服務(wù)）的生成式AI“全家桶”，空降全球AI大模型競賽戰(zhàn)場。（《亞馬遜AIGC全家桶推出！迎戰(zhàn)微軟谷歌，云巨頭們殺瘋了》）彼時(shí)，微軟正憑借接入GPT-4的升級產(chǎn)品族風(fēng)頭正盛。AWS則扔出大模型開發(fā)平臺Amazon Bedrock、計(jì)算實(shí)例EC2 Trn1n實(shí)例和EC2 Inf2及AI編程伴侶CodeWhisperer等產(chǎn)品，亮出亞馬遜殺入生成式AI的第一槍。今天，AWS全面披露了亞馬遜生成式AI技術(shù)堆棧：底層基礎(chǔ)架構(gòu)層+中間基礎(chǔ)模型構(gòu)建工具層+上層基礎(chǔ)模型AI應(yīng)用層，版圖逐漸完整。

01.新一代服務(wù)器CPU、AI訓(xùn)練芯片來了！
支持?jǐn)?shù)萬億參數(shù)大模型訓(xùn)練

會上，AWS CEO塞利普斯基宣布推出第四代自研服務(wù)器CPU芯片AWS Graviton4、為生成式AI和機(jī)器學(xué)習(xí)訓(xùn)練設(shè)計(jì)的云端AI芯片AWS Trainium2。此前已有超過5萬個(gè)客戶使用Graviton。最新推出的Graviton4是AWS迄今最高能效的自研數(shù)據(jù)中心處理器，基于Arm架構(gòu)，相比Graviton3，處理速度快30%，內(nèi)核增加50%，內(nèi)存帶寬增加了75%，能將數(shù)據(jù)庫應(yīng)用提速40%，將處理大型Java應(yīng)用的速度提升45%。AWS客戶現(xiàn)可開始測試該處理器，由Graviton4支持的R8g實(shí)例已推出預(yù)覽版。

Trainium2芯片為擁有數(shù)千億甚至數(shù)萬億個(gè)參數(shù)的基礎(chǔ)模型訓(xùn)練做了優(yōu)化，性能比上一代芯片提高到4倍，內(nèi)存容量提高到3倍，能效提高到2倍。OpenAI的競爭對手、明星生成式AI獨(dú)角獸Anthropic計(jì)劃用Trainium2芯片構(gòu)建模型。

Trainium2將在Amazon EC2 Trn2實(shí)例中提供，單個(gè)實(shí)例中包含16個(gè)Trainium芯片，Trn2實(shí)例可幫助在下一代EC2 UltraCluster中擴(kuò)展到多達(dá)10萬個(gè)Trainium2芯片，通過搭配AWS Elastic Fabric Adapter (EFA) 網(wǎng)絡(luò)互連，提供65ExaFlops超算級性能。基于此，客戶只用幾周就能訓(xùn)練出有3000億個(gè)參數(shù)的大模型。AWS Neuron SDK被用于優(yōu)化跑在AWS自研訓(xùn)練芯片Trainium和推理芯片Inferentia的機(jī)器學(xué)習(xí)任務(wù)，支持主流AI框架。

AWS與英偉達(dá)宣布擴(kuò)大戰(zhàn)略合作。英偉達(dá)創(chuàng)始人兼CEO黃仁勛來到re:Invent大會現(xiàn)場，宣布AWS將支持英偉達(dá)最新推出的H200 GPU，并將托管一個(gè)特殊的計(jì)算集群供英偉達(dá)使用。

AWS是在云端配備英偉達(dá)GH200 Grace Hopper超級芯片的首家云大廠，雙方聯(lián)手推出首款結(jié)合Grace Hopper超級芯片與亞馬遜UltraCluster擴(kuò)展功能的云AI超級計(jì)算機(jī)，以及首次在AWS上提供首個(gè)配置GH200 NVL32的英偉達(dá)DGX Cloud AI訓(xùn)練即服務(wù)（能加速訓(xùn)練參數(shù)量超1萬億的生成式AI與大模型）。英偉達(dá)與AWS合作構(gòu)建的AI超級計(jì)算機(jī)Project Ceiba便部署在亞馬遜云科技上，配備GH200 NVL32與Amazon EFA互連技術(shù)，包括16384顆GH200超級芯片，能提供65ExaFlops AI算力。此外，AWS宣布其S3對象存儲服務(wù)推出重大更新：一種新的高性能、低延遲層S3存儲類別Amazon S3 Express One Zone，旨在為延遲敏感的應(yīng)用提供個(gè)位數(shù)、毫秒級的每秒數(shù)十萬次數(shù)據(jù)訪問。

Amazon S3 Express One Zone的數(shù)據(jù)訪問速度比Amazon S3標(biāo)準(zhǔn)版快10倍，請求成本降低50%，計(jì)算成本降低60%。以上從計(jì)算到存儲新品的發(fā)布，主要是AWS的底層基礎(chǔ)架構(gòu)層的能力更新，在其生成式AI技術(shù)堆棧中的位置如下圖所示。

02.Amazon Bedrock全家桶升級，
聯(lián)手OpenAI最強(qiáng)競對反擊微軟

今日，AWS對Amazon Bedrock生成式AI平臺完成了能力新升級。Amazon Bedrock平臺是亞馬遜4月推出、9月全面開放的大模型開發(fā)平臺，支持用戶調(diào)用來自亞馬遜自己的泰坦（Titan）模型，以及AI21 Labs、Anthropic、Stability AI等第三方的多樣化模型進(jìn)行調(diào)用和定制化開發(fā)。

1、Amazon Bedrock推出三個(gè)客制化功能塞利普斯基宣布，托管服務(wù)Amazon Bedrock今天推出三個(gè)客制化自定義功能：微調(diào)（Fine-tuning）、知識庫的RAG（檢索增強(qiáng)生成）、持續(xù)預(yù)訓(xùn)練。

通過微調(diào)，用戶可以提供私有的特定任務(wù)標(biāo)注訓(xùn)練數(shù)據(jù)集來提高模型的準(zhǔn)確性，進(jìn)一步使基礎(chǔ)模型（FM）專業(yè)化。Amazon Bedrock現(xiàn)在支持對Meta Llama 2、Cohere Command Light和Amazon Titan模型進(jìn)行微調(diào)。

Amazon Bedrock知識庫于今年9月推出預(yù)覽版，今日起全面開放。通過知識庫，用戶可以安全地將Amazon Bedrock中的基礎(chǔ)模型與公司的數(shù)據(jù)連接起來，并進(jìn)行檢索增強(qiáng)生成，訪問附加數(shù)據(jù)以生成更相關(guān)、更具體和更準(zhǔn)確的響應(yīng)，而無需不斷重新訓(xùn)練基礎(chǔ)模型。此外，從知識庫中檢索到的所有信息都會注明來源，以提高透明度并減少幻覺。

持續(xù)預(yù)訓(xùn)練可用于Amazon Titan Text模型的公開預(yù)覽版，包括Titan Text Express和Titan Text Lite。預(yù)訓(xùn)練完成后，用戶可以收到唯一的模型ID，定制模型將由Amazon Bedrock再次存儲。

2、全面推出Agents for Amazon BedrockAWS曾在今年7月推出Agents for Amazon Bedrock預(yù)覽版，今天，塞利普斯基宣布其全面上市。

借助Agents for Amazon Bedrock，用戶可以通過簡單的幾個(gè)步驟創(chuàng)建和部署完全托管式的Agent，通過動態(tài)調(diào)用API來執(zhí)行復(fù)雜的業(yè)務(wù)任務(wù)。Amazon Bedrock可以根據(jù)用戶提供的自然語言指令，如“你是專門處理未結(jié)理賠的保險(xiǎn)代理人”，完成任務(wù)所需的API架構(gòu)，并使用來自知識庫的私有數(shù)據(jù)來源詳細(xì)信息創(chuàng)建提示語。

Agents for Amazon Bedrock可將用戶請求的任務(wù)分解為較小的子任務(wù)，從而做出周密安排。例如，對于“向所有具有待處理文件的保單持有人發(fā)送提醒”，它會將任務(wù)分解成：獲取特定時(shí)間段的理賠，確定所需的文書工作，發(fā)送提醒。Agent會確定正確的任務(wù)順序，并處理中途出現(xiàn)的任何錯(cuò)誤狀況。

3、推出Guardrails for Amazon Bedrock預(yù)覽版AWS推出Guardrails for Amazon Bedrock預(yù)覽版，根據(jù)應(yīng)用程序需求和AI政策定制保障措施。Guardrails可以跨基礎(chǔ)模型，為所有應(yīng)用程序提供一致的AI安全級別，阻止生成式AI應(yīng)用程序中不需要的話題，根據(jù)AI政策過濾有害內(nèi)容等。

據(jù)稱，Amazon Bedrock平臺目前在全球各行業(yè)中已有超10000個(gè)客戶，包括阿迪達(dá)斯、納斯達(dá)克、雷克薩斯等眾多知名企業(yè)。

今日，AWS宣布擴(kuò)大與OpenAI強(qiáng)力競對Anthropic的合作。Bedrock客戶將擁有其他云所沒有的Anthropic旗下Claude大模型的早期訪問、自動定制和微調(diào)功能的特供功能。Anthropic由前OpenAI工程師于2021年創(chuàng)立，于近期推出了其聊天機(jī)器人Claude的2.1版本，支持20萬Tokens的超長上下文。Anthropic的CEO兼聯(lián)合創(chuàng)始人達(dá)里奧·阿莫迪（Dario Amodei）親臨了現(xiàn)場，他談道，Anthropic和AWS之間合作由三個(gè)部分組成：計(jì)算、客戶支持和硬件優(yōu)化。他們的目標(biāo)是為客戶提供定制模型、專有數(shù)據(jù)和獨(dú)特的微調(diào)功能，目前已基于AWS的服務(wù)在生物醫(yī)學(xué)、法律和金融行業(yè)有成功落地案例。與Anthropic擴(kuò)大合作無疑是AWS反擊微軟OpenAI聯(lián)盟的一記重拳。9月25日，亞馬遜與Anthropic宣布達(dá)成戰(zhàn)略合作，亞馬遜稱將向Anthropic投資至多40億美元，并擁有該公司的少數(shù)股權(quán)。

全球最大藥企輝瑞的首席數(shù)字與技術(shù)官莉迪亞·豐塞卡（Lidia Fonseca）也來到現(xiàn)場，并宣布擴(kuò)大與AWS的合作關(guān)系。豐塞卡稱，輝瑞于2019年開始，通過整合來自多個(gè)實(shí)驗(yàn)室和儀器的數(shù)據(jù)來組織其數(shù)字基礎(chǔ)設(shè)施，其與AWS的合作始于新冠疫情時(shí)期，“如果沒有與AWS的密切關(guān)系，我們不可能實(shí)現(xiàn)如此巨大的影響力”。她談道，公司在42周內(nèi)遷移了12000個(gè)應(yīng)用程序和8000臺服務(wù)器，退出三個(gè)數(shù)據(jù)中心轉(zhuǎn)而上云，并減少了4700噸二氧化碳排放——相當(dāng)于1000個(gè)家庭一年的能源使用量，這為輝瑞每年節(jié)省了4700萬美元。

這使得輝瑞在生產(chǎn)中的云計(jì)算使用率從10%提升到80%，輝瑞還計(jì)劃在其癌癥生產(chǎn)線上繼續(xù)依賴云計(jì)算。此外，使用云服務(wù)后，輝瑞的生產(chǎn)效率也得到提升。豐塞卡稱，其疫苗產(chǎn)量提高了20%，即每批次多生產(chǎn)約20000支疫苗，公司的疫苗年度產(chǎn)量從以往的2.2億支增加到2022年的40億支。豐塞卡還提到，利用生成式AI，輝瑞每年減少了7.5億至10億美元的成本。

03.硬剛微軟Copilot！AI助手Amazon Q亮相，三步完成定制

今日，AWS推出了一款新型生成式AI助手Amazon Q。它支持用戶輸入問題，從而進(jìn)行聊天、生成內(nèi)容及插件聯(lián)動。

AWS的客戶可以選用Amazon Q服務(wù)，通過提問的方式快速解答疑惑，有望節(jié)省大量的架構(gòu)和故障排除時(shí)間，并優(yōu)化工作負(fù)載。

對于開發(fā)者來說，Amazon Q嵌入了AI編程助手CodeWhisperer，將利用其對AWS的深入了解和對代碼庫的理解，幫助開發(fā)者提高開發(fā)效率。用戶只需編寫一個(gè)提示符，Amazon Q將會給出一個(gè)初版草案，然后用戶可以用自然語言對話進(jìn)行協(xié)作迭代。

這一功能目前在Amazon Code Catalyst可用，且不久后將向全部客戶開放。AWS稱用戶目前還無法從其他云廠商那獲取這一能力。Amazon Q的使用步驟非常簡單，大致分為三步：第一步，用戶可以通過連接結(jié)合自己的組織自定義Amazon Q，它目前支持Salesforce、微軟、谷歌、Slack等40多家公司的商業(yè)應(yīng)用程序開箱即用。

第二步，一旦連接，Amazon Q就會開始索引用戶的所有數(shù)據(jù)和內(nèi)容，學(xué)習(xí)有關(guān)業(yè)務(wù)的所有知識。

第三步，用戶幾乎不需要什么操作，只需在瀏覽器中打開完全定制的Amazon Q。這一智能助手知道用戶身份角色，能針對詳細(xì)問題給出量身定制的答案，并給出引用參考來源。

Amazon Q注重隱私和安全，其宣稱不會在外部共享用戶數(shù)據(jù)，也不會使用它來改進(jìn)基礎(chǔ)模型。此外，Amazon Q還通過一組可配置的插件支持用戶采取行動。

目前，亞馬遜旗下的數(shù)據(jù)分析平臺Amazon QuickSight已內(nèi)置了Amazon Q。業(yè)務(wù)分析師稱，通過簡單地告知Amazon Q他們想要可視化內(nèi)容，就可以創(chuàng)建儀表板和報(bào)告，耗時(shí)從幾小時(shí)縮短到了幾分鐘。QuickSight中的Amazon Q功能自今天起提供預(yù)覽版。亞馬遜的呼叫中心服務(wù)Amazon Connect也接入了Amazon Q。在傳統(tǒng)的聯(lián)絡(luò)中心，用戶往往會花費(fèi)大量時(shí)間收集客戶信息以了解他們的問題，然后花更多的時(shí)間尋找正確答案。但現(xiàn)在，Amazon Connect已通過機(jī)器學(xué)習(xí)、轉(zhuǎn)錄和分析使這變得更加容易，支持Agent在Amazon Connect中與Amazon Q聊天，幫助他們快速響應(yīng)客戶問題。

亞馬遜稱，這些應(yīng)用是Amazon Q落地的一個(gè)開始，亞馬遜生成式AI的技術(shù)堆棧全景圖如下所示。

04.數(shù)據(jù)庫推出4項(xiàng)Zero-ETL集成，
生成式AI自動化組織數(shù)據(jù)

要實(shí)現(xiàn)以上所有的功能，背后的數(shù)據(jù)尤為關(guān)鍵。為此，AWS宣布推出4項(xiàng)Zero-ETL（提取、轉(zhuǎn)換、加載）集成功能：Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL與Amazon Redshift數(shù)據(jù)庫的集成，以及Amazon DynamoDB與Amazon OpenSearch服務(wù)的Zero-ETL集成。新的Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL功能與Amazon Redshift數(shù)據(jù)庫的集成使用戶可以更輕松地連接和分析來自Amazon Redshift中多個(gè)關(guān)系型或非關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)，以進(jìn)行綜合分析。

Amazon DynamoDB與Amazon OpenSearch服務(wù)的Zero-ETL集成可實(shí)現(xiàn)幾乎實(shí)時(shí)的全文和矢量搜索，從而獲得跨多個(gè)應(yīng)用的整體洞察力，在提高運(yùn)營效率的同時(shí)降低成本。

AWS還宣布推出由生成式AI驅(qū)動的Amazon DataZone智能推薦功能，旨在大幅減少為組織數(shù)據(jù)提供上下文所需的時(shí)間。

該功能由Amazon Bedrock的模型提供支持，可生成數(shù)據(jù)資產(chǎn)及其模式的詳細(xì)說明，并提出分析用例。只需單擊一下，即可生成全面的業(yè)務(wù)上下文。

05.結(jié)語：對戰(zhàn)微軟OpenAI聯(lián)盟，
亞馬遜如何后發(fā)制人？

微軟和OpenAI聯(lián)盟風(fēng)頭正盛，全球第一大云巨頭也在年底面向AI再出一記重拳。雖然亞馬遜對這波生成式反應(yīng)相對慢一些，但其在IaaS、PaaS、MaaS、SaaS的布局卻一點(diǎn)不少，尤其在底層硬件、生態(tài)聚合方面表現(xiàn)突出。當(dāng)下，美國三大公有云服務(wù)巨頭AWS、微軟Azure、谷歌云都已將生成式AI置于重要戰(zhàn)略位置，試圖為增長疲軟的云業(yè)務(wù)找到新的成長曲線。AWS的打法有所區(qū)別，不是對AI公司及消費(fèi)級產(chǎn)品的重大投資，而是建立平臺匯聚眾多中小企業(yè)的模型，側(cè)重為大模型及終端客戶提供底層云基座，有望通過其海量客戶及底座規(guī)模實(shí)現(xiàn)后發(fā)制人。