速途網12月1日訊（報道：喬志斌）日前，亞馬遜云科技在2022?re:Invent全球大會上宣布，推出三款分別由三種新的自研芯片支持的Amazon Elastic Compute Cloud（Amazon EC2）實例，為客戶廣泛的工作負載提供更高性價比。Hpc7g實例配備了Amazon自研的最新 Graviton3E處理器，與當前一代C6gn實例相比浮點性能提高了2倍，與當前一代Hpc6a實例相比性能提高了20%，為亞馬遜云科技上的高性能計算工作負載提供了超高性價比。配備了新一代Amazon Nitro的C7gn實例，與當前一代網絡優化型實例相比，為每個CPU提供了多達2倍的網絡帶寬，同時將每秒數據包轉發性能提升50%，為網絡密集型工作負載提供了超高的網絡帶寬、數據包轉發性能和性價比。Inf2實例配備了Amazon自研的最新Inferentia2機器學習加速推理芯片，是專門為運行多達1,750億個參數的大型深度學習模型而構建的，與當前一代Inf1實例相比可提供高達4倍的吞吐量，降低多達10倍的延遲，以最低的成本為Amazon EC2上的機器學習推理提供最低延遲。
Amazon EC2 C7gn實例 (圖片來源：Business Wire)
亞馬遜云科技擁有十多年芯片設計經驗，在云中以更低成本實現更高的性能和可擴展性。十多年來，亞馬遜云科技推出了多種定制化的芯片設計，幫助客戶運行要求更高的工作負載，包括更快的處理速度、更高的內存容量、更快的存儲輸入/輸出（I/O）和更高的網絡帶寬。亞馬遜云科技自2013年推出Amazon Nitro系統以來，已經開發了多個自研芯片，包括五代Nitro系統、致力于為各種工作負載提升性能和優化成本的三代Graviton芯片、用于加速機器學習推理的兩代Inferentia芯片，以及用于加速機器學習訓練的Trainium芯片。亞馬遜云科技在芯片設計和驗證的敏捷開發周期中使用基于云的電子設計自動化，這使團隊能夠更快地創新，更快地將芯片提供給客戶。實踐證明，亞馬遜云科技更現代化、更節能的半導體處理確保了芯片的快速迭代及交付。每推出一款新的芯片，亞馬遜云科技都進一步提升了這些芯片支持的Amazon EC2實例的性能、效率以及更優化的成本，為客戶提供了更多的芯片和實例組合選擇，針對他們獨特的工作負載進行了優化。
亞馬遜云科技Amazon EC2副總裁David Brown表示：“從Graviton到Trainium、Inferentia再到Nitro，亞馬遜云科技每一代自研芯片都為客戶的各種工作負載提供更高的性能、更優化的成本和更高的能效。我們不斷推陳出新讓客戶獲得卓越的性價比，這也一直驅動著我們的持續創新。我們今天推出的Amazon EC2實例為高性能計算、網絡密集型工作負載和機器學習推理工作負載提供了顯著的性能提升，客戶有了更多的實例選擇來滿足他們的特定需求。”
Hpc7g實例專為在Amazon EC2上大規模運行高性能計算工作負載提供超高性價比
很多領域的組織需要依靠高性能計算來解決復雜的學術、科學和商業問題。當前，眾多客戶如阿斯利康、F1一級方程式賽車、Maxar Technologies等在亞馬遜云科技上借助其提供的卓越的安全性、可擴展性和彈性，運行傳統的高性能計算工作負載，包括基因組學處理、計算流體動力學和天氣預報模擬等。工程師、研究人員和科學家使用Amazon EC2網絡優化型實例（如C5n、R5n、M5n和C6gn）運行高性能計算工作負載，這些實例提供了近乎無限的計算能力和服務器之間的高網絡帶寬，實現數千個內核處理和交換數據。雖然這些實例的性能足以滿足目前大多數高性能計算場景，但人工智能和自動駕駛汽車等新興應用需要高性能計算優化實例，可以擴展到數萬個甚至更多的內核，進一步解決難度系數持續增加的問題并降低高性能計算工作負載的成本。
Hpc7g實例由新的Amazon Graviton3E芯片提供支持，為客戶在Amazon EC2上的高性能計算工作負載（如計算流體動力學、天氣模擬、基因組學和分子動力學等）提供了超高的性價比。與采用Graviton2處理器的當前一代C6gn實例相比，Hpc7g實例的浮點性能提高了2倍，與當前一代Hpc6a實例相比性能提高了20%，讓客戶能夠在多達數萬個內核的高性能計算集群中進行復雜的計算。Hpc7g實例還提供高內存帶寬和200Gbps的EFA?（Elastic Fabric Adapter，彈性結構適配器）網絡帶寬，可以更快的運行并完成高性能計算應用。客戶可以通過開源的集群管理工具Amazon ParallelCluster使用Hpc7g實例，與其它實例類型一起配置Hpc7g實例，這讓客戶在同一個高能性計算集群中靈活運行不同的工作負載類型。
C7gn實例為網絡密集型工作負載提供極佳性能，具有更高的網絡帶寬、更高的數據包轉發性能和更低的延遲
客戶使用Amazon EC2網絡優化型實例運行其要求極其嚴苛的網絡密集型工作負載，如網絡虛擬化設備（包括防火墻、虛擬路由器和負載均衡器等）和數據加密業務等。客戶需要為這些工作負載擴展性能，以處理不斷增加的網絡流量來應對業務高峰，或者縮短處理時間為最終用戶提供更好的體驗。當前，為獲得更多的網絡吞吐量，客戶采用更大型號的實例，部署遠高于需求的計算資源，導致成本增加。這些客戶為減少數據處理時間，需要更高的數據包轉發性能、更高的網絡帶寬以及更快的加密性能。
C7gn實例采用新的、具有網絡加速功能的第五代Nitro，在Amazon EC2網絡優化型實例中具有最高的網絡帶寬和數據包處理性能，而且功耗更低。Nitro卡將主機CPU的I/O功能卸載到專門的硬件并進行加速，將Amazon EC2實例的所有資源幾乎都提供給客戶的工作負載，從而以更低的CPU利用率實現更穩定的性能。新款Amazon Nitro卡使C7gn實例的每個CPU提供高達2倍的網絡帶寬，將每秒數據包處理性能提升50%，與當前一代網絡優化型Amazon EC2實例相比，進一步降低了EFA網絡延遲。與C6gn實例相比，C7gn實例提高了多達25%的計算性能及多達2倍的加密性能。第五代Nitro比第四代Nitro效能功耗比提升40%，進一步降低了客戶工作負載的能量消耗。C7gn實例通過擴展網絡性能和吞吐量以及減少網絡延遲，優化了客戶在Amazon EC2上要求最嚴苛的網絡密集型工作負載的成本。
Inf2實例專為部署當今最嚴苛的深度學習模型而設計，支持分布式推理和隨機舍入算法
為提供更好的應用或者更加定制的個性化體驗，數據科學家和機器學習工程師正在構建更大、更復雜的深度學習模型。例如，越來越普遍的超過1,000億個參數的大型語言模型（LLM），由于它們需要巨量的數據進行訓練，這推動了對計算需求的空前增長。雖然訓練備受大家關注，但在生產中運行機器學習，大部分的復雜性和成本卻在推理上（例如，每花1美元用于訓練，將有多達9美元用于推理），這限制了推理的使用并阻礙了客戶創新。客戶希望在其應用中大規模使用先進的深度學習模型，但卻受限于高額的計算成本。當亞馬遜云科技在2019年推出Inf1實例時，深度學習模型具有數百萬個參數。此后，深度學習模型的規模和復雜性呈指數級增長，甚至有些深度學習模型的參數增長了500倍，超過了數千億。致力于使用最先進的深度學習技術，開發下一代應用的客戶，希望擁有高性價比、高能效的硬件，實現低延遲、高吞吐量的推理以及靈活的軟件的支持，讓工程團隊能夠快速大規模地部署其業務創新。
Inf2實例，配備了Amazon自研的最新款Inferentia2機器學習加速推理芯片，可以運行高達1,750億個參數的大型深度學習模型（如LLM、圖像生成和自動語音檢測），同時在Amazon EC2上提供最低的單次推理成本。Inf2是第一個支持分布式推理的推理優化型Amazon EC2實例，該技術將大型模型分布在多個芯片上，為參數超過1,000億的深度學習模型提供極佳性能。Inf2實例支持隨機舍入，這種以概率方式進行四舍五入的方式與傳統的四舍五入相比，能夠提供更高的性能和更高的精度。Inf2實例支持廣泛的數據類型，包括可提高吞吐量并降低了每次推理功耗的CFP8，和可提升尚未利用到低精度數據類型模塊性能的FP32。客戶可以通過用于機器學習推理的統一軟件開發工具包Amazon Neuron開始使用Inf2實例。Amazon Neuron與PyTorch和TensorFlow等流行的機器學習框架集成，幫助客戶僅需少量代碼改動就能將現有模型部署到Inf2實例。由于大型模型需要多個芯片支持，芯片之間需要實現快速通信，Inf2實例支持亞馬遜云科技的實例內部高速互連技術NeuronLink，提供192GB/s的環形連接。與當前一代Inf1實例相比，Inf2實例提供了高達4倍的吞吐量，降低多達10倍的延遲，與基于GPU的實例相比，它的每瓦性能提升高達45%。
Arup（奧雅納）是一家由設計師、工程與可持續發展咨詢師、顧問和專家組成的全球性公司，致力于踐行可持續發展，并利用想象力、技術和嚴謹的態度來建造一個更美好的世界。“我們使用亞馬遜云科技的服務來運行高度復雜的模擬，幫助我們的客戶建造下一代高層建筑、體育場館、數據中心和關鍵基礎設施，同時對影響大家生活的城市微氣候、全球變暖和氣候變化進行評估并提供洞察。”?奧雅納高級工程師Sina Hassanli博士說，“我們的客戶希望能以更低的成本進行更快、更準確的模擬，以便在開發的早期階段為其設計提供信息。我們期待借助更高性能的Amazon EC2 Hpc7g實例，幫助我們的客戶實現更快、更有效的創新。”
Aerospike公司的實時數據平臺旨在幫助組織構建應用程序，以打擊欺詐、支持全球數字支付、為數千萬客戶提供超個性化的用戶體驗等。“Aerospike 實時數據平臺是一個無共享（shared-nothing）、多線程、多模態的數據平臺，旨在通過服務器集群高效運行，利用現代硬件和網絡技術，為PB級數據以亞毫秒的速度提供可靠地高性能。”Aerospike 首席產品官 Lenley Hensarling表示，“在我們最近的實時數據庫讀取測試中，我們很高興看到，采用新一代Amazon Nitro的 Amazon EC2 C7gn 實例與 C6gn 實例相比，每秒交易量顯著提升。我們期待著C7gn 實例以及未來更多亞馬遜云科技基礎設施提升帶給我們的諸多優勢。”
Qualtrics是一家設計和開發體驗管理軟件公司。“Qualtrics的重點是借助技術創新，縮小客戶、員工、品牌和產品之間的體驗差距。為實現這一目標，我們正在開發復雜的多任務、多模態的深度學習模型，包括文本分類、序列標記、話語分析、關鍵短語提取、主題提取、聚類以及端到端對話理解等。”Qualtrics 核心機器學習負責人 Aaron Colak 表示，“隨著我們在更多應用程序中使用這些復雜的模型以及非結構化數據量不斷增長，為給客戶提供最佳體驗，我們需要像Inf2 實例這樣性能更高的推理優化解決方案，來滿足我們的需求。我們很高興看到新一代 Inf2 實例的推出，它不僅讓我們實現更高的吞吐量，顯著降低延遲，而且還引入了分布式推理和支持增強的動態形狀輸入等功能。隨著我們部署更大、更復雜的模型，這將能進一步滿足我們對部署的更高要求。”
