在算力新時(shí)代，從通用計(jì)算到智算，CPU可以做更多，價(jià)值也更加凸顯。

作為一種基于人工智能（AI）技術(shù)的計(jì)算方式，其含義既包含了AI，還包含了對(duì)高性能算力的要求。

擁抱大模型不容易

ChatGPT的橫空出世拉開(kāi)了AI大模型的新時(shí)代，而近期的文生視頻模型SORA又讓業(yè)界為之激動(dòng)不已。據(jù)了解，Sora所需token（文本處理最小單位）數(shù)量相較于文本及圖片模型的推理呈數(shù)量級(jí)增長(zhǎng)。經(jīng)中信證券簡(jiǎn)單估算，對(duì)于一個(gè)60幀的視頻（約6至8秒），Sora要生成至少約120萬(wàn)個(gè)token，這是相當(dāng)大的計(jì)算量。

科技爆炸的背后需要算力膨脹來(lái)匹配，大型AI模型的興起帶來(lái)了對(duì)智能計(jì)算能力的積極需求，于是，我們看到業(yè)界在算力基礎(chǔ)設(shè)施方面進(jìn)行積極布局，芯片需求得到極大釋放，但是現(xiàn)實(shí)卻有點(diǎn)不盡如人意。

網(wǎng)上信息顯示，以O(shè)penAI在GPT-3模型為例，該模型擁有1750億個(gè)參數(shù)，需要龐大算力，訓(xùn)練成本高達(dá)1650萬(wàn)美元。使用GPT-3開(kāi)發(fā)的ChatGPT在推論方面的成本更高，每月燒掉4千萬(wàn)美元 。這不僅大大增加了企業(yè)成本，對(duì)地球資源、環(huán)境可持續(xù)發(fā)展性也可能產(chǎn)生影響。

被廣泛應(yīng)用于人工智能的訓(xùn)練、推理、科學(xué)計(jì)算等領(lǐng)域的GPU似乎成為頂流，并且愈發(fā)呈現(xiàn)出“一卡難求”的趨勢(shì)。但是對(duì)于實(shí)際的企業(yè)AI落地應(yīng)用而言，真的無(wú)法低成本擁抱大模型了嗎？業(yè)務(wù)場(chǎng)景的需求對(duì)AI算力要求幾何？如何挖掘現(xiàn)有算力潛能？

俗話(huà)說(shuō)，“自古華山一條道”，但是對(duì)于算力芯片卻不是，特別是對(duì)于大語(yǔ)言模型（以下簡(jiǎn)稱(chēng)：LLM）推理，CPU在某些場(chǎng)景下其實(shí)更適合。

為什么選擇CPU？

相比GPU，CPU此前在LLM的熱度表現(xiàn)并不算高，業(yè)界往往認(rèn)為CPU在AI時(shí)代已經(jīng)“過(guò)時(shí)”。

但事實(shí)并非如此。

大模型通常都分為訓(xùn)練和推理兩個(gè)階段，在訓(xùn)練環(huán)節(jié)需要處理海量數(shù)據(jù)，因此對(duì)算力性能要求較高；但推理階段不僅幾乎貫穿業(yè)務(wù)全流程，對(duì)算力的要求也沒(méi)有那么高，隨著CPU性能的提升，在部分場(chǎng)景下用CPU來(lái)完成AI推理工作對(duì)企業(yè)來(lái)說(shuō)是更加適合的選擇。

一方面，CPU資源更容易獲取，也不需要導(dǎo)入異構(gòu)硬件平臺(tái)，額外進(jìn)行相關(guān)人才的儲(chǔ)備，更容易實(shí)現(xiàn)廣泛部署；另外，充分利用現(xiàn)有IT設(shè)施有助于TCO（總體擁有成本）優(yōu)化，以用更低的成本實(shí)現(xiàn)更優(yōu)的性能表現(xiàn)。

其次，通過(guò)分布式的解決方案，能夠有效解決CPU計(jì)算速度的問(wèn)題。CPU甚至可以支持幾百GB的內(nèi)存，能夠輕松應(yīng)付甚至70B的LLM ，而且CPU的特性是通用和靈活，以及在軟件兼容性方面的多年積累，在承載和部署人工智能應(yīng)用工作負(fù)載方面更具優(yōu)勢(shì)。

這就是CPU的破局，選擇CPU進(jìn)行LLM探索逐漸成為企業(yè)的新選擇。

近年來(lái)，隨著大模型的迅速發(fā)展，光學(xué)字符識(shí)別（OCR）技術(shù)已成為L(zhǎng)LM的重要入口。亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺(tái)，實(shí)現(xiàn)了從FP32到INT8/BF16的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。將人工成本降至原來(lái)的1/5到1/9，效率還提升了約5-10倍。

深耕醫(yī)療行業(yè)多年，已幫助多家三甲醫(yī)院推進(jìn)信息化和數(shù)字化建設(shè)的衛(wèi)寧健康就選擇與英特爾合作，通過(guò)軟硬適配、優(yōu)化模型算法等手段，成功在CPU（第五代至強(qiáng)^? 可擴(kuò)展處理器）上提升了面向醫(yī)療垂直領(lǐng)域的大模型WiNGPT的性能，讓基于它的AI應(yīng)用的交付、部署和應(yīng)用更為高效便捷，能在任何一家已使用衛(wèi)寧WiNEX系統(tǒng)的醫(yī)院迅速上崗。

第五代至強(qiáng)^? 可擴(kuò)展處理器每個(gè)內(nèi)核均具備AI加速功能，無(wú)需添加獨(dú)立加速器，即可處理要求嚴(yán)苛的端到端AI工作負(fù)載。英特爾^? 高級(jí)矩陣擴(kuò)展（英特爾^? AMX）為矩陣運(yùn)算的加速提供了強(qiáng)大支持，可支持BFloat16和INT8兩種數(shù)據(jù)類(lèi)型，完全有能力處理要求嚴(yán)苛的AI工作負(fù)載。

相比同樣內(nèi)置AMX的第四代至強(qiáng)^? 可擴(kuò)展處理器，得益于自身在微架構(gòu)和整體性能上的提升，五代^? 至強(qiáng)的推理性能提升高達(dá)42%。

目前，LLM更多是云端部署，但是由于涉及隱私安全，本地部署LLM的需求也越發(fā)強(qiáng)烈。針對(duì)會(huì)議摘要、文章總結(jié)等離線(xiàn)場(chǎng)景，百億參數(shù)的LLM就可以完全勝任，CPU的性能就可以運(yùn)行，成本優(yōu)勢(shì)更加明顯，還能降低部署成本。

更強(qiáng)通用計(jì)算，兼顧AI加速

當(dāng)然，AI不是只有大模型， 英特爾^? 至強(qiáng)^? 可擴(kuò)展處理器除了持續(xù)在CPU加速AI這條路上深耕，也一直在持續(xù)挖掘CPU在通用計(jì)算領(lǐng)域的價(jià)值。

與前一代產(chǎn)品相比，第五代英特爾^? 至強(qiáng)^? 可擴(kuò)展處理器有高達(dá)1.84倍的平均性能提升，可在進(jìn)行通用計(jì)算時(shí)將整體性能提升高達(dá)21%，并在一系列客戶(hù)工作負(fù)載中將每瓦性能提升高達(dá)36%。

例如制造領(lǐng)域在高度精細(xì)且較為耗時(shí)的瑕疵檢測(cè)環(huán)節(jié)，部分企業(yè)就復(fù)用了既有的CPU平臺(tái)，構(gòu)建了橫跨“云-邊-端”的AI 缺陷檢測(cè)方案。為了達(dá)到更好的應(yīng)用效果，在使用計(jì)算機(jī)視覺(jué)方案之外，還可以融入深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的技術(shù)，構(gòu)建三者混合模式的方案。

星環(huán)科技則基于第五代至強(qiáng)^? 可擴(kuò)展處理器推出了Transwarp Hippo 分布式向量數(shù)據(jù)庫(kù)解決方案，實(shí)現(xiàn)了約2倍的代際性能提升，可有效滿(mǎn)足大模型時(shí)代海量、高維向量的存儲(chǔ)和計(jì)算需求。

數(shù)據(jù)作為AI三駕馬車(chē)之一，其重要性自然不言而喻。除了可用作向量數(shù)據(jù)庫(kù)這一種，對(duì)于處理數(shù)據(jù)時(shí)候可能涉及的邏輯運(yùn)算、內(nèi)存操作，第五代英特爾^? 至強(qiáng)^? 可擴(kuò)展處理器也可以提供充足的支持。它可以將壓縮/解壓縮和數(shù)據(jù)傳輸?shù)荣Y源密集型任務(wù)從CPU內(nèi)核卸載至內(nèi)置的英特爾^? 數(shù)據(jù)分析引擎，釋放數(shù)據(jù)分析和數(shù)據(jù)庫(kù)運(yùn)行的時(shí)鐘周期，以提高每秒事物處理量，用戶(hù)可以在每臺(tái)服務(wù)器上擴(kuò)展容量或運(yùn)行更多應(yīng)用。

結(jié)合第五代英特爾^? 至強(qiáng)^? 可擴(kuò)展處理器更快的內(nèi)存和更大的三級(jí)緩存，英特爾^? 存內(nèi)分析加速器（英特爾^? IAA）和英特爾^? 數(shù)據(jù)流加速器（英特爾^? DSA）能夠在提高查詢(xún)吞吐量的同時(shí)，進(jìn)行數(shù)據(jù)復(fù)制和轉(zhuǎn)換操作，從而實(shí)現(xiàn)內(nèi)存數(shù)據(jù)庫(kù)、大數(shù)據(jù)分析和數(shù)據(jù)倉(cāng)庫(kù)的性能提升。

AI對(duì)隱私計(jì)算的需求也在增加，英特爾^? 可信域擴(kuò)展（英特爾^? TDX）提供虛擬機(jī)（VM）層面的隔離和保密性，從而增強(qiáng)隱私性和對(duì)數(shù)據(jù)的管理。在基于英特爾^? TDX的機(jī)密虛擬機(jī)中，客戶(hù)機(jī)操作系統(tǒng)和虛擬機(jī)應(yīng)用被隔離開(kāi)來(lái)，而不會(huì)被云端主機(jī)、虛擬機(jī)管理程序和平臺(tái)的其他虛擬機(jī)訪(fǎng)問(wèn)。

此外，英特爾還在軟件創(chuàng)新方面持續(xù)發(fā)力，以確保現(xiàn)有的人工智能框架和應(yīng)用能夠充分發(fā)揮硬件潛力，從而加速行業(yè)的發(fā)展。

英特爾提供了完善的人工智能軟件生態(tài)方案和工具鏈，不僅持續(xù)為主流開(kāi)源框架PyTorch、TensorFlow等貢獻(xiàn)力量，還提供了多種針對(duì)英特爾平臺(tái)的優(yōu)化插件，如IPEX（Intel^? Extension for PyTorch）、ITEX（Intel^? Extension for TensorFlow）等，以及xFT（xFasterTransformer）、OpenVINO? 工具套件等多種優(yōu)化工具。這些技術(shù)可極大地提升AI性能，包括LLM、文字生成圖片Stable Diffusion等，未來(lái)的熱門(mén)方向——文字生成視頻，同樣能夠從中受益。

IPEX配合PyTorch，支持PyTorch框架下90%的主流模型，其中深度優(yōu)化模型有50個(gè)以上。客戶(hù)只要通過(guò)簡(jiǎn)單幾步即可完成BF16混合精度轉(zhuǎn)換，模型即可在保持精度的同時(shí)在CPU上高效部署。

結(jié)語(yǔ)

多年來(lái)，英特爾一直不遺余力地進(jìn)行軟硬件創(chuàng)新，為了迎合人工智能時(shí)代對(duì)算力的渴求，不斷推陳出新，提供更加強(qiáng)大、更加先進(jìn)的CPU處理器和其他硬件方案。

CPU運(yùn)行LLM并不是“癡人說(shuō)夢(mèng)”，因?yàn)镃PU在進(jìn)化一直在進(jìn)行，得益于硬件級(jí)創(chuàng)新和借助軟件充分挖掘硬件性能，英特爾為AI時(shí)代的算力基礎(chǔ)設(shè)施提供了新的選擇機(jī)會(huì)。

我想客戶(hù)和市場(chǎng)也是樂(lè)見(jiàn)其成的，畢竟這是一個(gè)雙贏的結(jié)果。市場(chǎng)不希望單一的選擇，而是多樣化的選擇。這就像x86的發(fā)展一樣，開(kāi)放帶來(lái)產(chǎn)業(yè)的繁榮。

在生成式AI和LLM狂奔的同時(shí)，CPU也在與時(shí)俱進(jìn)，讓自己適配客戶(hù)需求和選擇。依托軟硬件和生態(tài)協(xié)同，CPU正在迎來(lái)新的高光時(shí)刻，推動(dòng)人工智能行業(yè)邁向新的高度，展現(xiàn)出無(wú)限的潛力與可能性。