2022年8月2日，TPC事務(wù)處理性能委員會(huì)官網(wǎng)正式發(fā)布了星環(huán)科技在3TB數(shù)據(jù)量下的TPCx-AI測(cè)試結(jié)果，Sophon Discover 3.0以AIUCpm 2,740.05分的優(yōu)異表現(xiàn)，成為該數(shù)據(jù)量下全球首個(gè)成功通過(guò)測(cè)試及官方審計(jì)的產(chǎn)品，也是截至目前該AI基準(zhǔn)測(cè)試最大的數(shù)據(jù)量級(jí)。
TPCx-AI，貼合實(shí)際人工智能使用場(chǎng)景的Benchmark
TPC（Transaction Processing Performance Council）全稱為事務(wù)處理性能委員會(huì)，是全球最知名的數(shù)據(jù)管理系統(tǒng)測(cè)評(píng)基準(zhǔn)標(biāo)準(zhǔn)化組織。TPCx-AI是TPC組織定義的一種端到端AI基準(zhǔn)測(cè)試標(biāo)準(zhǔn)，用于衡量機(jī)器學(xué)習(xí)或數(shù)據(jù)科學(xué)平臺(tái)的在AI端到端流水線中的性能。該AI基準(zhǔn)測(cè)試對(duì)于數(shù)據(jù)處理量級(jí)、運(yùn)行便捷性、性價(jià)比、廣泛適應(yīng)性、ML&DL功能均做出要求，并需通過(guò)官方審計(jì)。TPCx-AI標(biāo)準(zhǔn)要求測(cè)試廠商擁有人工智能領(lǐng)域的技術(shù)能力，還需要提供完整的軟硬件解決方案和一站式的人工智能平臺(tái)，并在AI前沿領(lǐng)域具有突破性研究。
TPCx-AI測(cè)試標(biāo)準(zhǔn)共提供10個(gè)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)測(cè)試用例，涵蓋客戶分類、客戶對(duì)話轉(zhuǎn)錄、銷(xiāo)售預(yù)測(cè)、垃圾郵件檢測(cè)、價(jià)格預(yù)測(cè)、分類和欺詐檢測(cè)等應(yīng)用場(chǎng)景。每個(gè)用例都包含：數(shù)據(jù)生成、數(shù)據(jù)管理、模型訓(xùn)練、模型評(píng)分和模型推理階段。區(qū)別于其他AI基準(zhǔn)，TPCx-AI使用多模態(tài)的數(shù)據(jù)集（包含結(jié)構(gòu)化和非結(jié)構(gòu)化的圖像、音頻等多模態(tài)數(shù)據(jù)格式），并可擴(kuò)展到TB級(jí)別；數(shù)據(jù)管理階段包含數(shù)據(jù)清洗、數(shù)據(jù)探索和預(yù)處理等過(guò)程，實(shí)際模擬了商業(yè)生產(chǎn)環(huán)境的數(shù)據(jù)處理流程。最后使用數(shù)據(jù)集進(jìn)行模型訓(xùn)練、模型推理和模型評(píng)估。
AI測(cè)試用例的端到端流程
秉持著研發(fā)創(chuàng)新技術(shù)的初心，星環(huán)科技朝TPCx-AI進(jìn)發(fā)
作為長(zhǎng)期從事大數(shù)據(jù)和人工智能基礎(chǔ)平臺(tái)研發(fā)的企業(yè)，一方面星環(huán)科技保持開(kāi)放的心態(tài)與業(yè)界共同進(jìn)步，因此有責(zé)任和TPC一起，完善TPCx-AI這項(xiàng)在接近企業(yè)生產(chǎn)環(huán)境中的人工智能（含機(jī)器學(xué)習(xí)）產(chǎn)品和方案的基準(zhǔn)測(cè)試，為機(jī)器學(xué)習(xí)平臺(tái)行業(yè)提供基線；另一方面，星環(huán)科技始終追求技術(shù)自主性和先進(jìn)性，不斷檢驗(yàn)自身產(chǎn)品體系和框架在當(dāng)前業(yè)界主流人工智能場(chǎng)景中的線性擴(kuò)展性、高性能、高性價(jià)比和廣泛適應(yīng)性；此外，TPCx-AI作為首個(gè)端到端大數(shù)據(jù)+人工智能的數(shù)據(jù)科學(xué)Benchmark，有對(duì)場(chǎng)景理解、大數(shù)據(jù)技術(shù)、AI科學(xué)與技術(shù)的多重挑戰(zhàn)，這和公司追求的“把自主研發(fā)的領(lǐng)先創(chuàng)新技術(shù)賦能全世界各行各業(yè)，促進(jìn)社會(huì)可持續(xù)發(fā)展，通過(guò)科技讓人類的生活更美好”的宗旨也是高度契合的。
“復(fù)雜計(jì)算環(huán)境”、“AI全流程”、“多模態(tài)”——大數(shù)據(jù)與AI融合的基準(zhǔn)測(cè)試所帶來(lái)的一系列挑戰(zhàn)
復(fù)雜的計(jì)算環(huán)境
TPCx-AI是標(biāo)準(zhǔn)的大數(shù)據(jù)和AI軟件異構(gòu)混合計(jì)算環(huán)境，其中大數(shù)據(jù)相關(guān)的安裝軟件包括：Hadoop、Spark、Yarn、HDFS、Horovod等，AI相關(guān)的安裝軟件包括：Tensorflow、Keras、Sklearn、XGBoost、Pandas等；同時(shí)也是標(biāo)準(zhǔn)的硬件異構(gòu)混合計(jì)算環(huán)境，同時(shí)包含CPU加速和GPU加速，以及單機(jī)加速和分布式集群加速。一方面較為考驗(yàn)平臺(tái)對(duì)于大數(shù)據(jù)和AI異構(gòu)混合計(jì)算環(huán)境的適應(yīng)性，另一方面對(duì)于不同種類硬件的異構(gòu)運(yùn)算，也提出了能力要求。
AI全流程的測(cè)試場(chǎng)景
TPCx-AI的測(cè)試場(chǎng)景包含數(shù)據(jù)生成、數(shù)據(jù)管理、模型訓(xùn)練、模型推理、模型評(píng)估、吞吐量并發(fā)測(cè)試，包含了端到端的數(shù)據(jù)科學(xué)全流程，需要平臺(tái)具備AI全生命周期的能力。
豐富的測(cè)試用例
TPCx-AI共提供10個(gè)測(cè)試用例，包含7個(gè)機(jī)器學(xué)習(xí)模型和3個(gè)深度學(xué)習(xí)模型，模型涉及有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。其中，用例9使用的是混合模型（模型結(jié)構(gòu)為：embedding神經(jīng)網(wǎng)絡(luò)+LogisticRegression）。對(duì)于平臺(tái)而言，需要解決性能優(yōu)化瓶頸，并且有效處理CPU/GPU密集型計(jì)算、IO密集型計(jì)算、內(nèi)存密集型計(jì)算等多樣的計(jì)算類型。
多模態(tài)的數(shù)據(jù)類型
區(qū)別于其他AI基準(zhǔn)，TPCx-AI使用的是多模態(tài)的數(shù)據(jù)集，包含結(jié)構(gòu)化和非結(jié)構(gòu)化（圖像、音頻等）多種數(shù)據(jù)格式，對(duì)于平臺(tái)多源異構(gòu)的數(shù)據(jù)處理及分析能力提出了要求。該測(cè)試集可擴(kuò)展到TB級(jí)別，是將大數(shù)據(jù)與人工智能技術(shù)進(jìn)行融合測(cè)試的場(chǎng)景。
“更快”、“更少”、“更極致”——不斷探索軟件的可能性
為了應(yīng)對(duì)上述挑戰(zhàn)，星環(huán)科技對(duì)軟件做了大量的優(yōu)化工作，從而實(shí)現(xiàn)了內(nèi)存占用更少、計(jì)算更快、產(chǎn)品更加極致的目標(biāo)，具體優(yōu)化工作如下：
* Spark參數(shù)優(yōu)化/ UseCase參數(shù)優(yōu)化：深入了解每個(gè)UseCase的邏輯，分析執(zhí)行細(xì)節(jié)，確定優(yōu)化方向；通過(guò)監(jiān)控系統(tǒng)資源使用情況以及監(jiān)控JVM中GC情況，對(duì)每個(gè)UseCase的Spark參數(shù)進(jìn)行優(yōu)化。針對(duì)不同UseCase的性能瓶頸：計(jì)算、IO、內(nèi)存、通訊，在TPCx-AI官方要求精度范圍內(nèi)以及可修改參數(shù)范圍內(nèi)，對(duì)UseCase自帶參數(shù)進(jìn)行調(diào)試最優(yōu)化；
* 結(jié)合RDMA、GPUDirect基礎(chǔ)技術(shù)嘗試提升節(jié)點(diǎn)與集群的整體計(jì)算和通訊性能；
* 對(duì)模型訓(xùn)練及推理過(guò)程嘗試編譯級(jí)別優(yōu)化，充分發(fā)揮CPU向量計(jì)算、GPU并行計(jì)算性能；
* 使用混精、剪枝、蒸餾等技術(shù)嘗試優(yōu)化模型，內(nèi)存占用更少，計(jì)算更快。
一款自主研發(fā)的數(shù)據(jù)科學(xué)平臺(tái)，終在國(guó)際基準(zhǔn)測(cè)試中獲亮眼表現(xiàn)
至此，星環(huán)科技正式向TPCx-AI發(fā)起挑戰(zhàn)。歷經(jīng)前后半年時(shí)間，星環(huán)科技的數(shù)據(jù)科學(xué)平臺(tái)Sophon Discover分別進(jìn)行了TPCx-AI scale factors為100GB、1TB、3TB的測(cè)試。其中，1TB數(shù)據(jù)的性能表現(xiàn)為1696，比4月TTA發(fā)布的性能結(jié)果高出超出491分，比8月DELL發(fā)布性能結(jié)果依然超出218分。當(dāng)然，我們不滿足于1TB數(shù)據(jù)的性能測(cè)試結(jié)果，向著3TB數(shù)據(jù)規(guī)模發(fā)起挑戰(zhàn)，最終成為全球首個(gè)通過(guò)TPCx-AI scale factors為3000基準(zhǔn)測(cè)試及官方審計(jì)的廠商，且性能達(dá)到了2740.05。與同數(shù)據(jù)量下的其他結(jié)果相比，Sophon Discover每節(jié)點(diǎn)可貢獻(xiàn)456.68的性能得分，優(yōu)于CDP每節(jié)點(diǎn)貢獻(xiàn)390.19的性能得分。
從公布的測(cè)試結(jié)果不難看出，Sophon不論從數(shù)據(jù)量級(jí)、性能表現(xiàn)、性價(jià)比及自主性方面均達(dá)到了最優(yōu)的成績(jī)。
值得一提的是，在所有公布的測(cè)試結(jié)果當(dāng)中，只有星環(huán)科技使用的是完全自主研發(fā)的國(guó)產(chǎn)數(shù)據(jù)科學(xué)平臺(tái)。除了可以保障用戶的平臺(tái)使用安全外，此次基于數(shù)據(jù)科學(xué)平臺(tái)Sophon Discover 3.0的測(cè)試結(jié)果，也是真正意義上可實(shí)際商用的AI測(cè)試結(jié)果，其配置符合企業(yè)實(shí)際落地AI應(yīng)用時(shí)，使用分布式集群的商用配置。
建言獻(xiàn)策，為國(guó)際基準(zhǔn)測(cè)試貢獻(xiàn)中國(guó)技術(shù)力量
在進(jìn)行產(chǎn)品測(cè)試的過(guò)程中，我們也發(fā)現(xiàn)了多處BUG并幫助TPC完善了TPCx-AI套件的代碼邏輯，使得測(cè)試環(huán)境更加穩(wěn)定。此外，星環(huán)科技向TPC組織提出了TPCx-AI@Sophon測(cè)試方案，最終該方案通過(guò)了委員會(huì)審核，成為被官方認(rèn)可的國(guó)際基準(zhǔn)測(cè)試框架。今后，其他廠商可以在他們的硬件上面運(yùn)行基于Sophon 的TPCx-AI測(cè)試套件，用于衡量硬件的性能。
至此，星環(huán)科技也成為了TPCx-AI的技術(shù)貢獻(xiàn)者之一，為國(guó)際基準(zhǔn)測(cè)試貢獻(xiàn)了來(lái)自中國(guó)的技術(shù)力量。
作為全球首家通過(guò)3TB TPCx-AI國(guó)際基準(zhǔn)測(cè)試及官方審計(jì)的企業(yè)，星環(huán)科技為企業(yè)AI應(yīng)用的商用落地探索出了一條可行道路。未來(lái)，星環(huán)科技也將秉持“自主原創(chuàng)，領(lǐng)先一代”的技術(shù)發(fā)展策略，為用戶提供更強(qiáng)性能和更高性價(jià)比的人工智能框架和平臺(tái)，在數(shù)字化轉(zhuǎn)型之路上，以技術(shù)之力幫助用戶解決AI落地難題，更深入地洞察數(shù)據(jù)價(jià)值。
