速途網7月17日訊（報道：喬志斌）性能強勁的數字基礎設施，是建好大模型、用好大模型的前提。在7月13日舉辦的2023京東全球科技探索者大會-數字基礎設施分論壇上，京東云推出大模型數字基礎設施矩陣，包括言犀AI開發計算平臺、混合多云操作系統云艦、高性能存儲平臺云海、軟硬一體虛擬化引擎京剛、向量數據庫等，助推大模型服務千行百業。京東集團技術委員會主席、京東云事業部總裁曹鵬宣布，京東言犀AI開發計算平臺將于8月上線。

中國信息通信研究院云計算與大數據研究所所長何寶宏在會上表示，云正在變成基礎設施，強大的、便捷的算力服務，首先要考慮穩定性；其次要惠及更多的人、行業和應用，標準化、便利性的云基礎設施有非常大的發展空間。

開發計算平臺賦能行業共享大模型技術紅利

為了降低企業享受大模型技術紅利的門檻，京東把大模型的底層能力解耦出來，推出了言犀AI開發計算平臺。

將大模型能力遷移到產業領域，實現垂直行業的“智能涌現”，并非易事。高質量的行業知識作為稀缺要素，決定了大模型的“智商”。言犀AI開發計算平臺沉淀了京東在零售、物流、健康、金融等行業多年積累的知識，通過算法工具集成到平臺，并部署了京東技術團隊開發出的100多種訓練和推理優化工具，結合低代碼應用平臺，為客戶提供從數據建設到模型應用的一站式服務。不到一周時間，用戶即可完成從數據準備、模型訓練到模型部署的全流程；之前需要10余人的科學家團隊工作，現在只需要1-2個算法人員；通過平臺模型加速工具優化，節約90%的推理成本。

此外，京東豐富的業務場景，可以為平臺上的基礎大模型提供具體的行業應用場景，促進入駐企業加速基于大模型的商業化落地。

在高性能HPC方面，言犀大模型開發計算平臺可提供GPU、CPU、IPU等各類型算力資源，可以針對推理速度、推理成本以及模型大小不同的業務需求，提供定制化解決方案。同時，平臺還能為入駐企業提供大模型開發應用的各種硬件資源的支持。

數字基礎設施筑就大模型堅實底座

大模型訓練與應用對數字基礎設施提出了更高的要求，基于此，京東在會上展示了大模型數字基礎設施全景圖。

為了應對大模型訓練對AI算力的迫切需求，京東云混合多云操作系統云艦3.0，通過創新的異構計算池化技術，實現GPU/NPU資源成本下降50%。

與傳統平臺不同，云艦3.0采用以應用為中心的云設計范式，數據適配算力和現有架構，實現更加敏捷高效的算力按需按時供給。在落地層面，對應多云多芯多活：云艦打通公有云、專有云、IDC和邊緣節點，實現統一的運維運營和管理；全面兼容Intel、AMD、ARM架構的CPU，以及全棧國產化軟硬件體系基礎，實現生產級可用。作為國內應用多活最高級別的云平臺，云艦在現有的一云多芯云架構基礎上，以單元化技術，實現同一應用跨芯片進行多活部署和調度，搭建最適合的平滑升級云環境，實現應用在國產化環境中真替真用。

大模型訓練對存儲能力的要求越來越高，全新的高性能存儲平臺云海2.0，可支持千億級參數AI大模型，單集群每秒讀寫性能提升5倍，達到行業領先的千萬級，多故障演練場景下1秒內恢復業務。

歷經10余年京東自身復雜的場景歷練，云海2.0不僅能滿足各行業對云盤高性能、低延時的業務訴求，還通過存算分離技術架構，為客戶節省整體基礎設施成本超30%。

隨著計算和存儲密度的不斷提升，網絡帶寬的不斷增大，虛擬化的資源占用也隨之提升，有時甚至占到服務器10%以上。基于此，京東云將虛擬化卸載到自研的智能網卡中進行加速，京東云京剛3.0將虛擬化損耗降至零，網絡性能提升4倍，支持 100Gb VPC 網絡，云硬盤單實例性能突破百萬IOPS。

傳統數據庫面對大模型訓練的圖片、音頻、視頻等非結構化數據，顯得捉襟見肘，此時，專門針對此類場景的向量數據庫應運而生。京東從2019年開始自主研發向量數據庫，目前，向量數據庫Vearch已經實現大規模落地實踐：平穩支撐京東百億級向量數據高性能檢索，延遲時長降低到毫秒級，降低60%存儲成本降低和80%推理成本。與此同時，京東積極助力開源生態建設：作為白金捐贈人，Vearch已捐給中國首個開源軟件基金會——開放原子基金會，助力國產數據庫生態蓬勃發展。

目前，京東云已服務2048家大型企業、914家金融機構和超250萬家中小微企業。未來，京東云作為“更懂產業的云”，還將面向千行百業，以融合開放、極致性價比、安全可控的新一代數字基礎設施，為大模型提供澎湃算力，讓跨越發生，抵達產業智能。