在 AI 技術(shù)高速發(fā)展的今天，「讓機器真正理解世界」的需求從未如此迫切。無論是電商平臺的跨模態(tài)搜索、智能助手的多輪對話，還是內(nèi)容平臺的精準推薦，底層都依賴一個關(guān)鍵能力——將文本、圖像、視頻等不同形態(tài)的信息，轉(zhuǎn)化為計算機可理解的「向量」，并通過向量間的關(guān)聯(lián)實現(xiàn)高效匹配與檢索。
6月24日，火山引擎發(fā)布全模態(tài)向量化模型 Seed1.6-Embedding，通過三大核心突破，重塑向量化能力邊界：不僅在權(quán)威測評榜單中包攬中文文本、多模態(tài)全面任務(wù)的 SOTA 成績，更首次實現(xiàn)「文本+圖像+視頻」混合模態(tài)的融合檢索，并通過自定義指令能力大幅降低業(yè)務(wù)落地門檻。
從“單模態(tài)支持”到“全任務(wù)領(lǐng)先”：Seed1.6-Embedding的技術(shù)實力
針對行業(yè)對多模態(tài)深度理解和高效檢索的雙重需求，團隊采用文本繼續(xù)訓練-多模態(tài)繼續(xù)訓練-精調(diào)的多階段訓練策略，基于海量文本、圖文對、視頻文對數(shù)據(jù)，構(gòu)建多任務(wù)數(shù)據(jù)集，通過指令引導、數(shù)據(jù)合成、數(shù)據(jù)增強、分層負樣本等混合訓練，提升細分場景和復雜任務(wù)處理能力，讓其成為覆蓋全場景的向量化“全能選手”。
全面任務(wù)領(lǐng)先：包攬中文文本、圖像、視頻「三冠」
在最能體現(xiàn)模型泛化能力的權(quán)威榜單中，Seed1.6-Embedding 均展現(xiàn)出顯著優(yōu)勢：
純文本任務(wù)：在 CMTEB 中文文本向量評測榜單上，模型以75.62高分刷新榜單 SOTA，在檢索、分類、語義匹配等通用任務(wù)表現(xiàn)持續(xù)領(lǐng)跑；
多模態(tài)任務(wù)：在多模態(tài)評測榜單 MMEB_v2中，模型的圖片、視頻向量化任務(wù)雙雙登頂 SOTA，并實現(xiàn)斷層領(lǐng)先。其中在 MMEB_v2 Image 榜單上，模型以77.78的高分領(lǐng)先第二名5.6分；模型新增的視頻模態(tài)，在 MMEB_v2 video 榜單大幅領(lǐng)先第二名20.1分。
全模態(tài)混合檢索：支持“文+圖+視頻”統(tǒng)一向量空間表征
過去，多模態(tài)向量化模型往往局限于單模態(tài)輸入-單模態(tài)輸出的模式，而真實場景中，用戶需求通常是通過混合搜索如文搜圖和視頻、文圖搜視頻等方式來精準檢索目標內(nèi)容。Seed1.6-Embedding 突破單一搜索限制：
新增視頻向量化能力：支持對人物、動作、場景等視頻核心語義的統(tǒng)一表征；
全模態(tài)混合檢索：支持文本、圖像、視頻等多形態(tài)輸入的混合表征，輸出的向量能同時保留不同模態(tài)的關(guān)鍵特征，真正實現(xiàn)「跨模態(tài)搜索無界」。
自定義指令增強：讓向量生成“按需而變”
業(yè)務(wù)落地中，不同場景對向量的關(guān)注點往往不同：電商需要突出商品的價格、材質(zhì)等，新聞平臺需要強調(diào)事件時間、情感傾向。過去，企業(yè)常需投入大量標注數(shù)據(jù)微調(diào)模型，成本高、周期長。
Seed1.6-Embedding 通過指令增強技術(shù)，讓向量生成更“聽話”：用戶只需通過定制化指令模板，就能像給模型下任務(wù)清單一樣，精準引導向量生成更貼合業(yè)務(wù)目標的表達。這一能力讓模型適配新場景從“重訓練”變?yōu)椤拜p調(diào)整”，低成本支持電商精準推薦、知識問答等多樣化需求，實現(xiàn)一模型多場景，靈活隨需而變。
從“技術(shù)突破”到“場景落地”：火山方舟讓能力「觸手可得」
好的模型，最終要服務(wù)于真實場景。為了讓 Seed1.6-Embedding 更快、更省心地服務(wù)于實際業(yè)務(wù)需求，火山方舟同步推出兩大支持入口：
火山方舟 API 接口：模型已上線火山方舟控制臺，專業(yè)開發(fā)者可直接調(diào)用 API，無需自建模型訓練與部署環(huán)境，即可快速接入業(yè)務(wù)場景；
VikingDB 向量數(shù)據(jù)庫：火山方舟旗下 VikingDB 向量數(shù)據(jù)庫已深度集成 Seed1.6-Embedding模型，提供“向量生成+存儲+檢索”的一站式解決方案，企業(yè)無需額外開發(fā)，開箱即用。
未來，團隊將繼續(xù)深耕向量化技術(shù)。預計2025年下半年，用戶可在火山方舟體驗中心實現(xiàn)可視化體驗和多模態(tài)檢索，VikingDB 向量數(shù)據(jù)庫也將支持全模態(tài)數(shù)據(jù)自動向量化，并開放圖文和視頻檢索開源項目，助力企業(yè)和開發(fā)者快速集成到業(yè)務(wù)場景。火山引擎也將以更開放的姿態(tài)，攜手企業(yè)與開發(fā)者，共同探索 “讓 AI 理解世界” 的更多可能。
