疫情讓線下的需求大量轉移到線上,催生出了遠程辦公、網絡授課、線上健身等新的生態現象。如何更好地為用戶服務,提升用戶體驗,成為了諸多平臺的一大課題。
今天的故事來自字節的一款 App,當它的發展進入成熟期后,通過A/B測試等精細化數據分析提升用戶體驗,實現DAU(日活躍用戶數)增長數十萬的故事。
在字節有一個專門保障用戶使用性能體驗的團隊,他們在日常的數據觀察中發現了一個現象:用戶所使用的設備性能好壞,會影響到他們在產品使用中的活躍度。同時,他們在研究中發現,這些基礎性能體驗的提升,會延長不同細分領域的用戶生命周期,最終提升短視頻產品的大盤DAU。
為了進一步精確歸因,這個團隊使用專門為A/B實驗打造的數據產品——DataTester,該產品是字節跳動內部應用多年的A/B實驗平臺,在2020年已通過火山引擎面向外部企業開放服務。他們通過 DataTester 查看已經獲得正向收益的A/B實驗,并對其中的每個性能指標和業務指標做線性分析,嘗試尋找會對業務指標造成影響的性能指標。

數據顯示,字節每日有3萬余個A/B實驗在同時運行,而每一次微小的產品改動,也都會經過A/B實驗所得出的數據驗證。可以說小到按鈕顏色和位置,大到推薦算法策略和規則,在字節都經歷過 DataTester 的A/B實驗效果驗證。
因此,該短視頻產品也在 DataTester 中積累了大量的實驗記錄。當性能體驗團隊將 DataTester 中的歷史實驗進行歸納整理后,他們發現有幾個性能指標和產品的業務指標具有高度的相關性——當用戶在刷短視頻的過程中,遭遇到較多流暢度、儲存占用、網絡速度等問題,會直接的降低用戶使用短視頻產品的活躍度,而這個問題在設備性能較低的用戶群體中更為明顯和集中。

定位到問題后,性能體驗團隊開始有針對性地開啟了產品策略的優化。他們集中優化了設備性能較低的用戶,在打開產品啟動速度和視頻加載流暢性方面——
●啟動速度:首刷視頻加載時間過長;
●流暢性:UI動畫和視頻加載卡頓。
他們設計了優化后的產品形態,核心是將頁面展示簡潔化,并再次通過DataTester投放A/B實驗,用以驗證效果。

配合產品頁面展示簡潔化,也同時減輕了一些特效、動效、快捷功能、附加組件等加載,綜合性大幅提升了該短視頻App的啟動速度和視頻播放的流暢度。
從DataTester的實驗結果上看,優化后的實驗組方案在性能指標上有了大幅提升,App啟動速度、播放流暢度明顯提升,播放卡頓指標大幅下降。而在業務指標的數據反饋中,用戶生命周期、用戶訪問時長等都有不同程度的正向收益。最終,本次的產品優化在DataTester中取得了提升整個短視頻App 數十萬日活的收益,超出預期。
從今日頭條開始,字節的每款產品,在迭代中都離不開A/B測試。也正是因為DataTester在字節全業務線的深度普及和應用,幫助業務在每一個微小決策的岔路口上,都做出了那個“更正確一點”的選擇。
火山引擎DataTester基于先進的底層算法,提供科學分流能力和智能的統計引擎,支持多種復雜的A/B實驗類型。在應用和分析場景上,DataTester 深度耦合推薦、廣告、搜索、UI、產品功能等多種業務場景需求,為業務增長、轉化、產品迭代,策略優化,運營提效等各個環節提供科學的決策依據,讓業務真正做到數據驅動。
目前,火山引擎DataTester 已經服務了美的、得到、凱叔講故事等在內的上百家標桿客戶,將成熟的“數據驅動增長”經驗賦能給各行業。