用湖倉(cāng)一體實(shí)現(xiàn)基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理

2022年9月3日，由北京區(qū)塊鏈技術(shù)應(yīng)用協(xié)會(huì)（BBAA）主辦的“Web 3.0發(fā)展趨勢(shì)高峰論壇暨2022元宇宙、區(qū)塊鏈、金融科技藍(lán)皮書發(fā)布會(huì)”成功舉行，偶數(shù)科技應(yīng)邀出席。

大會(huì)隆重發(fā)布《中國(guó)金融科技發(fā)展報(bào)告》、《中國(guó)區(qū)塊鏈發(fā)展報(bào)告》、《中國(guó)元宇宙發(fā)展報(bào)告》三部年度藍(lán)皮書。其中偶數(shù)科技參與了本年度的《中國(guó)金融科技發(fā)展報(bào)告》編寫。

會(huì)上，北京偶數(shù)科技有限公司產(chǎn)品負(fù)責(zé)人蔣秀峰就主題《用湖倉(cāng)一體實(shí)現(xiàn)基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理》進(jìn)行了分享，以下為發(fā)言實(shí)錄：

嘉賓發(fā)言現(xiàn)場(chǎng)

非常高興有這個(gè)機(jī)會(huì)把偶數(shù)科技在數(shù)據(jù)治理領(lǐng)域的一些實(shí)踐和探索成果跟大家分享。

今天我分享的題目是《用湖倉(cāng)一體實(shí)現(xiàn)基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理——如何做好數(shù)據(jù)資產(chǎn)化工作》。數(shù)據(jù)治理是我們完成數(shù)據(jù)資產(chǎn)轉(zhuǎn)化一個(gè)非常重要的手段，所以小標(biāo)題是數(shù)據(jù)資產(chǎn)化。

如何做好數(shù)據(jù)資產(chǎn)化相關(guān)工作？難道之前數(shù)據(jù)資產(chǎn)化（如數(shù)據(jù)治理）的工作我們做的不好嗎？過去10到15年我們的金融機(jī)構(gòu)其實(shí)做了大量的數(shù)據(jù)管控和數(shù)據(jù)治理相關(guān)的工作，取得了非常不錯(cuò)的成績(jī)。我們可以回顧一下我們數(shù)據(jù)管理類系統(tǒng)經(jīng)過了十幾年建設(shè)之后的數(shù)據(jù)應(yīng)用的現(xiàn)狀。

幾個(gè)數(shù)字跟大家分享一下：

第一個(gè)，90%

可以說接近90%的金融機(jī)構(gòu)已經(jīng)完成了數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)、或是現(xiàn)在經(jīng)常提到的數(shù)據(jù)湖、湖倉(cāng)一體等這類平臺(tái)的建設(shè)工作。

第二個(gè)，100%

已經(jīng)建設(shè)完數(shù)據(jù)平臺(tái)的企業(yè)幾乎100%同時(shí)做了數(shù)據(jù)管控和數(shù)據(jù)治理相關(guān)的工作。

第三個(gè)，80%

我們已經(jīng)完成了這些數(shù)據(jù)管控和數(shù)據(jù)治理的前提下，我們看到約80%的數(shù)據(jù)管控系統(tǒng)應(yīng)用情況并不樂觀，他的效費(fèi)比相對(duì)是比較低的。

第四個(gè)，100%

現(xiàn)在幾乎所有的數(shù)據(jù)治理的工作呈現(xiàn)出“運(yùn)動(dòng)式”治理的特點(diǎn)，針對(duì)不同領(lǐng)域每個(gè)階段進(jìn)行數(shù)據(jù)治理工作。

第五個(gè)，60%

數(shù)據(jù)使用過程中接60%的工時(shí)和資源消耗在數(shù)據(jù)準(zhǔn)備的過程，并且更多的是通過外包的開發(fā)資源，外包的資源實(shí)際存在上面 第1、第2和第3的特點(diǎn)，一個(gè)外包資源在做數(shù)據(jù)準(zhǔn)備工作的第一年可能質(zhì)量、效果、效率都不是很能滿足要求，第二年各方面做的不錯(cuò)，第三年可能就走了，這意味著一些重復(fù)性的工作，挑戰(zhàn)性不大。

第六個(gè)，80%

以監(jiān)管為例，我們發(fā)現(xiàn)在監(jiān)管報(bào)送的數(shù)據(jù)質(zhì)量方面， 80%會(huì)出現(xiàn)一些錯(cuò)報(bào)、漏報(bào)，更多是因?yàn)閿?shù)據(jù)治理沒有很好的解決底層業(yè)務(wù)復(fù)雜性，稍后我會(huì)講為什么業(yè)務(wù)復(fù)雜性會(huì)影響到整個(gè)數(shù)據(jù)質(zhì)量。

數(shù)據(jù)資產(chǎn)化工作現(xiàn)狀

以上是當(dāng)前數(shù)據(jù)應(yīng)用過程中遇到的問題和特點(diǎn)，由這幾個(gè)特點(diǎn)可以得出：我們的數(shù)據(jù)治理工作過去10到15年雖然取得了非常不錯(cuò)的成效，但是仍然有進(jìn)一步的提升空間，這個(gè)提升空間就是我們做好數(shù)據(jù)治理工作的目標(biāo)，我們把這個(gè)目標(biāo)再提煉一下，至少?gòu)呐紨?shù)科技實(shí)踐和觀察角度應(yīng)該包括三個(gè)部分：

第一點(diǎn)，要形成一套基于業(yè)務(wù)視角的統(tǒng)一數(shù)據(jù)模型，這套數(shù)據(jù)模型是要解決底層業(yè)務(wù)邏輯復(fù)雜性的。

第二點(diǎn)，這套數(shù)據(jù)模型能夠切實(shí)解決數(shù)據(jù)應(yīng)用過程中數(shù)據(jù)看不懂、數(shù)據(jù)找不到、數(shù)據(jù)找不全，以及數(shù)據(jù)應(yīng)用過程中主要依靠個(gè)人經(jīng)驗(yàn)的問題。

第三點(diǎn)，能夠形成一套滿足不同用戶、不同應(yīng)用場(chǎng)景的數(shù)據(jù)架構(gòu)。

這是我們認(rèn)為做好數(shù)據(jù)資產(chǎn)化工作最基礎(chǔ)的三點(diǎn)。

為什么要基于業(yè)務(wù)本質(zhì)進(jìn)行數(shù)據(jù)治理工作？過往在數(shù)據(jù)治理過程中更多的是偏向于業(yè)務(wù)的數(shù)據(jù)質(zhì)量治理，以及業(yè)務(wù)數(shù)據(jù)的可讀性，主要集中在元數(shù)據(jù)缺失治理和準(zhǔn)確性治理，這種治理帶來的好處是在使用數(shù)據(jù)的時(shí)候可以用表的名稱來判斷表中業(yè)務(wù)數(shù)據(jù)的范圍以及業(yè)務(wù)含義，比如，我們經(jīng)常看到的《對(duì)公客戶信息表》可以判斷其包含所有對(duì)公客戶的信息，這種判斷大多數(shù)情況是有效的。

但是我們也發(fā)現(xiàn)，今年一季度銀保監(jiān)會(huì)發(fā)布了一個(gè)EAST處罰信息，1/5以上的金融機(jī)構(gòu)都被處罰，總共罰款8000多萬(wàn)。處罰原因是數(shù)據(jù)的錯(cuò)報(bào)、漏報(bào)、瞞報(bào)，為什么會(huì)發(fā)生錯(cuò)報(bào)、漏報(bào)、瞞報(bào)？我們可以通過一個(gè)簡(jiǎn)單的例子分析其原因。

假如要統(tǒng)計(jì)全機(jī)構(gòu)風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)，針對(duì)委托貸款風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)是否應(yīng)該納入進(jìn)來，這是非常細(xì)節(jié)的問題。委托貸款可以在現(xiàn)金管理項(xiàng)下，也可以在非現(xiàn)金管理項(xiàng)下。（1）從業(yè)務(wù)口徑角度，我們可能對(duì)“委托貸款風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)”的定義有理解偏差，進(jìn)而直接影響到監(jiān)管報(bào)送的數(shù)據(jù)質(zhì)量；（2）即便沒有理解偏差，我們?cè)趯?shí)際進(jìn)行“委托貸款風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)”數(shù)據(jù)提取整合過程中，該數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)（如信貸、國(guó)際結(jié)等系統(tǒng)）仍然會(huì)對(duì)數(shù)據(jù)提取造成障礙，最終造成錯(cuò)報(bào)和漏報(bào)。

因此，偶數(shù)科技通過實(shí)踐和分析發(fā)現(xiàn)，錯(cuò)報(bào)、漏報(bào)背后的根本原因是金融機(jī)構(gòu)在數(shù)據(jù)處理過程中沒有基于業(yè)務(wù)本質(zhì)對(duì)底層邏輯化繁為簡(jiǎn)。

除了基于業(yè)務(wù)本質(zhì)的數(shù)據(jù)治理，還有一個(gè)關(guān)鍵詞是監(jiān)管數(shù)據(jù)治理。前面我們分享提到，金融行業(yè)數(shù)據(jù)管理及應(yīng)用領(lǐng)域普遍外包的現(xiàn)象，少有企業(yè)有意愿、有能力投入大量的資源進(jìn)行相關(guān)工作。但監(jiān)管機(jī)構(gòu)例外，監(jiān)管機(jī)構(gòu)面向的是幾千家不同的金融機(jī)構(gòu)，無論從業(yè)務(wù)能力、技術(shù)能力以及職能目標(biāo)，都需要建立一個(gè)基于風(fēng)控視角的數(shù)據(jù)模型，這個(gè)數(shù)據(jù)模型現(xiàn)在以EAST最為典型（審計(jì)署也有一套統(tǒng)計(jì)數(shù)據(jù)模型起到了同樣的作用）。

實(shí)踐層面來看，EAST從1.0、2.0到5.0，一直是基于業(yè)務(wù)本質(zhì)的設(shè)計(jì)思路，我們是可以借鑒監(jiān)管研究成果進(jìn)行基于業(yè)務(wù)本質(zhì)的數(shù)據(jù)治理工作的。

我們前面說到的相關(guān)數(shù)據(jù)治理成果，形成風(fēng)控視角的統(tǒng)一數(shù)據(jù)模型，其應(yīng)用場(chǎng)景也是豐富的、有價(jià)值的。應(yīng)用場(chǎng)景最有價(jià)值之處在于如何構(gòu)建數(shù)據(jù)湖或者湖倉(cāng)一體平臺(tái)。通過這張圖，我們看到的是技術(shù)發(fā)展的脈絡(luò)，通過技術(shù)發(fā)展這個(gè)脈絡(luò)，我們總結(jié)出數(shù)據(jù)管理平臺(tái)的現(xiàn)狀和不足。

監(jiān)管數(shù)據(jù)治理成果的應(yīng)用（湖倉(cāng)一體）

第一個(gè)階段是早期傳統(tǒng)OLTP數(shù)據(jù)庫(kù)的出現(xiàn)。

從第二階段，大規(guī)模并行處理技術(shù)MPP出現(xiàn)的同時(shí)，數(shù)據(jù)管理平臺(tái)對(duì)應(yīng)的是我們數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的階段，大概是在2004年、2005。有些起步較早的國(guó)際廠商（如IBM和TD）既有底層的數(shù)據(jù)庫(kù)平臺(tái)，也有上層的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方法和統(tǒng)一的數(shù)據(jù)模型，這套數(shù)據(jù)模型在市面上得到了金融客戶的認(rèn)可。現(xiàn)在數(shù)據(jù)湖廠商的一個(gè)特點(diǎn)是只關(guān)注底層技術(shù)平臺(tái)，上層的平臺(tái)建設(shè)方法呈現(xiàn)出百家爭(zhēng)鳴的特點(diǎn)，并沒有形成一套行業(yè)標(biāo)準(zhǔn)和被認(rèn)可的數(shù)據(jù)模型，偶數(shù)也在思考和探索湖倉(cāng)一體的數(shù)據(jù)模型到底應(yīng)該如何建設(shè)。

實(shí)際上，基于監(jiān)管數(shù)據(jù)治理后形成的面向風(fēng)險(xiǎn)管控的統(tǒng)一數(shù)據(jù)模型是非常重要的，能夠指導(dǎo)我們建設(shè)湖倉(cāng)一體平臺(tái)。高性能的底層基礎(chǔ)平臺(tái)加上上層的整合的數(shù)據(jù)模型，能夠更便捷的支撐我們的數(shù)據(jù)應(yīng)用，成為數(shù)據(jù)應(yīng)用的加速器。

當(dāng)然數(shù)據(jù)治理不僅是剛才說到的基于業(yè)務(wù)本質(zhì)做數(shù)據(jù)整合，還包括數(shù)據(jù)資產(chǎn)本身的盤點(diǎn)、傳統(tǒng)數(shù)據(jù)管控三大項(xiàng)、基于數(shù)據(jù)向上做的元數(shù)據(jù)治理、業(yè)務(wù)數(shù)據(jù)治理、數(shù)據(jù)畫像工作和數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)。傳統(tǒng)的數(shù)據(jù)管控或數(shù)據(jù)治理是為治而治，并沒有建立管控與應(yīng)用之間的抓手，抓手的問題其實(shí)要通過數(shù)據(jù)應(yīng)用相關(guān)策略和手段進(jìn)行。

以上是偶數(shù)科技數(shù)據(jù)治理的研究，目前偶數(shù)已經(jīng)有一些實(shí)踐和探索成果，并且我們研發(fā)了一套統(tǒng)一的監(jiān)管數(shù)據(jù)模型，我們把這套統(tǒng)一的監(jiān)管數(shù)據(jù)模型叫做偶數(shù)模式。偶數(shù)模式與進(jìn)階模式不同，在進(jìn)階模式，雖然很多銀行都有統(tǒng)一的監(jiān)管數(shù)據(jù)平臺(tái)或監(jiān)管報(bào)送系統(tǒng)，但是其底層架構(gòu)仍然是數(shù)據(jù)分體的，這也是為什么金融機(jī)構(gòu)即便正確理解了某一業(yè)務(wù)口徑（如委托貸款風(fēng)險(xiǎn)數(shù)據(jù)資產(chǎn)），實(shí)操層面仍然不可避免受到技術(shù)架構(gòu)掣肘，造成疏漏。

偶數(shù)科技監(jiān)管數(shù)據(jù)治理研究成果

偶數(shù)不但已經(jīng)探索研發(fā)的監(jiān)管數(shù)據(jù)模型以外，還有一套完整的實(shí)施方法和流程，這套實(shí)施方法流程區(qū)別于傳統(tǒng)方法的，是引入了數(shù)據(jù)資產(chǎn)這個(gè)概念，結(jié)合前面提到的數(shù)據(jù)資產(chǎn)的運(yùn)營(yíng)手段，偶數(shù)實(shí)施方法論完成底層業(yè)務(wù)復(fù)雜邏輯所要求的模型整合。

此外，我們還有之配套的工具類產(chǎn)品，包括基于數(shù)據(jù)開發(fā)和數(shù)據(jù)管理的組件Lava，向上數(shù)據(jù)應(yīng)用、數(shù)據(jù)分析的組件 Kepler和LittleBoy建模平臺(tái)。因此，偶數(shù)從工具層面、實(shí)施方法層面、模型層面都能更好的支撐金融機(jī)構(gòu)完成基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理，應(yīng)用到統(tǒng)一的報(bào)送平臺(tái)。當(dāng)然，這套方法也可以擴(kuò)展出如剛才提到的面向?qū)徲?jì)的統(tǒng)一數(shù)據(jù)治理和數(shù)據(jù)模型、面向營(yíng)銷的統(tǒng)一數(shù)據(jù)治理和數(shù)據(jù)模型。

我的分享就到這里。謝謝大家！