六個(gè)月！光大銀行數(shù)倉平臺全量遷移至華為云GaussDB(DWS)
業(yè)務(wù)挑戰(zhàn)
-
數(shù)據(jù)分散在多個(gè)業(yè)務(wù)系統(tǒng)
多廠商多平臺導(dǎo)致數(shù)據(jù)倉庫體系復(fù)雜，數(shù)據(jù)分析技術(shù)準(zhǔn)入門檻高
多廠商多平臺導(dǎo)致數(shù)據(jù)倉庫體系復(fù)雜，數(shù)據(jù)分析技術(shù)準(zhǔn)入門檻高
-
數(shù)據(jù)加工鏈路長
數(shù)據(jù)處理復(fù)雜度高，監(jiān)管報(bào)送時(shí)效性無法得到保障
數(shù)據(jù)處理復(fù)雜度高，監(jiān)管報(bào)送時(shí)效性無法得到保障
-
原平臺擴(kuò)展性不足
原平臺無法滿足業(yè)務(wù)數(shù)據(jù)快速膨脹，應(yīng)用快速發(fā)展的訴求
原平臺數(shù)據(jù)處理復(fù)雜度高，批量作業(yè)時(shí)效性無法得到保障
解決方案
光大銀行數(shù)據(jù)倉庫平臺采用集中化建設(shè)模式，降低系統(tǒng)管理成本、技術(shù)復(fù)雜度，提升資源配置效率、數(shù)據(jù)一致性，承載30000多個(gè)數(shù)據(jù)模型，每日運(yùn)行30000多個(gè)代碼腳本，數(shù)百萬行代碼，數(shù)據(jù)規(guī)模2.3PB。
為了確保業(yè)務(wù)數(shù)據(jù)100%準(zhǔn)確，提升遷移效率，采用代碼轉(zhuǎn)換工具、代碼掃描工具、數(shù)據(jù)比對工具、ETL工具等自動化工具箱，覆蓋數(shù)據(jù)量檢查、結(jié)果比對、自適應(yīng)調(diào)度、批量自愈等場景，遷移效率提升3倍，6個(gè)月完成全量數(shù)據(jù)遷移。
