1.1 行業(yè)背景

物流行業(yè)已走過規(guī)模增長時期，正在進入傳統(tǒng)企業(yè)不斷進化，新物種全面崛起，互聯(lián)網(wǎng)巨頭爭相入局的競爭新時代——政策利好與黑科技促進完善能力基底，商流變革倒逼物流升級，也由此迎來最好也是最艱難的時代。

隨著新興企業(yè)的積極入局，“互聯(lián)網(wǎng)+物流”模式得以快速興起，作為行業(yè)的新鮮血液，這些新進入者在資本的助力下，依托其創(chuàng)新的商業(yè)模式、積極靈活的市場拓展過程確實對傳統(tǒng)物流企業(yè)帶來一定沖擊，也進一步推動了整個物流產(chǎn)業(yè)生態(tài)的豐富和發(fā)展。

阿里巴巴推出的數(shù)據(jù)中臺強調(diào)兩個概念：業(yè)務(wù)數(shù)據(jù)化和數(shù)據(jù)業(yè)務(wù)化。正是新興互聯(lián)網(wǎng)企業(yè)以技術(shù)和業(yè)務(wù)為抓手賦能行業(yè)的切入點。

1.2 傳統(tǒng)物流公司信息化的困境和傳統(tǒng)解決方案

從粗放式經(jīng)營到精細化管理，物流公司信息化建設(shè)是企業(yè)變革關(guān)鍵核心。在互聯(lián)網(wǎng)時代物流企業(yè)信息化建設(shè)面臨的主要問題有：

圖1.1企業(yè)信息化面臨的問題

針對企業(yè)信息化的挑戰(zhàn)，傳統(tǒng)解決方案是企業(yè)級數(shù)據(jù)治理。數(shù)據(jù)治理是一套持續(xù)改善管理機制，涵蓋了人員，流程和技術(shù)，是一系列改變數(shù)據(jù)使用行為的過程。
但是傳統(tǒng)數(shù)據(jù)治理是一個冗長的，復(fù)雜的過程，而且需要大量人力和資源投入。有很大的缺陷如：

1.實施周期長
2.達至預(yù)期目標的不確定性
3.對相關(guān)人員素質(zhì)（技術(shù)，對數(shù)據(jù)資產(chǎn)認知等）依賴過高
4.過長的實施周期，無法適應(yīng)短平快的互聯(lián)網(wǎng)競爭等。
5.每一次數(shù)據(jù)治理都是對企業(yè)所有信息系統(tǒng)的一次重構(gòu)和整合
6.脫離業(yè)務(wù)場景從標準層面的數(shù)據(jù)治理，無法直接產(chǎn)生業(yè)務(wù)價值。

而數(shù)據(jù)中臺技術(shù)是通過一序列信息技術(shù)，特別是數(shù)據(jù)處理技術(shù)進行數(shù)據(jù)的采集、加工、整合后，形成企業(yè)內(nèi)部一套標準統(tǒng)一的可復(fù)用共享數(shù)據(jù)集合，最后高效的把數(shù)據(jù)封裝成服務(wù)提供給業(yè)務(wù)或是下游系統(tǒng)使用，從而實現(xiàn)D2V的理念。數(shù)據(jù)中臺強調(diào)數(shù)據(jù)的整合復(fù)用及共享，可以建立在不對原有系統(tǒng)推倒重建的基礎(chǔ)上構(gòu)建共享數(shù)據(jù)服務(wù)。

1.3 駐云科技數(shù)據(jù)中臺方案的優(yōu)勢

阿里云作為數(shù)據(jù)中臺的概念輸出者，是很多客戶構(gòu)建數(shù)據(jù)中臺的第一選擇。駐云是阿里云的最大合作伙伴之一，具有豐富全面的數(shù)據(jù)中臺構(gòu)建方法論及實施經(jīng)驗。如阿里云與駐云科技合作構(gòu)建某物流企業(yè)的數(shù)據(jù)中臺。
該物流企業(yè)是業(yè)界領(lǐng)先的零擔物流平臺。最早由區(qū)域合伙、聯(lián)盟發(fā)展而來，目前主營業(yè)務(wù)是全國公路零擔物流網(wǎng)絡(luò)服務(wù)，致力于為客戶提供高性價比的綜合物流服務(wù)。
該物流企業(yè)建立數(shù)據(jù)中臺效能：幫助企業(yè)建立完善的信息化解決方案，全面支撐公司業(yè)務(wù)發(fā)展，規(guī)范作業(yè)流程、提高工作效率,減少重復(fù)勞動，保障數(shù)據(jù)的準確性，通過數(shù)據(jù)分析，為管理提供有價值的決策依據(jù)。

2. 數(shù)據(jù)中臺實施

數(shù)據(jù)中臺實施全流程概覽。

圖2.1 數(shù)據(jù)中臺實施流程

2.1 需求和業(yè)務(wù)調(diào)研

需求調(diào)研是個漫長又不特別明確的階段,因為客戶對于自己想要的東西,不是通過調(diào)研就清晰的,而是隨著交付的過程慢慢清晰的. 所以當前階段最關(guān)鍵的工作內(nèi)容是通過調(diào)研清楚具體的業(yè)務(wù)情況,數(shù)據(jù)情況,進而明確整個項目的交付邊界,而不是弄清楚交付細節(jié).
需求和業(yè)務(wù)調(diào)研中間產(chǎn)出的交付件是數(shù)據(jù)資產(chǎn)調(diào)研表。
包含但不限于以下信息

調(diào)研信息項  說明

信息資源表名稱               企業(yè)內(nèi)所有表資源名稱    

信息資源表所屬系統(tǒng)        對應(yīng)的系統(tǒng)名稱    

信息資源表提供部門        表信息資源的提供部門    

信息資源表的更新周期    表的更新周期    

是否支持增量更新           是否有業(yè)務(wù)時間字段提供    

信息資源表的保密級別    跟數(shù)據(jù)資源的表的可訪問級別相關(guān)    

表字段說明                     數(shù)據(jù)字典    

信息資源表維護人           表的指定維護方聯(lián)系人    

信息資源表維護人聯(lián)系方式    表的指定維護方聯(lián)系方式    

需求和業(yè)務(wù)調(diào)研中間需要產(chǎn)出一個客戶業(yè)務(wù)全局文檔及相關(guān)指標體系作為內(nèi)部實施核心文檔。全局業(yè)務(wù)文檔主要內(nèi)容包含但不限于：

·客戶所有業(yè)務(wù)部門及其業(yè)務(wù)介紹
·客戶核心業(yè)務(wù)流程介紹
·客戶全局數(shù)據(jù)來源和流向介紹
·客戶所有業(yè)務(wù)系統(tǒng)及其功能介紹且標出重復(fù)建設(shè)部分

根據(jù)該物流企業(yè)核心業(yè)務(wù)流程我們在需求和業(yè)務(wù)調(diào)研階段總結(jié)出物流企業(yè)常見業(yè)務(wù)流程如圖2.2

圖2.2物流企業(yè)常見業(yè)務(wù)流程

根據(jù)該物流企業(yè)運營指標庫，我們歸納物流行業(yè)關(guān)注的幾個核心運營指標主題如圖2.3

圖2.3 物流核心指標主題

2.2 數(shù)據(jù)域定義

數(shù)據(jù)域是指面向業(yè)務(wù)分析，將業(yè)務(wù)過程或者維度進行抽象的集合。其中， 業(yè)務(wù)過程可以概為一個個不可拆分的行為事件，在業(yè)務(wù)過程之下，可以定義指標; 維度是指度量的環(huán)境，如買家下單事件，買家是維度 。
阿里巴巴的OneData體系是一整套數(shù)據(jù)整合及管理的方法體系和工具。阿里巴巴的工程師在這一體系下，構(gòu)建統(tǒng)一、規(guī)范、可共享的全域數(shù)據(jù)體系，避免數(shù)據(jù)的冗余和重復(fù)建設(shè)，規(guī)避數(shù)據(jù)煙囪和不一致性。借助這一統(tǒng)一化數(shù)據(jù)整合及管理的方法體系，我們構(gòu)建了阿里巴巴的數(shù)據(jù)公共層，并可以幫助相似大數(shù)據(jù)項目快速落地實現(xiàn)。
借助OneData體系，根據(jù)物流行業(yè)具體的業(yè)務(wù)全局及其數(shù)據(jù)資源調(diào)研表，我們遵循高內(nèi)聚低耦合的架構(gòu)設(shè)計策略。設(shè)計企業(yè)數(shù)據(jù)域也即公共數(shù)據(jù)中心。主要包含：

根據(jù)現(xiàn)有已分數(shù)據(jù)域，我們可將數(shù)據(jù)資產(chǎn)根據(jù)具體的業(yè)務(wù)劃分到所歸屬的數(shù)據(jù)域中，為底層數(shù)據(jù)架構(gòu)建立標準。

2.3 主數(shù)據(jù)定義

主數(shù)據(jù)是指高業(yè)務(wù)價值的，可以在企業(yè)內(nèi)跨越各個業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)，是單一，準確，權(quán)威的數(shù)據(jù)來源。主數(shù)據(jù)具有以下特征：

·特征一致性
·識別唯一性
·長期有效性
·業(yè)務(wù)穩(wěn)定性

主數(shù)據(jù)是面向應(yīng)用層面劃分，我門遵循自上而下的設(shè)計策略，以客戶需求場景為主來提取客戶核心關(guān)注的主數(shù)據(jù)。
從物流行業(yè)應(yīng)用場景來看，我們總結(jié)出如下物流行業(yè)主數(shù)據(jù)：

·用戶
·商家
·訂單
·車輛
·位置

阿里巴巴OneID體系基于行為中心數(shù)據(jù)，綜合人口學、社會學理論知識及業(yè)界標簽分類體系，構(gòu)建用戶社會學標簽及業(yè)務(wù)場景標簽，對“ID”進行全方位刻畫，更生動的了解用戶，更好的服務(wù)及觸達用戶。在對外賦能的過程中，不僅應(yīng)用在to C 場景中對消費者的刻畫，也可以應(yīng)用在to B 場景中對租戶等的刻畫。

結(jié)合阿里巴巴OneID方法論我們?yōu)樯衔闹刑岬降哪澄锪髌髽I(yè)構(gòu)建用戶，商家，訂單，車輛，位置的統(tǒng)一ID為上層應(yīng)用提供便捷數(shù)據(jù)服務(wù)。

2.4 架構(gòu)設(shè)計

根據(jù)物流企業(yè)的業(yè)務(wù)和需求調(diào)研我們構(gòu)建了，物流企業(yè)的數(shù)據(jù)域和主數(shù)據(jù)架構(gòu)體系。如圖2.4

圖2.4 架構(gòu)設(shè)計

數(shù)據(jù)中臺的數(shù)據(jù)資產(chǎn)層共分為三個層：第一層是采集層，即垂直數(shù)據(jù)中心。在采集層，更多的工作是通過采集和同步工具，將業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)同步到數(shù)據(jù)中臺，并形成一個個垂直數(shù)據(jù)，在此過程中，并不會做數(shù)據(jù)的清洗和處理。傳統(tǒng)DW稱此層為ODS層。

第二層是公共層，即公共數(shù)據(jù)中心。所有的數(shù)據(jù)的清洗、加工、處理都將在公共層完成。首先公共層橫向劃分為公共明細層和公共匯總層，其中公共明細層是按照不同維度生成的明細數(shù)據(jù)，公共匯總層是根據(jù)上層業(yè)務(wù)應(yīng)用的輸入，對數(shù)據(jù)進行輕度匯總。同時公共層又會縱向的，根據(jù)不同的業(yè)務(wù)主題劃分為不同的數(shù)據(jù)域，每個數(shù)據(jù)域又劃分不同的業(yè)務(wù)過程，每個業(yè)務(wù)主題的數(shù)據(jù)都會在各自的數(shù)據(jù)域進行加工和處理。

第三層是應(yīng)用層，應(yīng)用層會分為萃取數(shù)據(jù)中心和主題中心，其中萃取中心是以各個業(yè)務(wù)對象為核心的標簽體系，主題數(shù)據(jù)中心是根據(jù)不同的上層應(yīng)用，通過公共匯總層的模型構(gòu)建出來的面向各個應(yīng)用的應(yīng)用層數(shù)據(jù)模型。最上層的業(yè)務(wù)應(yīng)用都會通過統(tǒng)一的數(shù)據(jù)服務(wù)，從應(yīng)用層調(diào)取數(shù)據(jù)。

2.5 數(shù)據(jù)倉庫模型設(shè)計與規(guī)范定義

數(shù)據(jù)倉庫模型設(shè)計全局一覽如圖

圖2.5 數(shù)據(jù)倉庫模型設(shè)計與規(guī)范定義

模型設(shè)計的基本原則主要有

· 高內(nèi)聚低耦合：
將業(yè)務(wù)相近或者相關(guān)、粒度相同的數(shù)據(jù)設(shè)計為一個邏輯或者物理模型，將高概率同時訪問的數(shù)據(jù)放一起 ，將低概率同時訪問的數(shù)據(jù)分開存儲。

· 核心模型與拓展模型分離：
建立核心模型與擴展模型體系，核心模型包括的字段支持常用的核心業(yè)務(wù)，擴展模型包括的字段支持個性化或少量應(yīng)用的需要 ，不能讓擴展模型的字段過度侵人核心模型，以免破壞核心模型的架構(gòu)簡潔性與可維護性。

· 公共處理邏輯下沉及單一：
越是底層公用的處理邏輯越應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進行封裝與實現(xiàn)，不要讓公用的處理邏輯暴露給應(yīng)用層實現(xiàn)，不要讓公共邏輯多處同時存在。

· 成本與性能平衡：
適當?shù)臄?shù)據(jù)冗余可換取查詢和刷新性能，不宜過度冗余與數(shù)據(jù)復(fù)制。

規(guī)范定義

構(gòu)建企業(yè)的指標體系，指標體系：原子指標，派生指標，修飾類型，修飾詞，時間周期組成體系之間的關(guān)系。

圖2.6指標體系

2.6 開發(fā)過程管理與規(guī)范定義

1) 代碼開發(fā)

將設(shè)計階段產(chǎn)出的ETL設(shè)計文檔、數(shù)據(jù)探查報告，結(jié)合開發(fā)自己的數(shù)據(jù)探查結(jié)果，同時根據(jù)自身對業(yè)務(wù)和數(shù)據(jù)的理解，轉(zhuǎn)化為具體的代碼。根據(jù)設(shè)計階段產(chǎn)出的設(shè)計文檔里關(guān)于工作流節(jié)點的設(shè)計和調(diào)度設(shè)計文檔，在DIDE里新建工作流節(jié)點。

工作流節(jié)點類型包含：CHECK(蟲洞)、同步中心、虛擬節(jié)點、ODPS SQL、ODPS PL、SHELL、ODPS MR、EXSTORE。根據(jù)需要，UDF、UDAF、UDTF類型還需要新建資源和注冊函數(shù)。根據(jù)設(shè)計階段產(chǎn)出的設(shè)計文檔里關(guān)于需求與設(shè)計實現(xiàn)的闡述，轉(zhuǎn)化成具體的代碼；針對不同的功能設(shè)計，需要編寫SQL、SHELL、JAVA、PERL、PATHON、MR等代碼。

代碼開發(fā)完成，提交的同時將根據(jù)預(yù)設(shè)好的掃描規(guī)則對工作流節(jié)點進行相關(guān)的檢查(禁用關(guān)鍵字檢查、命名規(guī)范檢查、數(shù)據(jù)引用規(guī)范檢查、注釋規(guī)范檢查等等)，檢查結(jié)果分為：通過、警告但通過、警告不通過。

2) 單元測試

代碼開發(fā)完成之后，開發(fā)人員需要對代碼進行單元測試，單元測試階段需要進行：規(guī)范性檢查、代碼質(zhì)量/BUG檢查、數(shù)倉特殊需求檢查、指標特性檢查。測試完成之后開發(fā)同學還需要整理發(fā)布操作文檔,以便后面進行發(fā)布工作。輸出代碼、單元測試報告、發(fā)布操作文檔。。

3) CODE REVIEW

單元測試完成之后，需要由其它開發(fā)人員進行CODE REVIEW。CODE REVIEW階段需要進行：數(shù)據(jù)一致性檢查、數(shù)據(jù)完整性檢查、指標間邏輯檢查。CODE VIEW完成之后開發(fā)階段的工作即完結(jié)，由開發(fā)人員通知測試人員進行測試階段的工作。此處需要提供CODE REVIEW模板，輸出CODE REVIEW報告。

2.7數(shù)據(jù)質(zhì)量管理

開發(fā)完成后的數(shù)據(jù)運營過程需要持久的數(shù)據(jù)質(zhì)量管理，用來保證數(shù)據(jù)的質(zhì)量持續(xù)可用。如圖2.7

圖2.7 數(shù)據(jù)質(zhì)量管理

3. 數(shù)據(jù)中臺應(yīng)用

經(jīng)過數(shù)據(jù)中臺的數(shù)據(jù)梳理和指標體系的建立，可以為運營分析提供直接有效的服務(wù)。如數(shù)據(jù)大屏和BI報表

3.1 數(shù)據(jù)大屏應(yīng)用

經(jīng)過數(shù)據(jù)中臺產(chǎn)出指標體系，某物流公司大屏效果展示

3.1數(shù)據(jù)大屏應(yīng)用

3.2 自動化BI報表

根據(jù)成熟的指標體系構(gòu)建商業(yè)智能BI分析報表，如結(jié)合阿里云quick BI產(chǎn)品構(gòu)建部門運營分析報表?？捎蓸I(yè)務(wù)人員直接在數(shù)據(jù)門戶中通過拖拉拽的方式實現(xiàn)業(yè)務(wù)運營分析。

3.3 數(shù)據(jù)服務(wù)

用戶也可構(gòu)建一套數(shù)據(jù)運營平臺兼具門戶功能，為企業(yè)內(nèi)部提供一個可視化的數(shù)據(jù)共享服務(wù)。數(shù)據(jù)運營平臺通過OneService服務(wù)來統(tǒng)一對接管理數(shù)據(jù)中臺提供的上層數(shù)據(jù)應(yīng)用服務(wù)。

4.總結(jié)與回顧

數(shù)據(jù)中臺的建設(shè)節(jié)奏是個前松再緊后又松的過程,而且是隨著業(yè)務(wù)的變化而變化的漫長的過程,建成的標志我們認為有兩個: 第一個是指標的復(fù)用性,BI取數(shù)脫離被動的根據(jù)業(yè)務(wù)人員的指揮,業(yè)務(wù)人員可以從中臺直接取到大部分指標數(shù)據(jù);第二個是數(shù)據(jù)應(yīng)用的建設(shè)脫離了從零起步,能夠直接基于中臺的結(jié)果快速建設(shè)所需的數(shù)據(jù)應(yīng)用。