案例：BI工程師的困惑

從大學(xué)畢業(yè)至今，陸藝從事BI（Business Intelligence商業(yè)智能）工作已有多年。這些年，陸藝雖然換了不少公司，但BI工作卻是萬(wàn)變不離其宗。基本上是圍繞ETL（Extract抽取-Transform轉(zhuǎn)換-Load加載）、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘等工具方法，為企業(yè)管理者提供可視化的報(bào)表用于展示和發(fā)現(xiàn)問(wèn)題并提供輔助決策。

最近，伴隨著互聯(lián)網(wǎng)公司的快速崛起，關(guān)于數(shù)據(jù)中臺(tái)/數(shù)據(jù)平臺(tái)的新概念在許多場(chǎng)合被頻繁提及，甚至還出現(xiàn)了類(lèi)似DI（Data Intelligence數(shù)據(jù)智能）這樣的新詞匯。

一直以來(lái)，陸藝對(duì)互聯(lián)網(wǎng)公司所創(chuàng)造出來(lái)的新詞匯都持謹(jǐn)慎開(kāi)放的態(tài)度。前幾年“數(shù)據(jù)湖”的概念曾經(jīng)風(fēng)靡一時(shí)，相關(guān)的解決方案公司提出把數(shù)據(jù)比作大自然的水，將各個(gè)江川河流的水（各種類(lèi)型的數(shù)據(jù)）未經(jīng)加工源源不斷地匯聚到數(shù)據(jù)湖中，不需要預(yù)定義模型就能進(jìn)行數(shù)據(jù)的分析工作。

聽(tīng)上去很美好，但陸藝判斷“數(shù)據(jù)湖”的實(shí)現(xiàn)會(huì)有諸多困難。

例如，數(shù)據(jù)湖的數(shù)據(jù)如何實(shí)現(xiàn)實(shí)時(shí)性？這么多的原始數(shù)據(jù)放到數(shù)據(jù)湖里雖然容易，但提取和使用的難度又將如何解決？數(shù)據(jù)不經(jīng)處理進(jìn)入數(shù)據(jù)湖，如何進(jìn)行數(shù)據(jù)的治理？數(shù)據(jù)的安全如何保證？……

陸藝擔(dān)心不僅沒(méi)有辦法建設(shè)出美麗的“數(shù)據(jù)湖泊”，還有可能變成了恐怖的“數(shù)據(jù)沼澤”。這幾年下來(lái)，在數(shù)據(jù)湖的實(shí)施方面取得成功的企業(yè)案例并不多，這也從側(cè)面證明了盲目追逐新概念會(huì)是多么的不靠譜。

當(dāng)然，陸藝并不是一個(gè)兩耳不聞、盲目自大的人，雖然對(duì)于新詞匯新概念不怎么“感冒”，他卻愿意花費(fèi)時(shí)間去學(xué)習(xí)和研究這些新概念背后的知識(shí)，然后再通過(guò)他的專(zhuān)業(yè)能力進(jìn)行判斷甄別。這一次，他打算報(bào)名參加“數(shù)據(jù)中臺(tái)/數(shù)據(jù)平臺(tái)”的相關(guān)培訓(xùn)，是騾子是馬拉出來(lái)溜溜就一清二楚了。

抱有和陸藝同樣觀點(diǎn)的人不在少數(shù)，在面對(duì)新概念、新詞匯的時(shí)候以一種客觀謹(jǐn)慎但開(kāi)放的態(tài)度也是十分正確的。作為從IT時(shí)代到DT時(shí)代的重大跨越，我們十分有必要花費(fèi)一定篇幅來(lái)闡述數(shù)據(jù)中臺(tái)/數(shù)據(jù)平臺(tái)的重要性。

數(shù)據(jù)是供應(yīng)鏈的基石，正是因?yàn)橛辛藬?shù)據(jù)，供應(yīng)鏈才有可能插上智慧的翅膀。

為什么是有可能？因?yàn)閱渭儊?lái)說(shuō)，數(shù)據(jù)只是生產(chǎn)資料，它就好比水電煤或者說(shuō)是石油，自己并不具備生產(chǎn)力，只有通過(guò)合理地使用數(shù)據(jù)才能產(chǎn)生出價(jià)值。如果說(shuō)石油驅(qū)動(dòng)了工業(yè)化時(shí)代的發(fā)展，那么大數(shù)據(jù)則驅(qū)動(dòng)了信息化和智能化時(shí)代的發(fā)展。

我們生活的這個(gè)時(shí)代并不缺少數(shù)據(jù)，據(jù)IDC發(fā)布的《數(shù)據(jù)時(shí)代2025》報(bào)告顯示，到2025年全球每年產(chǎn)生的數(shù)據(jù)將增長(zhǎng)到175ZB，這是一個(gè)什么概念呢？1ZB相當(dāng)于1.1萬(wàn)億GB，如果把175ZB全部存在DVD光盤(pán)中，那么疊加起來(lái)的長(zhǎng)度可以繞地球222圈。

置身在如此浩瀚的數(shù)據(jù)海洋中，無(wú)論企業(yè)還是個(gè)人都容易迷失自己，甚至惶恐不知所措?？謶质且患檬拢?yàn)樗鼤?huì)帶來(lái)認(rèn)知的改變。最為可怕的是不少企業(yè)對(duì)于數(shù)據(jù)的認(rèn)知依舊停留在IT時(shí)代。

IT時(shí)代的信息化系統(tǒng)以提升效率和流程管控為核心，在初級(jí)供應(yīng)鏈形態(tài)下發(fā)揮了重要的作用。但是IT時(shí)代的信息化系統(tǒng)往往以分模塊、打補(bǔ)丁的方式建立，各個(gè)模塊來(lái)自不同的供應(yīng)商，為不同的部門(mén)所建立，在企業(yè)內(nèi)部豎立起了一根根的煙囪，產(chǎn)生了大量的數(shù)據(jù)和信息孤島。

典型的例子是，企業(yè)上了很多系統(tǒng)，有ERP、生產(chǎn)管理、計(jì)劃管理、人力資源管理、設(shè)備管理等。這些系統(tǒng)產(chǎn)生了大量的數(shù)據(jù)，我們通過(guò)excel或者是數(shù)據(jù)BI工具，對(duì)這些數(shù)據(jù)進(jìn)行了加工分析，通過(guò)看似簡(jiǎn)單的導(dǎo)入導(dǎo)出來(lái)解決業(yè)務(wù)的問(wèn)題。

這個(gè)場(chǎng)景想必對(duì)于大多數(shù)從事供應(yīng)鏈管理工作的人員并不陌生。毫不夸張地說(shuō)，從總監(jiān)到基層，每一個(gè)供應(yīng)鏈管理者都是Excel的重度使用者?？偙O(jiān)以上的高層管理者則嚴(yán)重依賴(lài)BI人員的輔助。

作為上世紀(jì)末和本世紀(jì)第一個(gè)十年比較流行的概念，BI（商業(yè)智能）是基于企業(yè)各類(lèi)業(yè)務(wù)系統(tǒng)如ERP，CRM，HR等，為了更好地分析此類(lèi)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)而發(fā)展建立的一套技術(shù)體系。它是一個(gè)技術(shù)驅(qū)動(dòng)的流程，用于分析數(shù)據(jù)和提供可操作的信息，幫助高管、經(jīng)理和其他公司最終用戶(hù)做出明智的業(yè)務(wù)決策。

因此，DI（數(shù)據(jù)智能）和BI（商業(yè)智能）兩個(gè)概念經(jīng)常被混淆。盡管他們有一定的相似之處，也都是以數(shù)據(jù)為基礎(chǔ)，但二者還是存在本質(zhì)的區(qū)別。

首先是實(shí)現(xiàn)目標(biāo)不同：BI用來(lái)將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行整合后提供報(bào)表并提出決策依據(jù)，它并不會(huì)幫助企業(yè)解決底層數(shù)據(jù)孤島的問(wèn)題。而數(shù)據(jù)智能的目標(biāo)則是通過(guò)構(gòu)建企業(yè)的數(shù)據(jù)平臺(tái)（中臺(tái)），將業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一和打通，在此基礎(chǔ)上形成的數(shù)據(jù)不僅可以輔助決策，還能夠直接觸發(fā)并驅(qū)動(dòng)業(yè)務(wù)應(yīng)用。

如果將企業(yè)比作一部汽車(chē)，BI商業(yè)智能是駕駛艙里的各類(lèi)儀表盤(pán)，那么DI數(shù)據(jù)智能就是企業(yè)這部車(chē)子的引擎發(fā)動(dòng)機(jī)，數(shù)據(jù)就是源源不斷注入的汽油。

其次是技術(shù)實(shí)現(xiàn)的不同：在討論BI商業(yè)智能時(shí)，我們討論的是ETL、數(shù)據(jù)倉(cāng)庫(kù)、OLAP、數(shù)據(jù)挖掘，可視化報(bào)表等技術(shù)方法。而在討論數(shù)據(jù)智能時(shí)，我們討論的是大數(shù)據(jù)，云計(jì)算，物聯(lián)網(wǎng)，人工智能，分布式數(shù)據(jù)庫(kù)等。

兩者的技術(shù)處理流程雖然類(lèi)似，但技術(shù)實(shí)現(xiàn)的手段卻有著極大的區(qū)別。

然后是智能化手段的不同：商業(yè)智能因?yàn)猷笥谒帟r(shí)代技術(shù)限制，大多依賴(lài)于統(tǒng)計(jì)學(xué)算法使用各類(lèi)經(jīng)典的聚類(lèi)，分類(lèi)算法。而數(shù)據(jù)智能隨著機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展，更全面地融合了各類(lèi)智能算法，智能化的手段更加多樣化。

最后是數(shù)據(jù)基礎(chǔ)的不同：隨著大數(shù)據(jù)的興起，數(shù)據(jù)智能涉及的數(shù)據(jù)范圍將不再僅限于原來(lái)的業(yè)務(wù)系統(tǒng)或者交易系統(tǒng)，而有更多來(lái)自于企業(yè)外部的數(shù)據(jù)，如互聯(lián)網(wǎng)，社交網(wǎng)絡(luò)，第三方社會(huì)資源數(shù)據(jù)等。

同時(shí)數(shù)據(jù)的來(lái)源也將不僅限于業(yè)務(wù)處理和交易過(guò)程，更海量的實(shí)時(shí)數(shù)據(jù)，如來(lái)自于物聯(lián)網(wǎng)連接下的機(jī)器、設(shè)備等。數(shù)據(jù)的種類(lèi)也將極大豐富和擴(kuò)展，不再簡(jiǎn)單的局限于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化的文本，視頻和音頻數(shù)據(jù)在智能化解構(gòu)之后也將越來(lái)越多的參與數(shù)據(jù)智能應(yīng)用。

毫無(wú)疑問(wèn)，傳統(tǒng)的BI并未觸動(dòng)和改動(dòng)企業(yè)的底層及核心數(shù)據(jù)架構(gòu)，因此BI工程師的工作好比在原始森林里采摘果實(shí)，他們工作的好壞很大程度上取決于BI工程師的個(gè)人水平。

但是DI則是采用現(xiàn)代化的種植手段，從育種、耕種、施肥、除蟲(chóng)、采摘全過(guò)程進(jìn)行管理，不僅產(chǎn)出的果實(shí)質(zhì)量有保證，也減少了對(duì)數(shù)據(jù)工程師個(gè)人能力的依賴(lài)。這從根本上改變了我們對(duì)于數(shù)據(jù)的理解和認(rèn)識(shí)。

由此可見(jiàn)，數(shù)據(jù)平臺(tái)（中臺(tái)）的建設(shè)是數(shù)據(jù)智能DI的源頭和根基。根基不牢，數(shù)據(jù)智能就成了無(wú)源之水了。

那么，數(shù)據(jù)中臺(tái)如何建設(shè)，它和業(yè)務(wù)中臺(tái)的關(guān)系是什么？限于篇幅，我們將在未來(lái)的文章中繼續(xù)探討。

注：本文部分內(nèi)容參考文章《數(shù)據(jù)智能DI和商業(yè)智能BI有何不同？》，作者狄安