大數(shù)據(jù)已經(jīng)發(fā)展到了一個(gè)關(guān)鍵階段。到2017年，整個(gè)大數(shù)據(jù)市場(chǎng)將增長(zhǎng)到500億美金，但很不幸55% 的大數(shù)據(jù)項(xiàng)目都是失敗的。與機(jī)遇同在的是炒作和不實(shí)的信息，我們正處在大數(shù)據(jù)的西大荒階段。大數(shù)據(jù)行業(yè)正處于一略僵持的局面之中：理解它的人通投資該行業(yè)采集、存儲(chǔ)大數(shù)據(jù)并從中獲益;然而另有人抱著半信半疑的態(tài)度為之買(mǎi)單，同時(shí)不曉得大數(shù)據(jù)將怎樣影響他們的生意。

良性失靈

大數(shù)據(jù)允許出錯(cuò)率，這也許聽(tīng)起來(lái)違背常識(shí)，可失靈也是有良性失靈和惡性失靈之分的。

云里霧里?且聽(tīng)解釋?zhuān)?ldquo;測(cè)試和學(xué)習(xí)”的方法是可以用在原始狀態(tài)大數(shù)據(jù)上的。公司得通過(guò)提出假設(shè)然后驗(yàn)證的方式發(fā)現(xiàn)這些失靈的情況。這讓企業(yè)能夠通過(guò)深挖大數(shù)據(jù)發(fā)展出真正連貫的戰(zhàn)略方案來(lái)。

這些“錯(cuò)誤”其實(shí)是發(fā)現(xiàn)正確解析結(jié)果的必要過(guò)程，它為各行各業(yè)創(chuàng)造了可觀的機(jī)會(huì)，如精準(zhǔn)推薦、風(fēng)險(xiǎn)管理、設(shè)備故障預(yù)測(cè)和簡(jiǎn)化物流管理流程等等。

在一些樂(lè)觀的案例中，這些企業(yè)正在利用大數(shù)據(jù)得出的判斷開(kāi)發(fā)新產(chǎn)品，開(kāi)辟新的收入來(lái)源甚至造就了大數(shù)據(jù)驅(qū)動(dòng)的企業(yè)文化。要進(jìn)化到這個(gè)階段，企業(yè)必須打破僵化的量化和成本控制思路，發(fā)展靈活機(jī)動(dòng)的解析和判斷方法，逐漸通過(guò)大規(guī)模自動(dòng)化預(yù)測(cè)解析實(shí)現(xiàn)企業(yè)最優(yōu)發(fā)展。只有這樣它們才能真正通過(guò)大數(shù)據(jù)找到有利可圖的商業(yè)模式，依托數(shù)據(jù)開(kāi)發(fā)出新產(chǎn)品來(lái)。

在大數(shù)據(jù)利用的早期，速度是個(gè)關(guān)鍵因素。通過(guò)數(shù)據(jù)完成項(xiàng)目和積累組織專(zhuān)業(yè)技能的速度越快，就能越快創(chuàng)造價(jià)值，以及在新的高度上更精細(xì)地利用大數(shù)據(jù)。

Quant完美詮釋了成長(zhǎng)為大數(shù)據(jù)公司的四步走模式。第一步，它只是提供免費(fèi)網(wǎng)站流量監(jiān)測(cè)服務(wù)。隨著市場(chǎng)認(rèn)可度的提高——它每天的計(jì)算結(jié)果由數(shù)以千計(jì)增長(zhǎng)至 10 億級(jí)的水平，Quant 很快超越了傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)。而業(yè)務(wù)一步步的擴(kuò)張又賦予它提供更高質(zhì)量的解析和判斷能力，更好地憑借受眾分析為企業(yè)增值和維護(hù)客戶(hù)關(guān)系。

Quant 很快看到了投資大數(shù)據(jù)科學(xué)的必要性，因?yàn)樵诤Ａ康幕顒?dòng)數(shù)據(jù)中發(fā)現(xiàn)人口數(shù)據(jù)和興趣圖譜分布狀態(tài)是極具挑戰(zhàn)性的。緊接著，Quant 測(cè)試了許多產(chǎn)品和服務(wù)，其中非常成功的一個(gè)項(xiàng)目叫做 Lookalikes，它幫助廣告商找到那些跟現(xiàn)有客戶(hù)具有高度相似性的新客戶(hù)。Quant 現(xiàn)在每年收入達(dá) 1 億美金，其靈活性使其能夠及時(shí)應(yīng)對(duì)大數(shù)據(jù)發(fā)展過(guò)程中的機(jī)遇。

Quant、Google、 Facebook 和 LinkedIn 都是大數(shù)據(jù)公司的先行者，它們已經(jīng)經(jīng)歷了這些發(fā)展階段。當(dāng)大數(shù)據(jù)業(yè)務(wù)在互聯(lián)網(wǎng)公司中越發(fā)成熟時(shí)，也正是其它企業(yè)擁抱大數(shù)據(jù)創(chuàng)造價(jià)值和積累競(jìng)爭(zhēng)力的時(shí)候。例如，大型 IT 供應(yīng)商正在利用精細(xì)化的科技產(chǎn)品數(shù)據(jù)和交易數(shù)據(jù)生成解析預(yù)測(cè)模型，以達(dá)到提高推薦效果、優(yōu)化交易體驗(yàn)的目的。

惡性失靈

很不幸，許多企業(yè)仍然停留在非常僵化的模式中，他們還是一味地從成本控制和存儲(chǔ)可擴(kuò)展性的角度來(lái)利用大數(shù)據(jù)。也許他們還在觀望“靈活分析”(agile analytics)——打破傳統(tǒng)節(jié)約思維、靈活運(yùn)用數(shù)據(jù)的方法。

這意味著，許多探索大數(shù)據(jù)的公司正在錯(cuò)失改進(jìn)業(yè)務(wù)、優(yōu)化服務(wù)的機(jī)會(huì)，同時(shí)他們也在錯(cuò)失利用大數(shù)據(jù)而非臆斷開(kāi)發(fā)新產(chǎn)品的機(jī)會(huì)。他們正在進(jìn)入大數(shù)據(jù)發(fā)展的停滯期——學(xué)會(huì)了存儲(chǔ)數(shù)據(jù)，但卻不能夠從中提取價(jià)值。

大數(shù)據(jù)需要人力和資源的投入——從人的層面講就是，需要更多的掌握這門(mén)科技的人才，而傳統(tǒng)的成本節(jié)約方法要求的是裁員。對(duì)大數(shù)據(jù)公司而言，情況剛好相反。要實(shí)現(xiàn)大數(shù)據(jù)上的突破，企業(yè)就得舍得投人投錢(qián)。不能快速應(yīng)對(duì)變化、及時(shí)投資的企業(yè)將會(huì)讓更靈活的小型企業(yè)奪去更多機(jī)會(huì)。

不堪的失靈

沒(méi)有什么比前面說(shuō)的 55% 的失敗率更讓人難堪的了?失敗的原因何在呢?其中一種想法是，西大荒時(shí)代有太多開(kāi)空頭支票的騙子，夸下?？趨s看不見(jiàn)他們的成果。他們意識(shí)到身邊炒作大數(shù)據(jù)的風(fēng)氣便也跟風(fēng)模仿。盡管缺乏資質(zhì)認(rèn)證，那些遺產(chǎn)顧問(wèn)和系統(tǒng)集成商硬是把自己定位為這方面的專(zhuān)家。

同樣地，許多傳統(tǒng)商人竟把上個(gè)時(shí)代的模式當(dāng)作“大數(shù)據(jù)”來(lái)兜售。他們之中很多還在不聯(lián)網(wǎng)的電腦上使用SAS(始于 1976 年的 Statistics Analysis System)——這能是大數(shù)據(jù)?!另有其他們則是專(zhuān)注于數(shù)據(jù)挖掘和匯報(bào)，提取、轉(zhuǎn)化和加載一些小型數(shù)據(jù)庫(kù)的內(nèi)容。這些商人通常使用一些與開(kāi)放源碼并行運(yùn)算編程工具(如 Apache Hadoop )脫節(jié)的專(zhuān)用軟件。

我們