時間：2015-12-07 11:28:05 點擊：次
來源：湛廬文化廬客匯 作者：吳明輝

條評論打印收藏

而我們真正記錄下來數(shù)據(jù)，記錄得越全面，對還原真實世界就還原得越好。但是很多情況下，如果真正的技術(shù)、好的算法或者數(shù)據(jù)清晰的整合能力很強的話，可以把一個低分辨率的信息，還原成原來很高分別率，很真實的情況。就像我們的人眼其實就很厲害，因為其實我是有一點近視眼的，但是我看很遠處的一個廣告牌，上面的文字有的時候我看得不是很清楚，但是我的大腦是能夠猜出來到底這個文字是講什么的，本質(zhì)上是因為在我的大腦里面是擁有識別低分辨率的數(shù)據(jù)，同時再把它還原推測到高分辨率的那個能力。這種能力其實也是大數(shù)據(jù)公司里面非常核心的能力。

“并不是所有的數(shù)據(jù)在系統(tǒng)里面都存在，比如說我跟我同事之間的關(guān)系，我跟我愛人之間的家庭關(guān)系，可能在公安系統(tǒng)里面并沒有完整的存儲數(shù)據(jù)。但是很多數(shù)據(jù)可以非常快速的被發(fā)現(xiàn)出來。”

3、數(shù)據(jù)關(guān)聯(lián)：同一趟火車到互為同事的推斷

前面我給大家介紹的是數(shù)據(jù)的清洗整合。實際上大數(shù)據(jù)技術(shù)除了信息整合之外，另外一個很核心的技術(shù)是數(shù)據(jù)的關(guān)聯(lián)。

前面我也提到了很多大數(shù)據(jù)客戶不管是政府還是企業(yè)都有很多不同的數(shù)據(jù)，因為數(shù)據(jù)本身是需要關(guān)聯(lián)起來，在數(shù)據(jù)真正聯(lián)系到一起之后，在數(shù)據(jù)內(nèi)部我們可以發(fā)現(xiàn)很多數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系，而這些關(guān)系真正的挖掘好了之后，它的實戰(zhàn)價值是非常大的，可以起到1+1遠遠大于2的作用。

在美國有一家非常有名的大數(shù)據(jù)企業(yè)叫“Palantir”，這家公司現(xiàn)在雖然還沒上市，但市值已達兩百億美金，是全球沒有上市的企業(yè)里市值排名前五的企業(yè)。這家企業(yè)之所以厲害是因為其在利用數(shù)據(jù)關(guān)聯(lián)這種能力去給美國情報機構(gòu)，包括CIA、美國國土安全局提供數(shù)據(jù)挖掘服務(wù)，幫助他們進行反恐和非常重大的刑事案件追查，數(shù)據(jù)的關(guān)聯(lián)在很多情況下能夠幫助政府很好的發(fā)現(xiàn)犯罪份子。

明略數(shù)據(jù)現(xiàn)在也在利用類似的技術(shù)給中國的公安局等部門提供類似的服務(wù)。在整個公安破案過程中，這種關(guān)系的挖掘是非常重要的。就像前面我說的，并不是所有數(shù)據(jù)在系統(tǒng)里面都存在，比如說我跟我同事之間的關(guān)系，我跟我愛人之間的家庭關(guān)系，可能在公安系統(tǒng)里面并沒有完整的存儲數(shù)據(jù)。但是很多數(shù)據(jù)可以非常快速的被發(fā)現(xiàn)出來。舉個例子，當時我們在河北做了一個試點，我也是很強烈地被震撼到了。當時把我的名字輸?shù)竭@套系統(tǒng)之后，其實是通過我們自己做開發(fā)的系統(tǒng)，我們可以用非常快速的方法查出哪一些人是我在明略的同事。

雖然在公安系統(tǒng)里并沒有記錄我是明略的，我的同事也是明略的，我們之間這種同事關(guān)系，但在公安系統(tǒng)里記錄了我曾經(jīng)從北京坐了一趟動車去到了河北，我的另外一個同事也坐這趟車過去，同天晚上我們又入住了同一家酒店，就這樣簡簡單單的信息，就把我們兩個人關(guān)聯(lián)上了。我們其他同事用類似的方法都可以非常簡單地被關(guān)聯(lián)在一起。當我們利用這樣方法把幾組數(shù)據(jù)，比如乘坐火車的數(shù)據(jù)和住酒店的數(shù)據(jù)關(guān)聯(lián)到一起之后，很多關(guān)聯(lián)關(guān)系就自動的被發(fā)現(xiàn)出來了。這個價值對于整個安全體系來講是非常非常重要的。今天其實很多公安都在試用類似的方法偵破重大案件。

 4/5   首頁 上一頁 2 3 4 5 下一頁 尾頁