時(shí)間：2015-12-07 11:28:05 點(diǎn)擊：次
來(lái)源：湛廬文化廬客匯 作者：吳明輝

條評(píng)論打印收藏

在傳統(tǒng)金融行業(yè)里，很多銀行只會(huì)考慮發(fā)貸款或者發(fā)信用卡之前的風(fēng)控分析。很多銀行到人民銀行拿到一些個(gè)人消費(fèi)者征信報(bào)告，這些數(shù)據(jù)包含了消費(fèi)者以前其他的貸款、每個(gè)月工資情況等等這樣一些最基本的信息。銀行根據(jù)信息打分，然后這個(gè)分?jǐn)?shù)之上的消費(fèi)者可以獲批貸款，在分?jǐn)?shù)之下的就不會(huì)獲批。這整個(gè)過(guò)程是成本較高的，因?yàn)槿魏我粋€(gè)報(bào)告都是要花錢去買。第二點(diǎn)是很多情況下需要面訪，現(xiàn)場(chǎng)進(jìn)行風(fēng)險(xiǎn)考察，然而這個(gè)考察過(guò)程中數(shù)據(jù)的真實(shí)性和有效性也是值得商榷的。

比如我們的一個(gè)客戶——郵政儲(chǔ)蓄銀行。向他們貸款的很多客戶是農(nóng)民，他們?cè)诜N植或者養(yǎng)殖生產(chǎn)中需要資金支持，比如用來(lái)投資買種子或者購(gòu)買種植養(yǎng)殖的基本設(shè)施。但是當(dāng)面談的時(shí)候他或許假裝家里有一頭牛，我將來(lái)可以賣掉這個(gè)牛還款，但這個(gè)牛有可能是從他的鄰居家拉過(guò)來(lái)的。所以真正證明貸款申請(qǐng)人信用的數(shù)據(jù)真實(shí)性和有效性是解決這個(gè)問題過(guò)程中非常核心的問題。數(shù)據(jù)是否是真實(shí)有效的、數(shù)據(jù)是否跟最后結(jié)果有關(guān)系，這就是我們?cè)跀?shù)據(jù)思維決策過(guò)程中需要考慮的兩個(gè)非常核心的問題。

“其實(shí)我是有一點(diǎn)近視眼的，我看很遠(yuǎn)處的一個(gè)廣告牌，上面的文字有時(shí)我看得不是很清楚，但我的大腦是能夠猜出來(lái)文字大概是講什么的。本質(zhì)上是因?yàn)樵谖业拇竽X是擁有識(shí)別低分辨率的數(shù)據(jù)，同時(shí)再把它還原推測(cè)到高分辨率的那個(gè)能力。這種能力其實(shí)也是大數(shù)據(jù)公司里面非常核心的能力。"

2、數(shù)據(jù)治理：還原推測(cè)到“高分辨率”

我接下來(lái)就給大家講講處理數(shù)據(jù)里面最核心的兩個(gè)工作。第一個(gè)工作我們稱之為數(shù)據(jù)清洗或是叫數(shù)據(jù)治理。

很多公司擁有大量的數(shù)據(jù)，但如果這些數(shù)據(jù)沒有辦法整合到一起，沒辦法清洗、在線化，沒辦法讓使用者方便取用，那即便數(shù)據(jù)量再大也不能說(shuō)這個(gè)公司有大數(shù)據(jù)。所以清洗和整合數(shù)據(jù)是非常重要的。通常在技術(shù)領(lǐng)域有一個(gè)概念叫“ETL”，ETL其實(shí)只把數(shù)據(jù)抽取到一起，進(jìn)行數(shù)據(jù)格式統(tǒng)一化，最后再加載到一個(gè)可應(yīng)用的平臺(tái)上，這是整個(gè)數(shù)據(jù)治理行業(yè)里面最核心的幾個(gè)環(huán)節(jié)。但在大數(shù)據(jù)概念出來(lái)之后，跟傳統(tǒng)ETL有一個(gè)挺大的區(qū)別在于數(shù)據(jù)格式跟以前相比更加復(fù)雜。通常我們所謂的大數(shù)據(jù)、我們處理的數(shù)據(jù)除了包括以前的結(jié)構(gòu)化數(shù)據(jù)，還包括新的非結(jié)構(gòu)化數(shù)據(jù)。

非結(jié)構(gòu)化數(shù)據(jù)是指數(shù)據(jù)里每一條記錄之間的格式并不統(tǒng)一，甚至很多數(shù)據(jù)都是臟數(shù)據(jù)。大家可以想象銀行的很多數(shù)據(jù)，比如消費(fèi)者注冊(cè)信息：姓名、年齡、手機(jī)號(hào)、身份證號(hào)，包括月收入可能都要求填，但很多情況下大家填信息的時(shí)候格式都不一定統(tǒng)一，比如說(shuō)手機(jī)號(hào)可能有一些人填沒有加“86”，再比如說(shuō)身份證號(hào)有人填的是18位的，有人填的是15位的，這些信息是否是統(tǒng)一格式對(duì)于未來(lái)的數(shù)據(jù)應(yīng)用非常關(guān)鍵。

 2/5   首頁(yè) 上一頁(yè) 1 2 3 4 5 下一頁(yè) 尾頁(yè)