1.算法。“算法”如何與大數(shù)據(jù)相關(guān)?即使算法是一個通用術(shù)語，但大數(shù)據(jù)分析使其在當(dāng)代更受青睞和流行。

?

2.分析。年末你可能會收到一份來自信用卡公司寄來的包含了全年所有交易記錄的年終報表。如果你有興趣進一步分析自己在食物、衣服、娛樂等方面具體花費占比呢?那你便是在做“分析”了。你正從一堆原始數(shù)據(jù)中來吸取經(jīng)驗，以幫助自己為來年的消費做出決策。如果你正在針對整個城市人群對Twitter或Facebook的帖子做同樣的練習(xí)呢?那我們便是在討論大數(shù)據(jù)分析了。大數(shù)據(jù)分析的實質(zhì)是利用大量數(shù)據(jù)來進行推斷和講故事。大數(shù)據(jù)分析有3種不同到的類型，接下來便繼續(xù)本話題進行依次討論。

3.描述性分析。剛剛?cè)绻愀嬖V我，去年你的信用卡消費在食物上花費了25%、在服裝上花費了35%、娛樂活動上花費了20%、剩下的就是雜七雜八的事項，這種便是描述性分析。當(dāng)然你還可以參考更多的細(xì)節(jié)。

4.預(yù)測分析。如果你根據(jù)過去5年的信用卡歷史記錄來進行分析，并且劃分具有一定的連續(xù)性，則你可以高概率預(yù)測明年將與過去幾年相差無幾。此處需要注意的細(xì)節(jié)是，這并不是“預(yù)測未來”，而是未來可能會發(fā)生的“概率”。在大數(shù)據(jù)預(yù)測分析中，數(shù)據(jù)科學(xué)家可能會使用類似機器學(xué)習(xí)、高級的統(tǒng)計過程(后文將對這些術(shù)語進行介紹)等先進的技術(shù)去預(yù)測天氣、經(jīng)濟變化等。

5.規(guī)范分析。沿用信用卡交易的案例，你可能想要找出哪方面的支出(級食品、服裝、娛樂等)對自己的整體支出產(chǎn)生巨大的影響。規(guī)范分析建立在預(yù)測分析的基礎(chǔ)之上，包含了“行動”記錄(例如減少食品、服裝、娛樂支出)，并分析所得結(jié)果來“規(guī)定”最佳類別以減少總體支出。你可以嘗試將其發(fā)散到大數(shù)據(jù)，并設(shè)想高管們?nèi)绾瓮ㄟ^查看各種行動的影響來做出數(shù)據(jù)驅(qū)動的決策。

6.批處理。雖然批量數(shù)據(jù)處理在大型機時代就早已出現(xiàn)，但大數(shù)據(jù)交給它更多大數(shù)據(jù)集處理，因此賦予了批處理更多的意義。對于一段時間內(nèi)收集到的一組事務(wù)，批量數(shù)據(jù)處理為處理大量數(shù)據(jù)提供了一種有效的方法。后文將介紹的Hadoop便是專注于批量數(shù)據(jù)處理。超越批處理的世界：流計算 使用Spark SQL構(gòu)建批處理程序。

7. Cassandra是由Apache Software Foundation管理的一款流行的開源數(shù)據(jù)庫管理系統(tǒng)。很多大數(shù)據(jù)技術(shù)都?xì)w功于Apache，其中Cassandra的設(shè)計初衷便是處理跨分布式服務(wù)器的大量數(shù)據(jù)。

8. 云計算。顯而易見云計算已經(jīng)變得無所不在，所以本文可能無須贅述，但為了文章的完整性還是佐以介紹。云計算的本質(zhì)是在遠(yuǎn)程服務(wù)器上運行的軟件和(/或)數(shù)據(jù)托管，并允許從互聯(lián)網(wǎng)上的任何地方進行訪問。

9. 集群計算。它是一種利用多臺服務(wù)器的匯集資源的“集群”來進行計算的奇特方式。在了解了更多技術(shù)之后，我們可能還會討論節(jié)點、集群管理層、負(fù)載平衡和并行處理等。

10. 黑暗數(shù)據(jù)。依我看來，這個詞適用于那些嚇得六神無主的高級管理層們。從根本上來說，黑暗數(shù)據(jù)是指那些被企業(yè)收集和處理但又不用于任何有意義用途的數(shù)據(jù)，因此描述它是“黑暗的”，它們可能永遠(yuǎn)被埋沒。它們可能是社交網(wǎng)絡(luò)信息流、呼叫中心日志、會議筆記，諸如此類。人們做出了諸多估計，在60-90%的所有企業(yè)數(shù)據(jù)都可能是“黑暗數(shù)據(jù)”，但無人真正知曉。

11. 數(shù)據(jù)湖。當(dāng)我第一次聽到這個詞的時候，我真的以為有人在開愚人節(jié)的玩笑。但它真的是個術(shù)語!數(shù)據(jù)湖是一個原始格式的企業(yè)級數(shù)據(jù)的大型存儲庫。雖然此處討論的是數(shù)據(jù)湖，但有必要再一起討論下數(shù)據(jù)倉庫，因為數(shù)據(jù)湖和數(shù)據(jù)倉庫在概念上是極其相似的，都是企業(yè)級數(shù)據(jù)的存儲庫，但在清理和與其他數(shù)據(jù)源集成之后的結(jié)構(gòu)化格式上有所區(qū)別。數(shù)據(jù)倉庫常用于常規(guī)數(shù)據(jù)(但不完全)。據(jù)說數(shù)據(jù)湖能夠讓用戶輕松訪問企業(yè)級數(shù)據(jù)，用戶真正按需知道自己正在尋找的是什么、如何處理并讓其智能化使用。擁抱開源技術(shù)的前提——認(rèn)識數(shù)據(jù)湖 你知道數(shù)據(jù)湖泊(DATA LAKE)嗎?

12. 數(shù)據(jù)挖掘。數(shù)據(jù)挖掘是指利用復(fù)雜的模式識別技術(shù)從大量數(shù)據(jù)中找到有意義的模式、提取見解。這與我們前文討論的使用個人數(shù)據(jù)做分析的術(shù)語“分析”密切相關(guān)。為了提取出有意義的模式，數(shù)據(jù)挖掘者使用統(tǒng)計學(xué)(是呀，好老的數(shù)學(xué))、機器學(xué)習(xí)算法和人工智能。

13.數(shù)據(jù)科學(xué)家。我們談?wù)摰氖且粋€如此熱門的職業(yè)!數(shù)據(jù)科學(xué)家們可以通過提取原始數(shù)據(jù)(難道是從前文所說的數(shù)據(jù)湖中提取的?)，處理數(shù)據(jù)，然后提出新見解。數(shù)據(jù)科學(xué)家所需具備的一些技能與超人無異：分析、統(tǒng)計、計算機科學(xué)、創(chuàng)造力、故事講述和理解業(yè)務(wù)環(huán)境。難怪他們能獲得如此高的薪水報酬。

14.分布式文件系統(tǒng)。由于大數(shù)據(jù)太大而無法在單個系統(tǒng)上進行存儲，分布式文件系統(tǒng)提供一種數(shù)據(jù)存儲系統(tǒng)，方便跨多個存儲設(shè)備進行大量數(shù)據(jù)的存放，并有助于降低大量數(shù)據(jù)存儲的成本和復(fù)雜度。

15. ETL。ETL分別是extract，transform，load的首字母縮寫，代表提取、轉(zhuǎn)化和加載的過程。 它具體是指“提取”原始數(shù)據(jù)，通過數(shù)據(jù)清洗/修飾的方式進行“轉(zhuǎn)化”以獲得 “適合使用”的數(shù)據(jù)，進而“加載”到合適的存儲庫中供系統(tǒng)使用的整個過程。盡管ETL這一概念源于數(shù)據(jù)倉庫，但現(xiàn)在也適用于其它情景下的過程，例如在大數(shù)據(jù)系統(tǒng)中從外部數(shù)據(jù)源獲取/吸收數(shù)據(jù)。