大數(shù)據(jù)需要分析云平臺

enrecul101 發(fā)布于2019-04-25 16:47 / 1540人閱讀

摘要：現(xiàn)在的數(shù)據(jù)庫市場也面臨這樣一個格局，很多時候做，要用行式數(shù)據(jù)庫，做大量的數(shù)據(jù)分析時要用列式數(shù)據(jù)庫，因為它可以帶來十倍百倍的速度提高。

?分析這個詞，是在大數(shù)據(jù)或是云計算里面，必須要提到一個戰(zhàn)略高度來認(rèn)識的詞。如果你的云計算平臺沒有考慮如何對存儲下來的一些數(shù)據(jù)進(jìn)行分析的話，那你存的又是什么？如果你沒有辦法把這里面的價值挖掘出來的話，你怎么區(qū)分一個是金礦，一個是垃圾堆？我存了大量的垃圾能夠有用嗎？當(dāng)然，沒有用處的。

大數(shù)據(jù)面臨的問題之一就是如何對數(shù)據(jù)進(jìn)行快速地采集。數(shù)據(jù)的采集是非常困難的事情，對比現(xiàn)在的數(shù)據(jù)庫水平和數(shù)據(jù)增長的趨勢，可以看出，數(shù)據(jù)增長速度比我們現(xiàn)在數(shù)據(jù)庫的處理能力要大得多。

這里，大家可以看到一些耳熟能詳?shù)年P(guān)健詞，像Hadoop、MapReduce，像Sybase IQ代表的列式數(shù)據(jù)庫，還有Sybase Event Stream Processor事件流處理器，怎么樣對流數(shù)據(jù)進(jìn)行實時的加工，都是企業(yè)現(xiàn)在需要掌握的一些技術(shù)。

大數(shù)據(jù)的分析還有一些周邊的、外延的工具，比如說像Matlab、SAS、SPSS或者現(xiàn)在非常火的Revolution R。開源的里邊有Hive、SciPy，Mahout、AMPL等等這些技術(shù)，在不同的領(lǐng)域里面都有很多人在研究、在分析著。

信息價值的挖掘有很多方法論和手段，比如說怎么樣去做社交媒體的分析，怎么樣去做行為分析、情緒分析。還有就是業(yè)務(wù)場景上個性化的服務(wù)、個性化的分析、個性化的推薦等等。

現(xiàn)在的數(shù)據(jù)庫市場在面臨這么大的數(shù)據(jù)，這么復(fù)雜的數(shù)據(jù)類型，以及這么快的變化面前，已經(jīng)不再是一統(tǒng)天下的格局，沒有一個數(shù)據(jù)庫產(chǎn)品，或者沒有一種數(shù)據(jù)庫產(chǎn)品可以完全地解決大數(shù)據(jù)的問題。未來的格局可能是什么呢？

在一個企業(yè)或者是像一個IDC這樣的架構(gòu)里邊，必須要面臨一個工具箱的狀態(tài)，這個工具箱里面有各種各樣的工具，每個工具的體驗點都是不一樣的，互相之間幾乎是不可取代的。現(xiàn)在的數(shù)據(jù)庫市場也面臨這樣一個格局，很多時候做OLTP，要用行式數(shù)據(jù)庫，做大量的數(shù)據(jù)分析時要用列式數(shù)據(jù)庫，因為它可以帶來十倍、百倍的速度提高。

那么對大數(shù)據(jù)實時的處理，我們要用做數(shù)據(jù)流的分析數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫；在手機上或者說一些移動設(shè)備上要想做一些小的應(yīng)用，我們需要一些嵌入式的數(shù)據(jù)庫；還有面向?qū)ο髷?shù)據(jù)庫等等。在大數(shù)據(jù)的處理格局下，大家必須要接受這樣的一個觀點，就是專項的數(shù)據(jù)庫用于解決專項的問題。