摘要:大數據時代第三次信息化浪潮年前后,以云計算大數據物聯網的首發為標志迎來第三次信息化浪潮。大數據的發展歷程大數據的概念和影響大數據的特性特性指。處理大規模圖結構數據。物聯網應用大數據云計算物聯網的關系三者相輔相成,既有聯系又有區別。
2010年前后,以云計算、大數據、物聯網的首發為標志迎來第三次信息化浪潮。
IT發展史歷經的信息化浪潮如下:
主要表現為:
第一階段:運營式系統階段。實例:購物記錄。數據僅由運營系統生成。
第二階段:用戶原創內容階段。實例:微信。每個網民都成為自媒體,可以向網絡發送信息。但到此為止還不足以促進大數據時代到來。
第三階段:感知式系統階段。物聯網(IoT)的大規模普及,實現了萬物互聯。物聯網底層是感知層,比如攝像頭、傳感器,這些設備時刻生成大量數據,物聯網的興起促使了大數據時代到來。
4V特性指velocity、variety、value、volume。
(1)數據量大:
大數據摩爾定律(根據IDC作出的估測,數據一直都在以每年50%的速度增長,也就是說每兩年就增長一倍)。
人類在最近兩年產生的數據量相當于之前產生的全部數據量。
(2)數據類型繁多:
大數據是由結構化和非結構化數據組成:
(3)處理速度快:
目前很多企業都需要秒級決策。從數據的生成到消耗,時間窗口非常小,可用于生成決策的時間非常少。
1秒定律:這一點和傳統的數據挖掘技術有著本質的不同。
(4)價值密度低,商業價值高:
如此大量的數據,很多可能都是沒有價值的數據。比如監控攝像頭時刻生成大量數據需要進行存儲,一旦發生案件時,攝像頭存儲的視頻才有用,但發生案件的幾率很小,因此價值密度低很低。
圖靈獎獲得者Jim Gray博士總結人類在科學研究上,先后經歷了實驗、理論、計算和數據四種范式。
在思維方式方面,大數據完全顛覆了傳統的思維方式:
谷歌使用大數據預測流感趨勢,利用搜索引擎實時收集用戶搜索的信息。
通常遇到疾病時,會首先使用搜索引擎搜索,然后再去醫院,這些搜索關鍵詞構成了龐大的數據庫。
下圖為大數據技術的層次,最核心的大數據技術在數據存儲與管理、數據處理與分析這兩個層面。
兩大核心技術指的是分布式存儲、分布式處理。
分布式存儲:解決海量數據的存儲問題。單機無法存儲海量數據時,就借助集群進行分布式存儲。
分布式處理:解決海量數據的處理問題。單機無法高效完成海量數據處理時,就使用集群進行分布式處理。
目前有許多大數據相關產品存在,這些產品可能用于批處理、實時計算、交互式計算,但是沒有任何一款產品可以滿足所有需求。因此不同計算模式需要使用不同的產品。
典型的計算模式可以分為四種:
批處理計算:典型代表為MapReduce、Spark。
用于解決大規模數據的批量處理。
不適合做實時交互式計算,做不到秒級響應。
其中Spark實時性比MapReduce更好,并且可以進行迭代計算,比如數據挖掘需要迭代計算時就需要使用Spark。
流計算:典型代表為Storm、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數據處理平臺等。
需要進行實時處理,給出實時響應,否則分析結果就會失去商業價值。
流計算框架如下:
圖計算:典型代表為Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等。
處理大規模圖結構數據。
現實生活中比如社交網絡、交通網絡都可以轉成圖結構進行處理。
查詢分析計算:典型代表為Hive、Dremel、Cassandra、Impala等。
用于大規模數據的存儲管理和查詢分析。
計算模式總結表如下:
云計算要解決兩大核心問題:即海量數據存儲和處理問題。
云計算典型特征:虛擬化、多租戶。
云計算的概念:通過網絡以服務的方式為用戶提供非常廉價的IT資源。
云計算的優勢:企業不需要自建IT基礎設施,可以租用云端資源。
云計算的三種模式:公有云、混合云、私有云。
公有云舉例:百度云,面向所有用戶。
私有云舉例:電信、移動,面向企業內部。
混合云:部分給自己,部分給公眾。
三種云服務:IaaS、PaaS、SaaS
云計算關鍵技術:
云計算數據中心:數據中心是云計算的溫床。各種數據和應用都位于數據中心。
全球各地大量建設數據中心:
數據中心投資非常高昂、耗能非常大,因此必需建設在地址結構穩定、氣候涼爽的地方。
政務云、教育云、中小企業云、醫療云都是云計算的應用。
物聯網:IoT(The Internet of Things)
物聯網概念:物物相連的互聯網,是互聯網的延伸。
物聯網層次架構:
典型物聯網應用:智能公交。在公交車上的JPS定位相當于感知層,通過沿途基站傳輸信息,用戶通過因特網訪問。
物聯網的關鍵技術:
物聯網應用:
三者相輔相成,既有聯系又有區別。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/119621.html
摘要:在傳輸層前者提供面向連接的服務后者提供面向無連接或無連接的傳輸服務。共同點均實現異構網絡互聯,不同廠家數據通信網絡傳輸過程用戶自然語言通信數據應用層封裝分段數據單元協議控制信息網絡傳輸解封裝通信數據自然語言應用層用戶 ...
摘要:由于本人更習慣使用所以后續案例都是基于與,同時這里是基于最新的編寫的哦創建項目初次接觸,我們先來看看如何創建一個項目,這里以為例,其他的工具小伙伴們自行搜索創建方式。創建完項目后,各位小伙伴請認真細心的對比下與傳統的工程有何區別如目錄結構。 SpringBoot 是為了簡化 Spring 應用的創建、運行、調試、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身...
摘要:簡介年由公司發布的一門面向對象的程序設計語言虛擬機。兩個主要組件編譯器源程序轉成字節碼運行編譯后的程序后綴運行時環境。 Lecture1 Java簡介 1995年由Sun公司發布的一門面向對象的程序設計語言 JVM(Java Virtual Machine):Java虛擬機。是實現Java平臺無關性的關鍵Java程序的執行流程:解釋執行的過程由JVM來完成,即JVM把字節碼文件解釋...
摘要:在前面的文章中介紹過觀察者模式及并發編程的基礎知識,為了讓大家更好的了解觀察者模式故而特意寫了這篇番外概述在多線程下我們需要知道當前執行線程的狀態是什么比如運行,關閉,異常等狀態的通知,而且不僅僅是更新當前頁面。 在前面的文章中介紹過 觀察者模式 及 并發編程的基礎知識,為了讓大家更好的了解觀察者模式故而特意寫了這篇番外.. 概述 在Java多線程下,我們需要知道當前執行線程的狀態是...
摘要:每個對象只有一個鎖與之相關聯。實現同步則是以系統開銷作為代價,甚至可能造成死鎖,所以盡量避免濫用。這種機制確保了同一時刻該類實例,所有聲明為的函數中只有一個方法處于可執行狀態,從而有效避免了類成員變量訪問沖突。 synchronized是JAVA語言的一個關鍵字,使用 synchronized 來修飾方法或代碼塊的時候,能夠保證多個線程中最多只有一個線程執行該段代碼 ... 概述 ...
閱讀 3543·2021-10-09 09:41
閱讀 2746·2021-10-08 10:18
閱讀 2184·2021-09-10 10:51
閱讀 2680·2021-09-10 10:50
閱讀 777·2021-09-09 09:33
閱讀 3384·2021-09-06 15:14
閱讀 3019·2019-08-30 11:06
閱讀 3249·2019-08-29 14:04