国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Chapter1 大數據概述

Dean / 776人閱讀

摘要:大數據時代第三次信息化浪潮年前后,以云計算大數據物聯網的首發為標志迎來第三次信息化浪潮。大數據的發展歷程大數據的概念和影響大數據的特性特性指。處理大規模圖結構數據。物聯網應用大數據云計算物聯網的關系三者相輔相成,既有聯系又有區別。

1.1 大數據時代

1.1.1第三次信息化浪潮

2010年前后,以云計算、大數據、物聯網的首發為標志迎來第三次信息化浪潮。

IT發展史歷經的信息化浪潮如下:

1.1.2 大數據時代的到來需要技術支撐


主要表現為:

  1. 存儲設備容量不斷增加
  2. CPU處理能力大幅提升
  3. 網絡帶寬不斷增加

1.1.3 數據產生方式的變革促進大數據時代到來

第一階段:運營式系統階段。實例:購物記錄。數據僅由運營系統生成。
第二階段:用戶原創內容階段。實例:微信。每個網民都成為自媒體,可以向網絡發送信息。但到此為止還不足以促進大數據時代到來。
第三階段:感知式系統階段。物聯網(IoT)的大規模普及,實現了萬物互聯。物聯網底層是感知層,比如攝像頭、傳感器,這些設備時刻生成大量數據,物聯網的興起促使了大數據時代到來。

1.1.4 大數據的發展歷程

1.2 大數據的概念和影響

1.2.1大數據的4V特性

4V特性指velocity、variety、value、volume。

(1)數據量大:
大數據摩爾定律(根據IDC作出的估測,數據一直都在以每年50%的速度增長,也就是說每兩年就增長一倍)。
人類在最近兩年產生的數據量相當于之前產生的全部數據量。

(2)數據類型繁多:
大數據是由結構化和非結構化數據組成:

  • 結構化數據存儲在關系型數據庫中,只占10%。
  • 大部分都是非結構化數據,類型非常多。

(3)處理速度快:
目前很多企業都需要秒級決策。從數據的生成到消耗,時間窗口非常小,可用于生成決策的時間非常少。
1秒定律:這一點和傳統的數據挖掘技術有著本質的不同。

(4)價值密度低,商業價值高:
如此大量的數據,很多可能都是沒有價值的數據。比如監控攝像頭時刻生成大量數據需要進行存儲,一旦發生案件時,攝像頭存儲的視頻才有用,但發生案件的幾率很小,因此價值密度低很低。

1.2.2大數據的影響

圖靈獎獲得者Jim Gray博士總結人類在科學研究上,先后經歷了實驗、理論、計算和數據四種范式。

在思維方式方面,大數據完全顛覆了傳統的思維方式:

  1. 全樣而非抽樣
    大數據時代之前,我們無法保存和分析所有數據,只能統計學采用抽樣進行分析,舍棄了很多數據,只抽取一部分數據進行存儲、計算、分析。
    而現在我們有足夠的空間、可以構建服務器集群進行龐大數據處理,就可以做全樣的數據分析。
  2. 效率而非精確
    之前在做抽樣統計時,需要不斷提高算法精度,因為抽樣計算的結果誤差放到全樣上會被放大,容易超出許可范圍。
    而全樣分析不存在誤差放大的問題,不追求精確度,而追求時效性、追求效率。
  3. 相關而非因果
    更多的追求事物的相關性,而不關注因果關系。不問為什么,只關注關聯性。

1.3 大數據的應用

1.3.1大數據的應用領域

1.3.2舉例:流感預測

谷歌使用大數據預測流感趨勢,利用搜索引擎實時收集用戶搜索的信息。
通常遇到疾病時,會首先使用搜索引擎搜索,然后再去醫院,這些搜索關鍵詞構成了龐大的數據庫。

1.4 大數據的關鍵技術

1.4.1大數據技術的層次

下圖為大數據技術的層次,最核心的大數據技術在數據存儲與管理、數據處理與分析這兩個層面。

1.4.2兩大核心技術

兩大核心技術指的是分布式存儲、分布式處理。

分布式存儲:解決海量數據的存儲問題。單機無法存儲海量數據時,就借助集群進行分布式存儲。

分布式處理:解決海量數據的處理問題。單機無法高效完成海量數據處理時,就使用集群進行分布式處理。

1.4.3大數據技術以谷歌公司技術為代表

1.4.4大數據計算模式

目前有許多大數據相關產品存在,這些產品可能用于批處理、實時計算、交互式計算,但是沒有任何一款產品可以滿足所有需求。因此不同計算模式需要使用不同的產品。
典型的計算模式可以分為四種:

  1. 批處理計算:典型代表為MapReduce、Spark。
    用于解決大規模數據的批量處理
    不適合做實時交互式計算,做不到秒級響應。
    其中Spark實時性比MapReduce更好,并且可以進行迭代計算,比如數據挖掘需要迭代計算時就需要使用Spark。

  2. 流計算:典型代表為Storm、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數據處理平臺等。
    需要進行實時處理,給出實時響應,否則分析結果就會失去商業價值。

    流計算框架如下:

  3. 圖計算:典型代表為Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等。
    處理大規模圖結構數據。
    現實生活中比如社交網絡、交通網絡都可以轉成圖結構進行處理。

  4. 查詢分析計算:典型代表為Hive、Dremel、Cassandra、Impala等。
    用于大規模數據的存儲管理和查詢分析。

計算模式總結表如下:

1.5 大數據與云計算、物聯網的關系

1.5.1云計算

云計算要解決兩大核心問題:即海量數據存儲和處理問題。

云計算典型特征:虛擬化多租戶

云計算的概念:通過網絡以服務的方式為用戶提供非常廉價的IT資源。

云計算的優勢:企業不需要自建IT基礎設施,可以租用云端資源。

云計算的三種模式:公有云、混合云、私有云。
公有云舉例:百度云,面向所有用戶。
私有云舉例:電信、移動,面向企業內部。
混合云:部分給自己,部分給公眾。

三種云服務:IaaS、PaaS、SaaS

  1. IaaS:基礎設置即服務
    將基礎設施(計算資源和存儲)作為服務出租。
    比如亞馬遜提供了EC2,可以直接購買并在環境上安裝系統和業務等,平臺已經提供CPU等資源。
  2. PaaS:平臺即服務
    個體沒有能力獨立開發云計算產品,不具備環境。
    比如新浪搭建了云計算分布式開發平臺Sina App Engine,可以購買后在新浪上開發、部署云服務。
  3. SaaS:軟件即服務
    將軟件作為服務出售。
    典型案例:云財務軟件。
    從一個集中的系統部署軟件,使之在一臺本地計算機上(或從云中遠程地)運行的一個模型。由于是計量服務,SaaS允許出租應用程序,并計時收費。

云計算關鍵技術:

  • 多租戶:同時為多個用戶服務。
  • 虛擬化:上機操作均基于Linux環境,可以利用虛擬化技術,再虛擬機上裝Linux系統。比如虛擬專用網VPN。

云計算數據中心:數據中心是云計算的溫床。各種數據和應用都位于數據中心。

全球各地大量建設數據中心:

數據中心投資非常高昂、耗能非常大,因此必需建設在地址結構穩定、氣候涼爽的地方。

政務云、教育云、中小企業云、醫療云都是云計算的應用。

1.5.2物聯網

物聯網:IoT(The Internet of Things)

物聯網概念:物物相連的互聯網,是互聯網的延伸。

物聯網層次架構:

典型物聯網應用:智能公交。在公交車上的JPS定位相當于感知層,通過沿途基站傳輸信息,用戶通過因特網訪問。

物聯網的關鍵技術:

  1. 識別與感知技術(二維碼、RFID、傳感器等)
  2. 網絡與通信技術
  3. 數據挖掘與融合技術等。

物聯網應用:

1.5.3大數據、云計算、物聯網的關系

三者相輔相成,既有聯系又有區別。

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/119621.html

相關文章

  • chapter1:計算機網絡概述

    摘要:在傳輸層前者提供面向連接的服務后者提供面向無連接或無連接的傳輸服務。共同點均實現異構網絡互聯,不同廠家數據通信網絡傳輸過程用戶自然語言通信數據應用層封裝分段數據單元協議控制信息網絡傳輸解封裝通信數據自然語言應用層用戶 ...

    lidashuang 評論0 收藏0
  • 一起來學SpringBoot | 第一篇:構建第一個SpringBoot工程

    摘要:由于本人更習慣使用所以后續案例都是基于與,同時這里是基于最新的編寫的哦創建項目初次接觸,我們先來看看如何創建一個項目,這里以為例,其他的工具小伙伴們自行搜索創建方式。創建完項目后,各位小伙伴請認真細心的對比下與傳統的工程有何區別如目錄結構。 SpringBoot 是為了簡化 Spring 應用的創建、運行、調試、部署等一系列問題而誕生的產物,自動裝配的特性讓我們可以更好的關注業務本身...

    jayce 評論0 收藏0
  • Chapter1 Java初識

    摘要:簡介年由公司發布的一門面向對象的程序設計語言虛擬機。兩個主要組件編譯器源程序轉成字節碼運行編譯后的程序后綴運行時環境。 Lecture1 Java簡介 1995年由Sun公司發布的一門面向對象的程序設計語言 JVM(Java Virtual Machine):Java虛擬機。是實現Java平臺無關性的關鍵Java程序的執行流程:解釋執行的過程由JVM來完成,即JVM把字節碼文件解釋...

    K_B_Z 評論0 收藏0
  • 一起學并發編程 - 利用觀察者模式監聽線程狀態

    摘要:在前面的文章中介紹過觀察者模式及并發編程的基礎知識,為了讓大家更好的了解觀察者模式故而特意寫了這篇番外概述在多線程下我們需要知道當前執行線程的狀態是什么比如運行,關閉,異常等狀態的通知,而且不僅僅是更新當前頁面。 在前面的文章中介紹過 觀察者模式 及 并發編程的基礎知識,為了讓大家更好的了解觀察者模式故而特意寫了這篇番外.. 概述 在Java多線程下,我們需要知道當前執行線程的狀態是...

    Juven 評論0 收藏0
  • 一起學并發編程 - synchronized詳解

    摘要:每個對象只有一個鎖與之相關聯。實現同步則是以系統開銷作為代價,甚至可能造成死鎖,所以盡量避免濫用。這種機制確保了同一時刻該類實例,所有聲明為的函數中只有一個方法處于可執行狀態,從而有效避免了類成員變量訪問沖突。 synchronized是JAVA語言的一個關鍵字,使用 synchronized 來修飾方法或代碼塊的時候,能夠保證多個線程中最多只有一個線程執行該段代碼 ... 概述 ...

    acrazing 評論0 收藏0

發表評論

0條評論

最新活動
閱讀需要支付1元查看
<