Flink1.7穩定版發布：新增功能為企業生產帶來哪些好處

Hwg 發布于2019-04-29 17:49 / 2255人閱讀

摘要：通過狀態演變，可以在狀態模式中添加或刪除列，以便更改應用程序部署后應捕獲的業務功能。本地恢復通過擴展的調度來完成本地恢復功能，以便在恢復時考慮先前的部署位置。此功能大大提高了恢復速度。

問題導讀

1．Flink1．7開始支持Scala哪個版本？

2．Flink1．7狀態演變在實際生產中有什么好處？

3．支持SQL／Table API中的富集連接可以做那些事情？

4．Flink1．7新增了哪些連接器

Apache Flink社區宣布Apache Flink 1．7．0發布。最新版本包括超過420個已解決的問題以及Flink的一些新增內容，About云將在本文的以下部分中對其進行描述。

一、概述

在Flink 1．7．0中，更接近實現快速數據處理和以無縫方式為Flink社區實現構建數據密集型應用程序的目標。最新版本包括一些新功能和改進，例如對Scala 2．12的支持， exactly－once S3文件sink，復雜事件處理與流SQL的集成，下面有更多功能。

二、新功能和改進

1．Flink支持Scala 2．12：

Apache Flink 1．7．0是第一個完全支持Scala 2．12的版本。這允許用戶使用較新的Scala版本編寫Flink應用程序，并利用Scala 2．12生態系統。

2．支持狀態演變

在許多情況下，由于需求的變化，長期運行的Flink應用程序需要在其生命周期內變化。在不丟失當前應用程序進度的狀態下更改用戶狀態是應用程序發展的關鍵要求。

通過Flink 1．7．0，社區添加了狀態演變，允許靈活地調整長時間運行的應用程序的用戶狀態模式，同時保持與先前保存點的兼容性。通過狀態演變，可以在狀態模式中添加或刪除列，以便更改應用程序部署后應捕獲的業務功能。

當使用Avro生成的類作為用戶狀態時，狀態模式演變現在可以開箱即用，這意味著狀態模式可以根據Avro的規范

進行演變。雖然Avro類型是Flink 1．7中唯一支持模式演變的內置類型，但社區在未來的Flink版本中進一步擴展對其他類型的支持。

3．S3 StreamingFileSink實現Exactly－once

Flink 1．6．0中引入的StreamingFileSink現在已經擴展到支持寫入S3文件系統，只需一次處理保證。使用此功能允許用戶構建寫入S3的一次性端到端管道。

4．Streaming SQL支持MATCH＿RECOGNIZE

這是Apache Flink 1．7．0的一個重要補充，它為Flink SQL提供了MATCH＿RECOGNIZE標準的初始支持。此功能結合了復雜事件處理（CEP）和SQL，可以輕松地在數據流上進行模式匹配，從而實現一整套新的用例。【此功能處于測試階段】

5．支持Flink SQL ／ Table API中的富集連接

時態（Temporal ）表是Apache Flink中的一個新概念，它為表的更改歷史提供（參數化）視圖，并在特定時間點返回表的內容。

例如，我們可以使用具有歷史貨幣匯率的表格。隨著時間的推移，這種表格不斷增長／變化，并且增加了新的更新匯率。時態（Temporal ）表是一種視圖，可以將這些匯率的實際狀態返回到任何給定的時間點。使用這樣的表格，可以使用正確的匯率將不同貨幣的訂單流轉換為通用貨幣。

Temporal Joins允許使用處理時間或事件時間，在符合ANSI SQL的情況下，使用不斷變化／更新的表來進行內存和計算效率的Streaming數據連接。

6．流式SQL的其他功能

除了上面提到的主要功能外，Flink的Table＆SQL API已經擴展到更多用例。

API中添加了以下內置函數：TO＿BASE64，LOG2，LTRIM，REPEAT，REPLACE，COSH，SINH，TANH
SQL Client現在支持在環境文件和CLI會話中定義視圖。此外，CLI中還添加了基本的SQL語句自動完成功能。

社區添加了一個 Elasticsearch 6 table sink，它允許存儲動態表的更新結果。

7．版本化REST API

從Flink 1．7．0開始，REST API已經版本化。這保證了Flink REST API的穩定性，因此可以在Flink中針對穩定的API開發第三方應用程序。因此，未來的Flink升級不需要更改現有的第三方集成。

8．Kafka 2．0連接器
Apache Flink 1．7．0繼續添加更多連接器（Connector ），使其更容易與更多外部系統進行交互。在此版本中，社區添加了Kafka 2．0連接器，該連接器允許通過一次性保證讀取和寫入Kafka 2．0。

9．本地恢復

Apache Flink 1．7．0通過擴展Flink的調度來完成本地恢復功能，以便在恢復時考慮先前的部署位置。

如果啟用了本地恢復，Flink將在運行任務的計算機上保留最新檢查點的本地副本。通過將任務調度到以前的位置，Flink將通過從本地磁盤讀取檢查點狀態來最小化恢復狀態的網絡流量。此功能大大提高了恢復速度。

10．刪除Flink的傳統模式

Apache Flink 1．7．0標志著Flip－6工作已完全完成并且與傳統模式達到功能奇偶校驗的版本。因此，此版本刪除了對傳統模式的支持。如果想使用傳統模式，可以使用Flink1．6．

GPU云服務器云服務器企業使用云主機能帶來哪些好處中文域名帶來的好處企業使用云vps能帶來哪些好處企業使用云服務器能帶來哪些好處

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/5558.html

【面試精選】關于大型網站系統架構你不得不懂的10個問題

摘要：降級往往會指定不同的級別，面臨不同的異常等級執行不同的處理。談談你對和的認識兩者關系具體可以看公眾號阿里巴巴中間件的這篇文章獨家解讀從微服務框架到微服務生態與并不是競爭關系，作為成熟的框架，其易用性擴展性和健壯性已得到業界的認可。該文已加入筆主的開源項目——JavaGuide（一份涵蓋大部分Java程序員所需要掌握的核心知識的文檔類項目),地址:https://github.com/...

leiyi 2019-08-16 15:25 評論0 收藏0
【面試精選】關于大型網站系統架構你不得不懂的10個問題

摘要：降級往往會指定不同的級別，面臨不同的異常等級執行不同的處理。談談你對和的認識兩者關系具體可以看公眾號阿里巴巴中間件的這篇文章獨家解讀從微服務框架到微服務生態與并不是競爭關系，作為成熟的框架，其易用性擴展性和健壯性已得到業界的認可。該文已加入筆主的開源項目——JavaGuide（一份涵蓋大部分Java程序員所需要掌握的核心知識的文檔類項目),地址:https://github.com/...

luqiuwen 2019-06-24 18:20 評論0 收藏0
2016年最具潛力前端開源項目Top20

摘要：作為年最具潛力，乃至最具影響力的前端開源項目真的不為過。通過上的介紹，這個項目是偏右阿里的前端大牛和阿里的前端大牛主導，而且從中也不難看出有些部分是來自參與過的項目。 showImg(https://segmentfault.com/img/bVH8b2?w=900&h=500); 在2016年，前端的開源世界越發精彩，Vue的不斷壯大，Angular 2的發布，Amaze UI 3....

winterdawn 2019-08-30 13:21 評論0 收藏0