摘要：基礎設施技術在這一領域經受了最為殘酷的考驗。支付寶在中國已經無處不在。中國之外除了本土技術，國外的一些技術也有了中國式規模的味道。在中國互聯網經濟大環境中，有一些問題一定要考慮到，特別是信息審查方面的問題。

本文轉載自公眾號「AI前線」。

策劃編輯｜Natalie

作者｜Kevin Xu

譯者｜無明

編輯｜Debra

AI 前線導讀：中國科技公司是典型的早期采用者——不是因為趕時髦，而是確實有必要這么做。“中國式規模”讓中國的互聯網經濟成為了高質量軟件（特別是基礎設施軟件）工程的成長沃土，這在開源技術上得到了充分體現。國內開發者和企業向各大開源基金會貢獻了越來越多的開源項目，而我們對國外的開源項目也產生了越來越大的影響。本文來自 PingCAP 全球戰略和運營總經理 Kevin Xu，AI 前線經授權翻譯。

我的 87 歲的祖母住在沈陽郊區的一所老房子里。雖然她年歲已高，但卻很有技術悟性。平常她會用三個 App 進行網購：在京東上買書，在拼多多上買水果，在淘寶上買其他東西（襯衫、圍巾、洗滌劑、數獨板）。

這三個 App 剛好是由中國電商市場的三巨頭開發的，其規模遠遠超出了千禧一代（1980 至 1994 年出生的人群）和 Z 世代（1995 至 2009 年出生的人群）的受眾總和。

正是這種“中國式規模”讓中國的互聯網經濟成為高質量軟件（特別是基礎設施軟件）工程的成長沃土。

電子商務是中國互聯網經濟增長最快的垂直領域之一，同時也帶動了數字支付和物流配送的發展。基礎設施技術在這一領域經受了最為殘酷的考驗。“雙十一”是最為典型的案例，這是由阿里巴巴提出的一個網購節日，每年的 11 月 11 日，淘寶和天貓都會如期慶祝這個節日。2017 年雙十一總銷售額為 253 億美元，2018 年增長到了 308 億美元。

中國第二大電子商務平臺京東也有自己的年中購物節，即“618”，這是一個為期 18 天的促銷活動，截止 6 月 18 日，這天剛好是京東的成立紀念日。2017 年，618 的總銷售額為 176 億美元，2018 年增長到了 284 億美元。

美國亞馬遜的年中購物節 Prime Day 在 2018 年和 2017 年分別創造了 41.9 億美元和 24.1 億美元的銷售額。美國感恩節購物季在 2018 年和 2017 年的銷售額分別為 178 億美元和 196.2 億美元。

對于工程師來說，有趣的不是令人瞠目結舌的銷售數據，而是如何構建可以應對這些工作負載的基礎設施。2017 年，阿里巴巴公布了雙十一期間系統的高峰吞吐量：每秒 25.6 萬筆交易和每秒 4200 萬次查詢。

不難想象，在這些促銷活動期間，肯定會不可避免地出現大量的事務、查詢、數據一致性問題、實時分析容量和其他難以想象的邊緣情況。

除了這些公司，所有其他想要搭上這些促銷活動順風車的電子商務公司、所有為用戶在線購物提供電子支付解決方案的銀行，以及所有的物流中心和倉儲中心——他們都需要有好的基礎設施技術來應對新的工作負載和流量增長。

由于這種增長速度，以及由此產生的競爭壓力，中國科技公司在采用新技術方面具有相當強的風險承受能力。

一家公司找到合適的產品市場，然后在不到兩個月的時間內采用未經證實但很有前景的新技術為高速增長的流量提供服務，這種事情并非聞所未聞。京東在 2016 年初開始采用 Kubernetes，當時離谷歌開源 Kubernetes 還不到一年的時間，因為他們必須解決可伸縮性問題，而 OpenStack 沒能幫他們實現這一目標。(京東現在擁有全球最大的 Kubernetes 集群，運行在 2 萬臺裸機上)

中國科技公司是典型的早期采用者——不是因為趕時髦，而是確實有必要這么做。中國擁有世界上最多的互聯網用戶（8 億，并且還在增加當中），他們的規模（以及規模所帶來的不可預知的行為）足夠大，大到足以促使這些科技公司認真對待每一項技術。從這些公司生存下來的技術會變得更強大、更有彈性，也更值得被用在其他地方。

很多行為是不可能在構建模式下進行預測或測試的。

你該如何通過 Paxos 或 Raft 來模擬系統達到 100 倍查詢峰值時的網絡流量？當一件商品、一首歌或一段視頻突然變得像病毒一樣迅速傳播，而所有用戶都在試圖訪問它們，而更糟糕的是，有價值的廣告收入取決于系統不能崩潰，在這種情況下，你該如何處理數據熱點問題？當數據增長率為每天數 TB 時，應該如何擴展存儲容量?

所有這些情況，在很多中國科技公司中時有發生。他們正在迅速地尋找新的解決方案，以迎接這些挑戰——這為考驗這些創新技術提供了一片沃土。

“中國式規模”已經催生了一些由中國原創的基礎設施技術。去年，云原生計算基金會（CNCF）接受了其中的三個項目：Harbor、TiKV 和 DragonFly。它們的架構和用例都在之前的一篇文章（https://softwareengineeringdaily.com/2018/12/09/chinese-open-source-software/）中做了很好的介紹。在 CNCF 生態系統之外，還有其他一些值得關注的項目。

由螞蟻金服開發的分布式關系數據庫，最初用于支持支付寶。支付寶在中國已經無處不在。此后，OceanBase 逐漸成為阿里巴巴所有關鍵電子商務平臺（如淘寶和天貓）的核心交易數據庫。它也是一個獨立的產品，南京銀行就是它的用戶之一。

2014 年以來，它經歷了五次雙十一的考驗。可惜的是，它是一個閉源產品，在中國以外沒有得到廣泛采用，所以與其架構、設計或工程方面相關的英文信息并不多。

一個開源的、兼容 MySQL 的 NewSQL 分布式數據庫，由 PingCAP 于 2015 年創建。

它采用了分層架構，SQL 處理層（左邊的 TiDB 集群）和可水平伸縮的存儲層（中間的 TiKV 集群）被分隔開來。（注：TiKV 也由 PingCAP 發起，但現在由 CNCF 托管）。這個設計靈感來自于谷歌的 Spanner 和基于 Spanner 構建的 F1 項目。PD（Placement Driver）集群保存元數據，提供一些負載均衡支持，并提供時間戳（作為系統事務模型的一部分）。TiSpark 集群是一個可選組件，用戶可以直接基于保存在 TiKV 中的數據運行 Spark 作業。

目前，中國已經有幾百家公司在生產環境中部署了 TiDB，如摩拜、北京銀行和愛奇藝。國外也有一些大型互聯網公司使用了 TiDB，如 Shopee 和 BookMyShow。

注：PingCAP 現已提供 TiDB 的企業版和云服務，同時也在維護開源社區版本。

一個快速的 OLAP（在線分析處理）引擎，最初由 eBay 中國團隊開發，在 2014 年貢獻給 Apache 基金會，并在 2015 年底成為頂級項目。

Kylin 主要被用在 Hadoop 生態系統中，為數百億行數據的分析查詢帶來可觀的速度提升。用戶先定義數據模型，然后利用 Hadoop 的分布式特性并行運行多個 MapReduce 作業，用以預構建必要的多維模型（也稱為“MOLAP”）。最后，Kylin 將預先計算的模型存儲在 HBase 中，供用戶查詢。它還使用 Zookeeper 來協調和管理這個過程的不同部分。

作為大數據分析引擎，Kylin 集成了 Tableau、MicroStrategy、Excel 等流行的 BI 工具。它還提供了一個 RESTful API，方便與第三方應用程序連接。除了 eBay，它還在 OPPO、百度、中國太平洋保險等公司經受過實戰考驗，三星和摩根大通也是它的用戶。

一個相對較新的開源應用程序性能監監控（APM）工具，用于在基于容器的環境中監控微服務。2017 年底，它成為 Apache 基金會的孵化器項目。

Skywalking 通過服務網格從微服務中提取指標，并利用 Jaeger 等流行工具來跟蹤信息，并可以查詢和分析這些指標和信息，還可以使用團隊開發的 UI 進行可視化。它還提供了一個可插拔的存儲接口，借助這個接口，可以將信息保存在一些流行的數據庫中，比如 Elasticsearch、MySQL 和 TiDB。

盡管這個項目成立還不到兩年，但中國的一些大型公司已經在使用它，如華為、小米和貝殼。

除了本土技術，國外的一些技術也有了“中國式規模”的味道。京東是 Prometheus、Vitesse、Jenkins 和 GitLab 等技術的用戶，百度是 CockroachDB（另一個受 Spanner 啟發的開源數據庫，類似于 TiDB）的用戶。Alluxio，一個分布式文件系統統一層，可以以內存速度運行（源自加州大學伯克利分校 AMPLab 的一個名為 Tachyon 的研究項目），也在百度、中國聯通和滴滴出行等企業中得到采用。

中國公司不僅在大規模采用這些技術，有時候甚至直接收購它們。開源數據流平臺 Apache Flink 由柏林技術大學于 2009 年創建，作為 Stratosphere 研究項目的一部分。阿里巴巴最終收購了由 Flink 創始人創辦的 dataArtisan（該公司的目的是商業化 Flink）。

作為工程師，我們知道沒有什么技術是絕對的，它們總是存在權衡。我們總是在吞吐量和延遲、數據一致性和響應時間、新特性和系統穩定性之間做出權衡。我們很少能魚與熊掌兼得，我們也不相信把自己標榜得太高的技術。

市場的選擇也是如此。在中國互聯網經濟大環境中，有一些問題一定要考慮到，特別是信息審查方面的問題。比如，對侵犯知識產權行為的法律追索仍然不太可靠，有關企業使用個人數據的監管尚處于初級階段。

但如果你是一名開發者，正在尋找一些穩定可靠的技術（已經“面面俱到”的技術），那么那些已經在中國互聯網環境中經受過實戰考驗的技術將是安全的選擇。

如果你的團隊正在構建下一個大項目，尤其是在基礎設施層面，那么把這個項目交給中國的幾家科技巨頭公司，將會為項目帶來跨越式的發展。

另外，你們的努力很可能也會為我的祖母帶來更快樂的生活！

英文原文：

https://softwareengineeringdaily.com/2019/02/26/china-scale-the-new-sandbox-to-battle-test-innovative-technology/

作者介紹:

Kevin Xu 是 PingCAP 全球戰略和運營總經理。他在斯坦福大學完成計算機科學與法律專業的學習。主要關注分布式系統、云原生技術、自然語言處理和開源。