10K 問題的解決：一個系統管理員如何管理 2000x 臺服務器

BothEyes1993 發布于2019-05-28 16:43 / 2834人閱讀

摘要：在數據中心，服務器管理員們并不需要面對這樣的挑戰，但根據來自紅帽的在最近在節目中所說，我們已經跨過了單個系統管理員管理過萬臺服務器的壁壘。回憶說，在九十年代，一個管理員只能管理四五臺微軟的服務器，一個的系統管理員也只能管理到臺的服務器。

什么是 10K 問題？

在 1999 年，Dan Kegel 向網絡服務器提出了一個駭人聽聞的難題：

是時候讓網絡服務器去同時應對 10000 個客戶端了，你覺得呢？畢竟網絡已經變得很普及了。

這就是著名的 C10K 問題。通過改善操作系統內核和從像 Apache 那樣的線程服務器遷移到像 Nginx, Node 這樣的事件驅動服務器，工程師們解決了這個 C10K 問題。

但現在我們面臨著一個更大的挑戰，如果同時應對一千萬個連接呢？要解決這個難題，需要些更變革的技術。

在數據中心，服務器管理員們并不需要面對這樣的挑戰，但根據來自紅帽(Red Hat)的 Dave Neary 在最近在 FLOSS Weekly 節目中所說，我們已經跨過了單個系統管理員管理過萬臺服務器的壁壘。

我們應該忽略這個里程碑事件嗎？

絕對不是。這樣 200x-2000x 的增長是一個了不起的成就。Dave 回憶說，在九十年代，一個管理員只能管理四五臺微軟的服務器，一個 Linux 的系統管理員也只能管理 50 到 60 臺的服務器。

現在，公司們已經開始用單個系統管理員管理超過 10，000 臺的服務器了，這個巨大的改變深刻影響了兩樣事情：1）IaaS，把數據中心改成彈性的可編程的資源，把操作從基礎設施中分離；2）開發操作革命，它強調工具、文化、自動化、度量、資源共享和基礎設施的編碼；

那么需要怎樣才可以令一個系統管理員就可以管理一千萬臺服務器呢？

誰會知道？當然是谷歌公司了。
James Hamilon說，計算服務器的數量是困難的，微軟說，他們有一百萬臺服務器，然后，谷歌的服務器預計會達到一千萬臺，所以我們離單個系統管理員管理千萬臺服務器的日子還有些遠；

但是，當這種情況發生時，下面所列就是這些系統的基礎：

把數據中心當成多帶帶一臺計算機那樣對待

然后，在數據中心內部，在計算機群上部署可復用的多維度多重作業，以便提高機器利用率和節約金錢

但這僅僅是一個數據中心，這并不是把你從十帶到百萬臺服務器。對于千萬臺的服務器，你必須利用好這些數據中心，所以，你要建一個 Spanner 那樣的可以管理百萬臺機器、幾百個數據中心和數萬億個數據項的系統；

當然，你還需要建造一個巨型網絡系統，把這些數據中心連接在一起；

最后，當你真的面臨一個系統管理員管理千萬臺的服務器，你很可能需要付出巨大的精力去做深入的挖掘，使得之前的工作變得有意義。

在高層面來說，單個服務器同時應對千萬個連接和單個系統管理員同時管理千萬臺機器是一樣的：可擴展性就是一切。

但在低層面，他們是完全不一樣的。處理千萬個連接是關于扁平化處理數據，減少層面，多帶帶自己的事情；而管理千萬臺服務器是關于把智能灌輸到更加智慧的層面；這就很像人類身體內部萬億個個體通過自己的小系統共同協作，然后被平衡化和去中心化的大腦所處理。

原文：We Finally Cracked The 10K Problem - This Time For Managing Servers With 2000x Servers Managed Per Sysadmin

翻譯：SegmentFault

云服務器 GPU云服務器多云管理解決問題問題跟蹤管理系統客戶如何管理系統控制管理臺

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/7890.html

物聯網高并發編程之C10K問題原理和解決方案

摘要：問題任一文件句柄的不成功會阻塞住整個應用。主要解決的前兩個問題通過一個數組向內核傳遞需要關注的事件消除文件句柄上限，同時使用不同字段分別標注關注事件和發生事件，來避免重復初始化。問題逐個排查所有文件句柄狀態效率不高。 C10K問題思維導圖 showImg(https://segmentfault.com/img/bVbkrKe?w=1818&h=1276); C10K問題出現前期大家...

dayday_up 2019-08-16 13:54 評論0 收藏0
為什么說單個容器的價值有限，以及多容器的難點和價值在哪里？

摘要：谷歌在萬臺機器的區間內，他們中位數集群尺寸大約在萬臺機器，也有一些更大的。谷歌稱，一個單獨的其專有的分配集群的首腦在一個谷歌對于集群的術語內能管理成千上萬臺機器。【文章簡介】本文討論了單個容器所無法解決的問題和局限性，并介紹了容器編排的必要性和復雜性及常用工具的比較，提到了諸如Kubernetes、Mesos等容器管理工具。就像之前已被證實的那樣，要在一個機器上創建成千上萬個容器還...

weakish 2019-07-01 16:21 評論0 收藏0
一臺服務器可以同時連接大于65536個客戶端嗎？

摘要：一個完整的連接由四個部分組成源源端口目的目的端口這就是經典的四元組。你沒看錯，服務器上只消耗這一個端口。但卻完全可以支撐下面這些連接連接客戶端服務器連接客戶端服務器連接非但如此，即使是只有一個客戶端，也可以向這個服務器建立多條連接的。平時工作和學習中，大家都知道一臺計算機的端口號總共有65535個，但一臺計算機真的只能建...

ASCH 2021-11-23 09:51 評論0 收藏0