數(shù)據(jù)庫運(yùn)維方案SEARCH AGGREGATION
回答:個(gè)人的觀點(diǎn)，這種大表的優(yōu)化，不一定上來就要分庫分表，因?yàn)楸硪坏┍徊鸱郑_發(fā)、運(yùn)維的復(fù)雜度會(huì)直線上升，而大多數(shù)公司是欠缺這種能力的。所以MySQL中幾百萬甚至小幾千萬的表，先考慮做單表的優(yōu)化。單表優(yōu)化單表優(yōu)化可以從這幾個(gè)角度出發(fā)：表分區(qū)：MySQL在5.1之后才有的，可以看做是水平拆分，分區(qū)表需要在建表的需要加上分區(qū)參數(shù)，用戶需要在建表的時(shí)候加上分區(qū)參數(shù)；分區(qū)表底層由多個(gè)物理子表組成，但是對(duì)于代碼來...
周國(guó)輝
|
1937人閱讀
回答:在大數(shù)據(jù)領(lǐng)域大概有四個(gè)大的工作方向，除了大數(shù)據(jù)平臺(tái)應(yīng)用及開發(fā)、大數(shù)據(jù)分析與應(yīng)用和大數(shù)據(jù)平臺(tái)集成與運(yùn)維之外，還有大數(shù)據(jù)平臺(tái)架構(gòu)與研發(fā)，除了以上四個(gè)大的工作方向之外，還有一個(gè)工作方向是大數(shù)據(jù)技術(shù)推廣和培訓(xùn)，這部分工作目前也有不少人在從事。大數(shù)據(jù)平臺(tái)架構(gòu)與研發(fā)主要的工作內(nèi)容是研發(fā)底層的大數(shù)據(jù)平臺(tái)，這部分工作的難度較高，從事這部分工作的研發(fā)級(jí)崗位也并不多。現(xiàn)在不少技術(shù)研發(fā)團(tuán)隊(duì)都以Hadoop、Spark平...
zhangxiangliang
|
3500人閱讀
...個(gè) data pipeline，加上一個(gè)基于 lucene/elasticsearch 的時(shí)間序列數(shù)據(jù)庫。監(jiān)控是最容易被中型公司外包出去的業(yè)務(wù)，所以這方面的創(chuàng)業(yè)公司也最多。但是中國(guó)的國(guó)情是網(wǎng)絡(luò)傳輸成本大于計(jì)算成本，所以如何在客戶計(jì)算中心內(nèi)完成采集，...
...之年，也是云智慧由SaaS服務(wù)商脫胎換骨，華麗變身業(yè)務(wù)運(yùn)維解決方案服務(wù)商，實(shí)現(xiàn)資源聚合、產(chǎn)業(yè)裂變之年。過去一年里，云智慧推出了面向企業(yè)核心業(yè)務(wù)全生命周期的業(yè)務(wù)運(yùn)維解決方案，孵化了專注于大數(shù)據(jù)可視化的全資子...
...而知。看似簡(jiǎn)單的雙十一背后牽扯到是包括支付、架構(gòu)、數(shù)據(jù)庫、網(wǎng)絡(luò)、運(yùn)維、電力、客服、物流等整個(gè)商業(yè)配套基礎(chǔ)設(shè)施的協(xié)同和考驗(yàn)。雙十一大促這些年，運(yùn)維領(lǐng)域邁過了哪些坑？智能化運(yùn)維初露端倪的今天，企業(yè)又該如何...
...WindRDS 的數(shù)據(jù)平臺(tái)，對(duì)于數(shù)據(jù)的存儲(chǔ)當(dāng)前選用流行的 MySQL 數(shù)據(jù)庫，面對(duì)每年 T 級(jí)的數(shù)據(jù)增長(zhǎng)量，以及隨著數(shù)據(jù)量的快速增長(zhǎng)導(dǎo)致訪問性能的急劇下降，目前也只是通過傳統(tǒng)的分表、分庫等解決方案進(jìn)行優(yōu)化，但性能提升未達(dá)到預(yù)...
...特別慢，工作人員也不知道為什么。由于他們剛上了業(yè)務(wù)運(yùn)維，支持這套系統(tǒng)的云智慧后臺(tái)管理人員通過數(shù)據(jù)一層層梳理，最后確定到某個(gè)區(qū)域的某個(gè)數(shù)據(jù)中心的某一塊硬盤緩存溢滿，導(dǎo)致交易變慢。找到并解決問題之后，該咖...
...的可用性提供KPI。 運(yùn)維發(fā)布變更工具 版本管理工具（數(shù)據(jù)庫）：所有的發(fā)布應(yīng)該以版本管理為起點(diǎn)。研發(fā)給的版本包先入版本管理工具，再?gòu)陌姹竟芾砉ぞ叻职l(fā)到現(xiàn)網(wǎng)發(fā)布。杜絕 rsync 一臺(tái)服務(wù)器發(fā)布另外一臺(tái)的做法。 配置...
...的業(yè)務(wù)故障投訴后，需要對(duì)各種關(guān)聯(lián)系統(tǒng)的網(wǎng)絡(luò)、應(yīng)用、數(shù)據(jù)庫、主機(jī)進(jìn)行逐一排查，故障處置周期長(zhǎng)、效率低，對(duì)業(yè)務(wù)造成嚴(yán)重影響。因此，互聯(lián)網(wǎng)+業(yè)務(wù)與IT的融合首先要求企業(yè)轉(zhuǎn)變傳統(tǒng)運(yùn)維模式，在對(duì)基礎(chǔ)架構(gòu)和系統(tǒng)的運(yùn)行...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...
宋華
張利勇
劉福
馬忠志
