關(guān)于數(shù)據(jù)庫(kù)分區(qū)，分表，分庫(kù)，我通俗易懂的來(lái)舉幾個(gè)栗子，看過(guò)還不懂，你打我。。。

村里一家四口人(老爹叫A)有兩兒子(分別是A1，A2)，長(zhǎng)大了要自己種地了，就嚷嚷著要分家，把村東的一塊地給大兒子A1，村西的給二兒子A2，但是這時(shí)候戶口本上記錄的還是一家四口(對(duì)外顯示還是一家人)，國(guó)土局統(tǒng)計(jì)村西土地面積的時(shí)候直接讓A去匯報(bào)，然后A去讓A2測(cè)量并匯報(bào)，不涉及到A1！

這就是分區(qū):對(duì)外只展示一張表，但是表內(nèi)部分區(qū)到不同的磁盤(pán)上，只需要其中一部分?jǐn)?shù)據(jù)的時(shí)候可直接映射相應(yīng)的區(qū)進(jìn)行查找，避免了全表掃描，提升了查找，插入數(shù)據(jù)的性能，一般是數(shù)據(jù)庫(kù)層面實(shí)現(xiàn)的，如下圖所示:

分區(qū)可分為水平分區(qū)和垂直分區(qū)，通常水平分區(qū)用的比較多，算法有按照某個(gè)字段的大小等，某個(gè)字段的hash分等等！

啥是分表呢？還是上面那一家子，分家了之后，戶口也變了，變成了三家，國(guó)土局讓上報(bào)數(shù)據(jù)的時(shí)候，需要分別通知三家進(jìn)行，比如只需要村西的統(tǒng)計(jì)，那么還是只用找二兒子A2就行了(三家已經(jīng)是多帶帶的數(shù)據(jù)庫(kù)表了)

分表:對(duì)外展示多張小表，業(yè)務(wù)代碼訪問(wèn)之前，需要先通過(guò)計(jì)算分表策略算法，來(lái)選擇具體訪問(wèn)哪一張表，和分區(qū)一樣，避免了全表的訪問(wèn)，分表如下圖示:

分庫(kù):跟分表有異曲同工之妙，但是分庫(kù)的級(jí)別為數(shù)據(jù)庫(kù)級(jí)別(按上面的例子，就得提升到村子級(jí)別了)，簡(jiǎn)單來(lái)說(shuō)就算是你一個(gè)庫(kù)是關(guān)系型數(shù)據(jù)庫(kù)，一個(gè)庫(kù)是nosql數(shù)據(jù)庫(kù)也是可以稱(chēng)為分庫(kù)的，這對(duì)于庫(kù)的引擎，連接方式都可以有不同的實(shí)現(xiàn)！

分庫(kù)通常在不同的數(shù)據(jù)庫(kù)服務(wù)節(jié)點(diǎn)上，避免單庫(kù)宕機(jī)對(duì)全部數(shù)據(jù)服務(wù)帶來(lái)的影響，同時(shí)也提供了更大的數(shù)據(jù)庫(kù)并發(fā)能力！
關(guān)于分庫(kù)，分表，分區(qū)是不是很簡(jiǎn)單？

現(xiàn)在分庫(kù)分表使用的更加的廣泛，業(yè)界也提供了大量成熟的數(shù)據(jù)庫(kù)中間件來(lái)提供分庫(kù)分表，比如mycat，sharding-jdbc等等，只需要根據(jù)業(yè)務(wù)選擇合適的分庫(kù)分表策略，結(jié)合相應(yīng)組件就能輕松搭建起一個(gè)分庫(kù)分表數(shù)據(jù)服務(wù)，不過(guò)隨之而來(lái)的全局唯一數(shù)據(jù)，統(tǒng)計(jì)，連接查詢等才是更加需要關(guān)注的，更多的技術(shù)分享，敬請(qǐng)關(guān)注。。。

什么是分區(qū)？

數(shù)據(jù)庫(kù)分區(qū)一般指的是數(shù)據(jù)庫(kù)的表分區(qū)，下面我們以MYSQL為例來(lái)講解數(shù)據(jù)庫(kù)分區(qū)，其他數(shù)據(jù)庫(kù)道理基本相同。分區(qū)表對(duì)用戶來(lái)說(shuō)是一個(gè)邏輯整體，但底層mysql將其分離為多個(gè)物理子表，分區(qū)對(duì)于sql來(lái)說(shuō)是完全封裝的，也就是對(duì)我們應(yīng)用來(lái)說(shuō)是透明的，不可見(jiàn)的，但從底層的文件系統(tǒng)來(lái)看，一個(gè)表被分割為多個(gè)子表文件，使用方法也很簡(jiǎn)單，在創(chuàng)建表時(shí)使用 partition by 子句定義分區(qū)表達(dá)式來(lái)存放數(shù)據(jù)。

mysql執(zhí)行查詢時(shí)候，優(yōu)化器先根據(jù)分區(qū)表達(dá)式的定義來(lái)過(guò)濾無(wú)用的分區(qū)，執(zhí)行sql時(shí)只需要查找包含需要的數(shù)據(jù)分區(qū)就可以了。

分區(qū)的原理？

分區(qū)表管理一組分區(qū)表和管理普通表一樣，各個(gè)子表的索引也是上加了一個(gè)人完全相同的索引，從存儲(chǔ)引擎來(lái)看，子表和一個(gè)獨(dú)立的普通表沒(méi)有任何區(qū)別，以下我們來(lái)看看當(dāng)執(zhí)行以下命令的時(shí)候mysql如何操作分區(qū)表的：

• select ：查詢時(shí)，分區(qū)層打開(kāi)并鎖住所有子表，優(yōu)化器先根據(jù)分區(qū)表達(dá)式過(guò)濾不需要的分區(qū)，然后調(diào)用存儲(chǔ)引擎訪問(wèn)各個(gè)目標(biāo)分區(qū)。
• insert：寫(xiě)入時(shí)，分區(qū)層打開(kāi)并鎖住所有子表，根據(jù)分區(qū)表達(dá)式確認(rèn)存放數(shù)據(jù)的分區(qū)是哪一個(gè)，再去指定分區(qū)插入記錄。
• delete：刪除也是一樣，還是先鎖住所有分區(qū)，根據(jù)分區(qū)表達(dá)式確認(rèn)數(shù)據(jù)在哪一個(gè)分區(qū)，再去那個(gè)分區(qū)刪除記錄。
• update：更新時(shí)相對(duì)復(fù)雜一點(diǎn)，分區(qū)層打開(kāi)并鎖住所有子表，先根據(jù)分區(qū)表達(dá)式確認(rèn)數(shù)據(jù)在哪一個(gè)分區(qū)，然后先取出數(shù)據(jù)并更新，再判斷更新后的數(shù)據(jù)應(yīng)該存放哪個(gè)分區(qū)，最后對(duì)目標(biāo)分區(qū)寫(xiě)入數(shù)據(jù)，最后一步要對(duì)原始數(shù)據(jù)的分區(qū)表進(jìn)行刪除操作。

分區(qū)類(lèi)型有哪些？

• 范圍分區(qū)：使用partition by range（列的表達(dá)式）來(lái)表示，使用最多的分區(qū)表類(lèi)型，每個(gè)分區(qū)存儲(chǔ)某個(gè)范圍內(nèi)的數(shù)據(jù)，比如：

• 列表分區(qū)：使用 partition by list（列的表達(dá)式） 按離散值集合分區(qū)，這種分區(qū)類(lèi)型類(lèi)似于范圍分區(qū)，例如：

• 哈希分區(qū)：使用 partition by hash（列的表達(dá)式），按表達(dá)式的hashcode取模后分布到指定的區(qū)域，同理：

分區(qū)查詢優(yōu)化？

分區(qū)數(shù)據(jù)顯而易見(jiàn)的好處是數(shù)據(jù)分塊管理，大表拆小表，這樣在操作數(shù)據(jù)的時(shí)候可以預(yù)先過(guò)濾掉不必要的數(shù)據(jù)，盡量控制在一個(gè)較小的數(shù)據(jù)區(qū)來(lái)查詢數(shù)據(jù)。一個(gè)很重要的意見(jiàn)是：盡量在where條件中帶入分區(qū)列查詢，如果沒(méi)有mysql就會(huì)掃描所有分區(qū)，我們可以使用expain patitions 來(lái)查看sql語(yǔ)句是否使用了分區(qū)過(guò)濾，如：

explain partitions select * from tuser

結(jié)果顯示掃描的所有分區(qū)，我們?cè)偌由蟱here條件：

explain partitions SELECT * from tuser where cid=2000

結(jié)果顯示只掃描了一個(gè)分區(qū)。

為什么要使用數(shù)據(jù)分區(qū)？

• 表數(shù)據(jù)非常大后使用索引的代價(jià)過(guò)大、表數(shù)據(jù)呈現(xiàn)明顯的熱點(diǎn)數(shù)據(jù)。
• 分區(qū)表的數(shù)據(jù)更容易維護(hù)，可以多帶帶的針對(duì)子表進(jìn)行優(yōu)化和修復(fù)工作，也可以操作整個(gè)分區(qū)數(shù)據(jù)。
• 分區(qū)子表的數(shù)據(jù)可以部署到不同的物理設(shè)備上，可以高效的利用多個(gè)硬件設(shè)備。
• 由于一個(gè)大表數(shù)據(jù)分散到多個(gè)子表中，這樣可以避免單個(gè)索引的互斥和鎖的競(jìng)爭(zhēng)。

常見(jiàn)的問(wèn)題有哪些？

• 一個(gè)表最多只能有1024個(gè)分區(qū)。
• 分區(qū)過(guò)多可能會(huì)導(dǎo)致在進(jìn)行分區(qū)重組（重組會(huì)涉及到臨時(shí)數(shù)據(jù)表的復(fù)制和刪除）、表數(shù)據(jù)更新、分區(qū)查找的時(shí)候開(kāi)銷(xiāo)過(guò)大。
• 執(zhí)行命令前mysql會(huì)鎖住所有分區(qū)表，這個(gè)操作是在過(guò)濾分區(qū)和執(zhí)行sql語(yǔ)句之前執(zhí)行的，所以這個(gè)開(kāi)銷(xiāo)無(wú)法避免，最好的做法是控制分區(qū)表數(shù)量在100個(gè)以內(nèi)。
• 分區(qū)表達(dá)式的返回值必須是整數(shù)。
• 分區(qū)表無(wú)法使用外鍵。
• null值會(huì)使分區(qū)過(guò)濾無(wú)效。
• mysql5.5以后對(duì)分區(qū)表做了大范圍的優(yōu)化和bug修復(fù)，所以使用這個(gè)特性之前確保你mysql高于5.5版本。
• 分區(qū)列和索引類(lèi)不匹配，如果我們?cè)谀承┝猩蟿?chuàng)建了索引，但這些列又不參與分區(qū)，即 partition by 類(lèi)型（列的表達(dá)式）子句不包含這些索引列，那么mysql在掃描這些索引的時(shí)候會(huì)遍歷所有分區(qū)表的索引，除非where子句使用了分區(qū)列來(lái)查詢，為了避免這個(gè)問(wèn)題盡量使用索引列來(lái)分區(qū)，比如：

數(shù)據(jù)分區(qū)是一種物理數(shù)據(jù)庫(kù)的設(shè)計(jì)技術(shù)，它的目的是為了在特定的SQL操作中減少數(shù)據(jù)讀寫(xiě)的總量以縮減響應(yīng)時(shí)間。要搞清楚數(shù)據(jù)庫(kù)分區(qū)，先要清楚一下問(wèn)題

為什么要分區(qū)

在實(shí)際工作中隨著業(yè)務(wù)的增長(zhǎng)，我們的數(shù)據(jù)庫(kù)數(shù)據(jù)越來(lái)越大，隨之而來(lái)的是單個(gè)表中數(shù)據(jù)太多。以至于查詢速度變慢，而且由于表的鎖機(jī)制導(dǎo)致應(yīng)用操作也受到嚴(yán)重影響，出現(xiàn)了數(shù)據(jù)庫(kù)性能瓶頸。

也就是說(shuō)當(dāng)表中的數(shù)據(jù)量不斷增大，查詢數(shù)據(jù)的速度就會(huì)變慢，應(yīng)用程序的性能就會(huì)下降，這時(shí)就應(yīng)該考慮對(duì)表進(jìn)行分區(qū)。表進(jìn)行分區(qū)后，邏輯上表仍然是一張完整的表，只是將表中的數(shù)據(jù)在物理上存放到多個(gè)表空間(物理文件上)，這樣查詢數(shù)據(jù)時(shí)，不至于每次都掃描整張表。為了提高數(shù)據(jù)庫(kù)性能，保證數(shù)據(jù)的準(zhǔn)確無(wú)誤以及安全性。所以要進(jìn)行分區(qū)。

數(shù)據(jù)庫(kù)分區(qū)的概念和原理

分區(qū)并不是生成新的數(shù)據(jù)表，而是將表的數(shù)據(jù)均衡分?jǐn)偟讲煌?/strong>硬盤(pán)，系統(tǒng)或是不同服務(wù)器存儲(chǔ)介子中，實(shí)際上還是一張表。

要實(shí)現(xiàn)這一功能，首先要了解數(shù)據(jù)庫(kù)對(duì)水平分區(qū)表進(jìn)行分區(qū)存儲(chǔ)的原理。

為了方便理解數(shù)據(jù)分區(qū)，在這里先介紹一下分表的概念。分表是將一個(gè)大表按照一定的規(guī)則分解成多張具有獨(dú)立存儲(chǔ)空間的實(shí)體表，每個(gè)表都對(duì)應(yīng)三個(gè)文件，MYD數(shù)據(jù)文件，.MYI索引文件，.frm表結(jié)構(gòu)文件。這些表可以分布在同一塊磁盤(pán)上，也可以在不同的機(jī)器上。app讀寫(xiě)的時(shí)候根據(jù)事先定義好的規(guī)則得到對(duì)應(yīng)的表名，然后去操作它。

數(shù)據(jù)庫(kù)分區(qū)和分表相似，都是按照規(guī)則分解表。不同在于分表將大表分解若干個(gè)獨(dú)立的實(shí)體表，而分區(qū)是將數(shù)據(jù)分段劃分在多個(gè)位置存放，分區(qū)后，表還是一張表，但數(shù)據(jù)散列到多個(gè)位置了。應(yīng)用程序讀寫(xiě)的時(shí)候操作還是表名，DB自動(dòng)去組織分區(qū)的數(shù)據(jù)。

所謂水平分區(qū)分表，就是把邏輯上的一個(gè)表，在物理上按照你指定的規(guī)則分放到不同的文件里，把一個(gè)大的數(shù)據(jù)文件拆分為多個(gè)小文件，還可以把這些小文件放在不同的磁盤(pán)下。這樣把一個(gè)大的文件拆分成多個(gè)小文件，便于我們對(duì)數(shù)據(jù)的管理。

數(shù)據(jù)庫(kù)分區(qū)的優(yōu)勢(shì)

分區(qū)可以做到將表的數(shù)據(jù)均衡到不同的地方，提高數(shù)據(jù)檢索的效率，降低數(shù)據(jù)庫(kù)的頻繁IO壓力值，目的是為了在特定的SQL操作中減少數(shù)據(jù)讀寫(xiě)的總量以縮減響應(yīng)時(shí)間。

1、相對(duì)于單個(gè)文件系統(tǒng)或是硬盤(pán)，分區(qū)可以存儲(chǔ)更多的數(shù)據(jù)；

2、數(shù)據(jù)管理比較方便，比如要清理或廢棄某年的數(shù)據(jù)，就可以直接刪除該日期的分區(qū)數(shù)據(jù)即可；

3、精準(zhǔn)定位分區(qū)查詢數(shù)據(jù)，不需要全表掃描查詢，大大提高數(shù)據(jù)檢索效率；

4、可跨多個(gè)分區(qū)磁盤(pán)查詢，來(lái)提高查詢的吞吐量；

5、在涉及聚合函數(shù)查詢時(shí)，可以很容易進(jìn)行數(shù)據(jù)的合并；

總結(jié)

分區(qū)確實(shí)能夠帶數(shù)據(jù)庫(kù)性能的提高，運(yùn)用也是非常廣泛，但同時(shí)也有很多要注意的地方。在性能的考量上。并不是說(shuō)分區(qū)越多，性能就越好。這些分區(qū)都會(huì)影響到內(nèi)存的消耗，CPU的繁忙程度。所以你在使用分區(qū)的時(shí)候，要找到你的平衡點(diǎn)。還是那句話不用最好的，要用最適合的。看完有幫助的話麻煩點(diǎn)個(gè)贊，關(guān)注一下，歡迎留言評(píng)論。