摘要：云棲大會(huì)北京峰會(huì)上，阿里云宣布啟動(dòng)數(shù)據(jù)庫開源項(xiàng)目。日前，用戶內(nèi)測(cè)邀請(qǐng)正式啟動(dòng)。測(cè)試報(bào)告樣例阿里云關(guān)系數(shù)據(jù)庫服務(wù)內(nèi)核開發(fā)和運(yùn)維團(tuán)隊(duì)負(fù)責(zé)人，活躍的社區(qū)貢獻(xiàn)者丁奇表示，在通用基準(zhǔn)測(cè)試場(chǎng)景下，版本比官方版本有著的性能提升。

2016 云棲大會(huì)·北京峰會(huì)上，阿里云宣布啟動(dòng) AliSQL 數(shù)據(jù)庫開源項(xiàng)目。日前，用戶內(nèi)測(cè)邀請(qǐng)正式啟動(dòng)。

根據(jù)阿里云數(shù)據(jù)庫團(tuán)隊(duì)的規(guī)劃，今年 10 月，開發(fā)者將可以在阿里云 Code 平臺(tái)和 GitHub 網(wǎng)站上下載 AliSQL。

AliSQL

AliSQL 是基于 MySQL 官方版本的一個(gè)分支，由阿里云數(shù)據(jù)庫團(tuán)隊(duì)維護(hù)，目前也應(yīng)用于阿里巴巴集團(tuán)業(yè)務(wù)以及阿里云數(shù)據(jù)庫服務(wù)。

該版本在社區(qū)版的基礎(chǔ)上做了大量的性能與功能的優(yōu)化改進(jìn)。尤其適合電商、云計(jì)算以及金融等行業(yè)環(huán)境。

的 AliSQL 版本不僅從其他開源分支比如：Percona，MariaDB，WebScaleSQL 等社區(qū)汲取了精華，也沉淀了阿里巴巴多年在 MySQL 領(lǐng)域的經(jīng)驗(yàn)和解決方案。

AliSQL 增加更多監(jiān)控指標(biāo)，并針對(duì)電商秒殺、物聯(lián)網(wǎng)大數(shù)據(jù)壓縮、金融數(shù)據(jù)安全等場(chǎng)景提供個(gè)性化的解決方案。

測(cè)試報(bào)告樣例

阿里云關(guān)系數(shù)據(jù)庫服務(wù)內(nèi)核開發(fā)和運(yùn)維團(tuán)隊(duì)負(fù)責(zé)人，活躍的MySQL社區(qū)貢獻(xiàn)者丁奇表示，“在通用基準(zhǔn)測(cè)試場(chǎng)景下，AliSQL版本比MySQL官方版本有著 70% 的性能提升”。

1測(cè)試環(huán)境

主機(jī)配置

CPU：Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GHz

OS kernel：Linux 2.6.32

Memory：512 G

Disk：SSD

2AliSQL實(shí)例配置

采用 RDS 配置的 8C-16G 的規(guī)格進(jìn)行測(cè)試。

具體參數(shù)參考 AliSQL-8C-16G.cnf 。

?

3測(cè)試腳本

采用 sysbench 標(biāo)準(zhǔn)測(cè)試。

測(cè)試場(chǎng)景為 update_non_index.lua 。

Sysbench 主要參數(shù)：

max-requests=0

max-time=900

oltp_tables_count=20

oltp_table_size=200000

report-interval=10

num-threads=$count

?

4測(cè)試對(duì)比和結(jié)果

本次測(cè)試共對(duì)比了兩個(gè)版本：AliSQL 5.6.32 和 Oracle MySQL 5.6.32 。

測(cè)試數(shù)據(jù)如下：

5測(cè)試結(jié)論

從以上的基準(zhǔn)測(cè)試數(shù)據(jù)可以看到 AliSQL 版本，對(duì)比 Oracle 官方 MySQL 版本，有非常高的吞吐量提升，較高達(dá)到 1 倍，接下來我們將陸續(xù)放出更多特點(diǎn)場(chǎng)景的測(cè)試。

丁奇談 AliSQL

開源的 AliSQL 又將為開發(fā)者帶來哪些功能？針對(duì)于不同行業(yè)，AliSQL 做了哪些工作呢？

InfoQ 專訪丁奇，解讀開發(fā)者最關(guān)心的話題。

InfoQ：AliSQL 是基于 MySQL 官方版本的一個(gè)分支，能否簡(jiǎn)單介紹下 AliSQL 的歷史？AliSQL 版本在強(qiáng)度和廣度上都經(jīng)歷了哪些考驗(yàn)？

丁奇：大概在 2009 年，阿里巴巴集團(tuán)開始大規(guī)模的使用 MySQL 數(shù)據(jù)庫來持久化業(yè)務(wù)數(shù)據(jù)。隨著集團(tuán)業(yè)務(wù)的高速發(fā)展，官方的 MySQL 版本遇到了不小的挑戰(zhàn)，包括性能、部署、功能、成本等方面。

伴隨著業(yè)務(wù)的驅(qū)動(dòng)和對(duì)源代碼的熟悉，集團(tuán)開始嘗試在 MySQL 官方的開源版本上進(jìn)行修改，這就形成了 AliSQL 的雛形。

電商業(yè)務(wù)的高速發(fā)展，對(duì) MySQL 的性能提出了更高的要求。出于節(jié)省成本，AliSQL 持續(xù)進(jìn)行了性能優(yōu)化，同時(shí)，多核 CPU 和 SSD 等新硬件的采用，也反過來促進(jìn) AliSQL 能夠盡可能利用硬件的紅利。

雙 11 大促不斷刷新記錄，數(shù)據(jù)庫的穩(wěn)定性也變得越來越重要，AliSQL 開始定制基于限流、線程池、秒殺等功能的 patch，提升 AliSQL 的穩(wěn)定性。

針對(duì)小微金融業(yè)務(wù)對(duì)數(shù)據(jù)保護(hù)的高要求，AliSQL 定制了適合金融業(yè)務(wù)的數(shù)據(jù)保護(hù)方案，例如金融云上使用的雙通道日志高可靠方案。

從阿里云 RDS 上線服務(wù)開始，阿里云數(shù)據(jù)庫團(tuán)隊(duì)就遇到了前所未有的挑戰(zhàn)，不同的行業(yè)用戶，不同的使用習(xí)慣和要求，AliSQL 也迎來了發(fā)展更為迅速的時(shí)刻，影響力也越來越大。

所以，AliSQL 的版本，是伴隨著業(yè)務(wù)的發(fā)展，一起成長起來的，經(jīng)歷過雙 11 大促這樣大壓力的考驗(yàn)，同時(shí)也經(jīng)歷了阿里云各行各業(yè)用戶差異化的需求。可以說是身經(jīng)百戰(zhàn)。

InfoQ：阿里云是開源組織 WebScaleSQL 的第五位成員，與 Facebook、Google、Twitter 和 LinkedIn 團(tuán)隊(duì)共同研發(fā) WebScaleSQL，同時(shí)，阿里巴巴還擁有 OceanBase 自研數(shù)據(jù)庫。能否請(qǐng)介紹下 AliSQL、WebScaleSQL、OceanBase 三者的關(guān)系和各自的特點(diǎn)？

丁奇： OceanBase 是 Alibaba 集團(tuán)自研的分布式數(shù)據(jù)庫，經(jīng)歷了集團(tuán)業(yè)務(wù)的洗禮，具有通用性，高擴(kuò)展能力。

WebScaleSQL 是由這五家公司發(fā)起的基于 MySQL 官方的一個(gè)分支，旨在解決大家在互聯(lián)網(wǎng)業(yè)務(wù)上遇到的問題，是五個(gè)成員公司將各自足夠通用的功能提交到一起的集合，每家公司的研發(fā)同學(xué)都可以提交代碼。實(shí)際上每個(gè)公司自己生產(chǎn)環(huán)境使用的是自己維護(hù)的一個(gè)分支，因?yàn)槊總€(gè)公司都有自己定制化的需求。

AliSQL 同樣基于 MySQL 官方版本，汲取了官方和社區(qū)的技術(shù)紅利，具有很高的性能和穩(wěn)定性，并適應(yīng)不同行業(yè)的特點(diǎn)進(jìn)行了定制。AliSQL 的改進(jìn)方向主要集中在安全性、穩(wěn)定性、性能、新功能等方面。

AliSQL 是經(jīng)過幾年的生產(chǎn)環(huán)境、幾萬個(gè)用戶實(shí)例的實(shí)際業(yè)務(wù)錘煉的。

AliSQL 的一些定制化功能都是為了解決 DBA 維護(hù)、業(yè)務(wù)使用中碰到的實(shí)際問題。比如 5.5 以上的版本由于有 metadata lock，DBA 對(duì)表加字段等操作可能導(dǎo)致阻塞查詢，進(jìn)而導(dǎo)致整庫不可服務(wù)。我們新增 alter ..wait N .. 方法，保證了操作的安全性。再比如通過提供 set rds_reset_connection 這樣的語句，解決了長連接占用資源和短連接性能問題的矛盾。

InfoQ：AliSQL 在相關(guān)報(bào)道中提到，“在通用基準(zhǔn)測(cè)試場(chǎng)景下，AliSQL 版本比 MySQL 官方版本有著 70% 的性能提升。在秒殺場(chǎng)景下，性能提升 100 倍。”能否詳細(xì)講解該數(shù)據(jù)是如何得出的？

丁奇： 通用基準(zhǔn)的測(cè)試，我們是采用 sysbench 進(jìn)行的測(cè)試，也是公開的標(biāo)準(zhǔn)測(cè)試方法， AliSQL 在吞吐能力上，比 MySQL 官方大概 70% 的性能提升。

秒殺場(chǎng)景是一個(gè)比較特殊的場(chǎng)景，AliSQL 有專門的定制 patch 針對(duì)這種場(chǎng)景的優(yōu)化，如果沒有限流和排隊(duì)，大并發(fā)的請(qǐng)求下，系統(tǒng)很容易產(chǎn)生雪崩效應(yīng)，導(dǎo)致吞吐量急劇下降，而非線性關(guān)系。所以，秒殺場(chǎng)景下，在不可預(yù)知的業(yè)務(wù)請(qǐng)求量的時(shí)候，類似減庫存這樣的場(chǎng)景，性能下跌非常厲害，而 AliSQL 的秒殺解決方案能夠保證這類場(chǎng)景維持高性能。

InfoQ：電商行業(yè)的環(huán)境特點(diǎn)是怎樣的？AliSQL 在電商行業(yè)環(huán)境下的優(yōu)勢(shì)有哪些？或者說，為了更好地符合電商行業(yè)的需求，AliSQL 做了哪些性能與功能的優(yōu)化工作？

丁奇： 電商行業(yè)的環(huán)境，其實(shí)提供了一個(gè)非常綜合的場(chǎng)景，在擴(kuò)展性、穩(wěn)定性、性能等方面對(duì)數(shù)據(jù)庫都提出了非常高的要求，AliSQL 就是順應(yīng)著這樣的要求進(jìn)行的定制版本。

比如應(yīng)對(duì)大量應(yīng)用集群的線程池功能，秒殺場(chǎng)景的排隊(duì)功能，以及 SQL 的限流功能。

比如大寫入量備庫延遲，AliSQL 提供的基于表的并行復(fù)制功能，又比如結(jié)構(gòu)化數(shù)據(jù)的壓縮功能等。

InfoQ：電商秒殺場(chǎng)景有什么特點(diǎn)，為數(shù)據(jù)庫帶來的挑戰(zhàn)有哪些？AliSQL 針對(duì)該場(chǎng)景優(yōu)化了哪些性能與功能？已經(jīng)應(yīng)用過的實(shí)際場(chǎng)景有哪些？實(shí)際效果如何？

丁奇： 電商的秒殺場(chǎng)景，其實(shí)就是減庫存，對(duì)數(shù)據(jù)庫而言，就是對(duì)一條記錄的更新，因?yàn)槭聞?wù)的特點(diǎn)，單條記錄的更新必須串行完成，但秒殺的特點(diǎn)，就是在某個(gè)時(shí)刻，大量的并發(fā)進(jìn)行減庫存，這就造成了大量的線程因獲取不到鎖而處在死鎖檢測(cè)狀態(tài)，消耗了大量的 CPU 資源，最終導(dǎo)致系統(tǒng)無法響應(yīng)，而引起雪崩效應(yīng)。

AliSQL 針對(duì)這樣的場(chǎng)景，提供了排隊(duì)和限流的功能，經(jīng)過了雙 11 零點(diǎn)時(shí)刻高并發(fā)請(qǐng)求的考驗(yàn)，保持了系統(tǒng)的穩(wěn)定性和持續(xù)吞吐能力。

電商業(yè)務(wù)高峰有兩個(gè)對(duì)數(shù)據(jù)庫挑戰(zhàn)比較大的場(chǎng)景：

1.超大并發(fā)

MySQL 能夠支持的并發(fā)活躍連接數(shù)是有上限的，理想情況下是大約（CPU 核心數(shù) ×2）個(gè)活躍連接數(shù)，當(dāng)活躍連接數(shù)遠(yuǎn)超這個(gè)值時(shí)，性能會(huì)急劇下降，導(dǎo)致整個(gè)業(yè)務(wù)不可用。AliSQL 有水位控制，超過一定閾值的活躍連接數(shù)，當(dāng)我們判斷到當(dāng)前壓力超過數(shù)據(jù)庫的處理能力時(shí)，會(huì)主動(dòng)放棄后到的請(qǐng)求，這樣保證數(shù)據(jù)庫還能保持很高的能夠正常響應(yīng)的吞吐量。

2.秒殺場(chǎng)景

在秒殺場(chǎng)景里面有一個(gè)減庫存的問題。大量用戶同時(shí)搶購?fù)粋€(gè)商品的時(shí)候，需要同時(shí)更新商品庫存，這時(shí)候 InnoDB 的行鎖加上死鎖檢測(cè)機(jī)制會(huì)導(dǎo)致數(shù)據(jù)庫 CPU 短時(shí)間內(nèi)被占滿，導(dǎo)致整庫幾乎無法響應(yīng)。

在 AliSQL 我們有針專門針對(duì)秒殺的方案，保證在大量線程同時(shí)減庫存時(shí)仍能保持很高的 TPS。除了阿里自己的秒殺業(yè)務(wù)，這個(gè)功能同樣適用于搶紅包這樣的業(yè)務(wù)，已經(jīng)在 2015、2016 年春節(jié)經(jīng)過大量的業(yè)務(wù)驗(yàn)證。

InfoQ：在個(gè)性化方面，AliSQL 針對(duì)云計(jì)算和金融行業(yè)做了哪些優(yōu)化工作？應(yīng)用過的實(shí)際場(chǎng)景有哪些？實(shí)際效果如何？AliSQL 在物聯(lián)網(wǎng)大數(shù)據(jù)壓縮、金融數(shù)據(jù)安全等場(chǎng)景又提供了哪些個(gè)性化功能？

丁奇： 在云計(jì)算的環(huán)境下，用戶的使用場(chǎng)景和方式都千差萬別，為了適應(yīng)不同的環(huán)境，AliSQL 定制了很多個(gè)性化的功能，比如，為了保障在線業(yè)務(wù)的平穩(wěn)，針對(duì)用戶的分析型的 SQL，AliSQL 提供了資源使用限流、全表掃描 buffer pool 不緩存的特性，用戶可以通過設(shè)置環(huán)境變量或者使用 hint 來方便的使用這些功能，又比如為了加快大表的掃描，提供了邏輯預(yù)讀的功能，這些特性，用戶在不同的場(chǎng)景下可以自由選擇。

除了這些，AliSQL 在公有云上針對(duì)不同行業(yè)定制了很多功能。比如：

游戲行業(yè)

我們?cè)?proxy 這一層進(jìn)行了 AliSQL 的橋接認(rèn)證，提供防閃斷功能。

物聯(lián)網(wǎng)行業(yè)

AliSQL 集成了 TokuDB 引擎，提供高壓縮比和大吞吐寫能力。

金融行業(yè)

AliSQL 定制了多通道的半同步策略，以及一主兩備的三機(jī)房零數(shù)據(jù)丟失的數(shù)據(jù)保護(hù)級(jí)別。

InfoQ：針對(duì)不同的應(yīng)用場(chǎng)景，AliSQL 增加了哪些監(jiān)控指標(biāo)？

丁奇： AliSQL 增加了很多監(jiān)控指標(biāo)，以幫助用戶或者 DBA 更了解自己的數(shù)據(jù)庫，比如，AliSQL 針對(duì)四個(gè)不同的維度的統(tǒng)計(jì)：

SQL 維度。增加每個(gè) SQL 執(zhí)行的開銷統(tǒng)計(jì)，除了響應(yīng)時(shí)間，鎖等待等，還包括邏輯讀，物理讀，臨時(shí)空間使用等。

對(duì)象維度。增加了每個(gè)表的 DML 次數(shù)，索引的使用情況，幫助用戶理解業(yè)務(wù)和索引使用效率。

事務(wù)維度。增加了每個(gè)事務(wù)持續(xù)的時(shí)間，和操作的對(duì)象。幫助用戶定位問題。

線程維度。增加了線程的內(nèi)存使用統(tǒng)計(jì)。

InfoQ：阿里巴巴一直在推進(jìn)開源工作，您認(rèn)為做好開源工作，公司應(yīng)該從哪些方面出發(fā)？目前，AliSQL的開源計(jì)劃是怎樣的？將為開發(fā)者具體怎樣的幫助？

丁奇： 我覺得，公司首先是支持開源的，基于開源的協(xié)議，有著回饋社區(qū)的初衷，并懷著促進(jìn)社區(qū)發(fā)展的良好愿景。

AliSQL 開源會(huì)保持著一個(gè)好的節(jié)奏，持續(xù)的高質(zhì)量回饋社區(qū)。具體在9月中旬放出 binary， 10 月份會(huì)放出源代碼的第一個(gè)穩(wěn)定版本。

開發(fā)者可以自由下載使用，并在平臺(tái)上進(jìn)行反饋或者提出建議，后續(xù) AliSQL 也會(huì)定期組織論壇，邀請(qǐng)開發(fā)者參與進(jìn)行討論。

我們希望 AliSQL 能夠形成一個(gè)活躍的社區(qū)，開發(fā)者能夠從中受益，也能夠提出需求和改進(jìn)建議，促進(jìn)分支持續(xù)發(fā)展。

軟件開發(fā)技術(shù)群

興趣范圍包括：Java，C/C++，Python，PHP，Ruby，shell等各種語言開發(fā)經(jīng)驗(yàn)交流，各種框架使用，外包項(xiàng)目機(jī)會(huì)，學(xué)習(xí)、培訓(xùn)、跳槽等交流

QQ群：26931708

Hadoop源代碼研究群

興趣范圍包括：Hadoop源代碼解讀，改進(jìn)，優(yōu)化，分布式系統(tǒng)場(chǎng)景定制，與Hadoop有關(guān)的各種開源項(xiàng)目，總之就是玩轉(zhuǎn)Hadoop

QQ群：288410967