文章庫(kù)ARTICLE COLUMN
摘要：李飛飛花名飛刀，阿里巴巴集團(tuán)副總裁，高級(jí)研究員，達(dá)摩院首席數(shù)據(jù)庫(kù)科學(xué)家，阿里云智能事業(yè)群數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部負(fù)責(zé)人，杰出科學(xué)家。是阿里云的云原生數(shù)據(jù)庫(kù)，目前已有非常深厚的技術(shù)積累。 阿里妹導(dǎo)讀：云計(jì)算大潮來(lái)襲，傳統(tǒng)數(shù)據(jù)庫(kù)市場(chǎng)正面臨重新洗...
摘要：類(lèi)型說(shuō)明根據(jù)中的說(shuō)明，數(shù)據(jù)類(lèi)型是用來(lái)存儲(chǔ)數(shù)據(jù)的。它們幾乎接受完全相同的值集合作為輸入。該結(jié)構(gòu)是非強(qiáng)制的，但是有一個(gè)可預(yù)測(cè)的結(jié)構(gòu)會(huì)使集合的查詢(xún)更容易。如中，表示在和這兩個(gè)位置出現(xiàn)過(guò)，在中這些位置實(shí)際上就是元組的行號(hào)，包括數(shù)據(jù)塊以及。 js...
摘要：我們通常會(huì)說(shuō)我們要做一個(gè)分布式數(shù)據(jù)庫(kù)，自動(dòng)彈性伸縮，能解決分庫(kù)分表的問(wèn)題，你會(huì)用嗎用戶(hù)說(shuō)那肯定啊，現(xiàn)在的分庫(kù)分表太痛苦了。在軟件開(kāi)發(fā)領(lǐng)域有一條非常經(jīng)典的哲學(xué)。作為一個(gè)分布式數(shù)據(jù)庫(kù)，每一層的穩(wěn)定性都非常重要。 本文根據(jù)我司 CEO 劉奇在第 ...
摘要：奇技指南現(xiàn)有的開(kāi)源時(shí)序數(shù)據(jù)庫(kù)只支持單機(jī)運(yùn)行，在面臨大量數(shù)據(jù)寫(xiě)入時(shí)，會(huì)出現(xiàn)查詢(xún)慢，機(jī)器負(fù)載高，單機(jī)容量的限制。為了解決這一問(wèn)題，基礎(chǔ)架構(gòu)團(tuán)隊(duì)在單機(jī)的基礎(chǔ)上，開(kāi)發(fā)了集群版簡(jiǎn)述是一個(gè)分布式時(shí)間序列數(shù)據(jù)庫(kù)，用于處理海量數(shù)據(jù)寫(xiě)入與查詢(xún)。 奇技指...
摘要：索引的原理與應(yīng)用索引類(lèi)型，存儲(chǔ)結(jié)構(gòu)與鎖在數(shù)據(jù)結(jié)構(gòu)與算法索引一節(jié)中，我們討論了這樣的文件索引以及全文索引的基礎(chǔ)算法，本文則會(huì)針對(duì)文件索引在關(guān)系型數(shù)據(jù)庫(kù)中的實(shí)際應(yīng)用進(jìn)行探討。這個(gè)索引的是數(shù)據(jù)表的主鍵，因此表數(shù)據(jù)文件本身就是主索引。 showIm...
摘要：作者張學(xué)程本文為源碼閱讀系列文章的第六篇，在上篇文章中我們介紹了處理單元的實(shí)現(xiàn)，對(duì)在增量復(fù)制過(guò)程中的讀取過(guò)濾路由轉(zhuǎn)換以及執(zhí)行等邏輯進(jìn)行了分析。值得注意的是，由于我們近期正在對(duì)處理單元進(jìn)行重構(gòu)，因此源碼中會(huì)同時(shí)包含重構(gòu)前后的相關(guān)代碼實(shí)現(xiàn)...
摘要：業(yè)務(wù)需求統(tǒng)計(jì)每小時(shí)的數(shù)數(shù)據(jù)采集數(shù)據(jù)清洗用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取轉(zhuǎn)換加載至目的端的過(guò)程字段過(guò)濾字段補(bǔ)全用戶(hù)信息商品信息字段格式化數(shù)據(jù)分析將數(shù)據(jù)導(dǎo)出介紹由開(kāi)源的用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計(jì)的項(xiàng)目本質(zhì)將轉(zhuǎn)化為程序的其實(shí)時(shí)上的目錄和...
摘要：微服務(wù)架構(gòu)催生分布式數(shù)據(jù)庫(kù)王濤認(rèn)為，談?wù)摂?shù)據(jù)庫(kù)一定脫離不了應(yīng)用。巨杉數(shù)據(jù)庫(kù)，適合微服務(wù)的分布式數(shù)據(jù)庫(kù)正如同巨杉對(duì)于分布式數(shù)據(jù)庫(kù)的技術(shù)定位和目標(biāo)，巨杉數(shù)據(jù)庫(kù)本身就是以分布式存儲(chǔ)底座與上層的數(shù)據(jù)庫(kù)實(shí)例兩層來(lái)進(jìn)行構(gòu)建的。 過(guò)去幾年來(lái)，微服...
摘要：作者屈鵬本篇源碼解析將為大家介紹的另一周邊組件。這個(gè)函數(shù)會(huì)往完成隊(duì)列中注冊(cè)若干個(gè)，相當(dāng)于用往一個(gè)中注冊(cè)一些事件的關(guān)注。在函數(shù)返回之后，服務(wù)端的初始化及啟動(dòng)過(guò)程便結(jié)束了。 作者：屈鵬 本篇 TiKV 源碼解析將為大家介紹 TiKV 的另一周邊組件—...
摘要：基于部署數(shù)據(jù)庫(kù)初始化數(shù)據(jù)庫(kù)進(jìn)入鏡像配置用戶(hù)密碼導(dǎo)入數(shù)據(jù)進(jìn)入容器檢查導(dǎo)入結(jié)果創(chuàng)建數(shù)據(jù)庫(kù)初始化進(jìn)入容器 基于docker部署數(shù)據(jù)庫(kù) sudo docker pull influxdbsudo docker pull mongo sudo docker run -p 27017:27017 -v xxx:/xxx--name xxxx -d mongo:la...
摘要：行轉(zhuǎn)列，列轉(zhuǎn)行行列轉(zhuǎn)換在做報(bào)表分析時(shí)還是經(jīng)常會(huì)遇到的，今天就說(shuō)一下如何實(shí)現(xiàn)行列轉(zhuǎn)換吧。列轉(zhuǎn)行假設(shè)我們有下表語(yǔ)文數(shù)學(xué)英語(yǔ)通過(guò)即可得到如下結(jié)果我們也可以使用下面方法得到同樣結(jié)果語(yǔ)文語(yǔ)文數(shù)學(xué)數(shù)學(xué)英語(yǔ)英語(yǔ) SQL 行轉(zhuǎn)列，列轉(zhuǎn)行 行列轉(zhuǎn)換在做報(bào)表...
摘要：最近遇到一個(gè)在級(jí)別下的死鎖問(wèn)題，感覺(jué)有點(diǎn)意思，研究了一下，做個(gè)記錄。比如等都會(huì)給涉及到的行加上行鎖，防止其他事務(wù)的操作間隙鎖在隔離級(jí)別下，為了防止幻讀現(xiàn)象，除了給記錄本身，還需要為記錄兩邊的間隙加上間隙鎖。至此，死鎖過(guò)程分析完畢還沒(méi)完...
摘要：在執(zhí)行耗時(shí)命令如范圍掃描類(lèi)的超大下的等瞬時(shí)大量過(guò)期驅(qū)逐等情況下，會(huì)造成的下降，阻塞其他請(qǐng)求。 本文主要從實(shí)現(xiàn)角度分析了redis lazy free特性的使用方法和注意事項(xiàng) 有幫助的話(huà)就點(diǎn)個(gè)贊，關(guān)注專(zhuān)欄數(shù)據(jù)庫(kù)，不跑路吧～～不定期更新數(shù)據(jù)庫(kù)的小知識(shí)和實(shí)...
摘要：是基于開(kāi)源的兼容協(xié)議的強(qiáng)一致性的數(shù)據(jù)庫(kù)開(kāi)源項(xiàng)目。這種架構(gòu)類(lèi)似于公司的第一代的系統(tǒng)，系統(tǒng)本身也是一個(gè)強(qiáng)一致性的高可用的分布式系統(tǒng)。由于篇幅所限，本文中關(guān)于強(qiáng)一致性線(xiàn)性一致性的很多技術(shù)細(xì)節(jié)的闡述未能詳盡，擬另行成文討論。 作者介紹：陳東明...
摘要：今天，，云原生計(jì)算基金會(huì)技術(shù)監(jiān)督委員會(huì)宣布已經(jīng)投票決議通過(guò)，正式將從沙箱項(xiàng)目晉級(jí)至孵化項(xiàng)目。晉級(jí)為孵化項(xiàng)目之后，將與其他項(xiàng)目一道，成為與其技術(shù)利益一致的中立的基金會(huì)的一部分，享有基金會(huì)為其提供的治理市場(chǎng)和社區(qū)推廣等權(quán)益。 今天，CNCF（...
摘要：一致性是指事務(wù)的執(zhí)行不能破壞數(shù)據(jù)庫(kù)數(shù)據(jù)的完整性和一致性，一個(gè)事務(wù)在執(zhí)行之前和執(zhí)行之后，數(shù)據(jù)庫(kù)都必須處以一致性狀態(tài)。隔離性是指多個(gè)用戶(hù)并發(fā)訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)時(shí)，數(shù)據(jù)庫(kù)為每個(gè)用戶(hù)執(zhí)行的事務(wù)，不能被其他事務(wù)的操作所干擾，多個(gè)并發(fā)事務(wù)之間要相互隔離。...
Nosql數(shù)據(jù)庫(kù)使用場(chǎng)景首先需要確認(rèn)一個(gè)問(wèn)題，nosql能做什么？在現(xiàn)在的開(kāi)發(fā)領(lǐng)域中nosql可以實(shí)現(xiàn)文檔存儲(chǔ)（BSON、JSON）、緩存存儲(chǔ)、圖像緩存（圖像搜索），但是對(duì)于nosql的具體應(yīng)用場(chǎng)景完全要根據(jù)你實(shí)際的業(yè)務(wù)來(lái)講； 在傳統(tǒng)的開(kāi)發(fā)之中由于經(jīng)常要使用到多表查...
摘要：引導(dǎo)優(yōu)化器按照哈希掃描的方式從表中讀取數(shù)據(jù)。告訴優(yōu)化器強(qiáng)制選擇位圖索引。這個(gè)提示會(huì)使優(yōu)化器合并表上的多個(gè)位圖索引，而不是選擇其中最好的索引這是提示的用途。還可以使用指定單個(gè)索引對(duì)于指定位圖索引，該提示優(yōu)先于提示。 一、提示（Hint）概述...
摘要：有如下數(shù)據(jù)，怎么查詢(xún)顯示結(jié)果為張三，北京河北，張三北京張三河北如何查詢(xún)重復(fù)數(shù)據(jù)查詢(xún)結(jié)果如何去重關(guān)鍵字或者數(shù)據(jù)庫(kù)分頁(yè)查詢(xún)都是刪除語(yǔ)句，他們的區(qū)別是什么在速度上，一般來(lái)說(shuō)，用于刪除部分?jǐn)?shù)據(jù)刪除整個(gè)表然后重新創(chuàng)建這個(gè)表相當(dāng)于清空了表數(shù)據(jù)摧毀...
摘要：組件用于收集的，并準(zhǔn)實(shí)時(shí)同步給下游，如等。為方便用戶(hù)和開(kāi)發(fā)者更加深入理解和使用組件，以及基于組件做二次開(kāi)發(fā)用于更多的業(yè)務(wù)場(chǎng)景，我們決定今天正式開(kāi)源組件。近期我們將發(fā)布源碼閱讀指南，敬請(qǐng)期待。 TiDB Binlog 組件用于收集 TiDB 的 binlog，...
摘要：作者本文為源碼閱讀系列文章的第五篇。上篇文章介紹了和兩個(gè)數(shù)據(jù)同步處理單元的設(shè)計(jì)實(shí)現(xiàn)，對(duì)核心實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入并發(fā)模型數(shù)據(jù)導(dǎo)入暫停或中斷的恢復(fù)進(jìn)行了分析。根據(jù)庫(kù)表路由規(guī)則對(duì)庫(kù)表名進(jìn)行轉(zhuǎn)換，用于合庫(kù)合表。遇到或者積累的數(shù)量超過(guò)配置的數(shù)量立即執(zhí)行...
摘要：阿里妹導(dǎo)讀近日，螞蟻金服副胡喜應(yīng)邀做了螞蟻金服十五年技術(shù)架構(gòu)演進(jìn)之路的演講，分享螞蟻金服對(duì)金融科技未來(lái)的判斷，并首次對(duì)外公開(kāi)螞蟻金服技術(shù)人才培訓(xùn)體系以及項(xiàng)目。 showImg("https://segmentfault.com/img/remote/1460000019158592"); 阿里妹導(dǎo)...
摘要：用動(dòng)態(tài)規(guī)劃決定連接的執(zhí)行順序，當(dāng)參與連接的表數(shù)量不多于時(shí)啟用。在邏輯優(yōu)化階段消除聚合函數(shù)時(shí)特殊處理，防止產(chǎn)生錯(cuò)誤的執(zhí)行結(jié)果。該特性通過(guò)對(duì)進(jìn)行執(zhí)行計(jì)劃綁定，以確保執(zhí)行穩(wěn)定性。執(zhí)行引擎支持對(duì)和算子進(jìn)行內(nèi)存追蹤控制。 2019 年 5 月 10 日，Ti...
摘要：提升系統(tǒng)性能算子，進(jìn)一步提升執(zhí)行性能。采用存儲(chǔ)結(jié)構(gòu)減少內(nèi)存分配及拷貝，的共享提升命中率等手段大幅提升性能。新增系統(tǒng)配置項(xiàng)合法性檢查，優(yōu)化系統(tǒng)監(jiān)控項(xiàng)等，提升產(chǎn)品易用性。在此對(duì)各位貢獻(xiàn)者表示由衷的感謝。 作者：段兵 2019 年 5 月 10 日，TiD...
摘要：正是存在問(wèn)題，促使我們考慮引入數(shù)據(jù)庫(kù)審核平臺(tái)。的確，與很多互聯(lián)網(wǎng)公司相比，數(shù)據(jù)庫(kù)數(shù)十套的估摸并不是太大但與互聯(lián)網(wǎng)類(lèi)公司不同，類(lèi)似宜信這類(lèi)金融類(lèi)公司對(duì)數(shù)據(jù)庫(kù)的依賴(lài)性更大，大量的應(yīng)用是重?cái)?shù)據(jù)庫(kù)類(lèi)的，且其使用復(fù)雜程度也遠(yuǎn)比互聯(lián)網(wǎng)類(lèi)的復(fù)雜。 ...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說(shuō)合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...
89542767
社區(qū)管理員
白馬嘯西風(fēng)