以文本形式將MySql數(shù)據(jù)遷移Mongodb的方法

IT那活兒發(fā)布于2023-01-11 13:19 / 3462人閱讀

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

數(shù)據(jù)遷移是DBA的一類常見(jiàn)工作，如果是相同數(shù)據(jù)庫(kù)產(chǎn)品之間的數(shù)據(jù)遷移，因?yàn)楦鱾€(gè)DBMS都提供了遷移的工具，所以是一個(gè)比較簡(jiǎn)單的事情。但是現(xiàn)在各種開(kāi)源數(shù)據(jù)庫(kù)產(chǎn)品大行其道，也經(jīng)常出現(xiàn)跨DBMS的數(shù)據(jù)遷移需求，此時(shí)就得想各種方法來(lái)實(shí)現(xiàn)，跨庫(kù)遷移最常見(jiàn)的就是ETL工具或者以文本的形式導(dǎo)出和導(dǎo)入。

在本文中，筆者將簡(jiǎn)單介紹MySql數(shù)據(jù)庫(kù)以文本的形式導(dǎo)出導(dǎo)入到Mongodb的方法。MySql數(shù)據(jù)庫(kù)是一種關(guān)系型數(shù)據(jù)庫(kù)，數(shù)據(jù)在表中是以行列的形式存儲(chǔ)，而Mongodb是一種非關(guān)系型數(shù)據(jù)庫(kù)，數(shù)據(jù)是以Json文檔的形式存儲(chǔ)。

兩種數(shù)據(jù)庫(kù)都提供了導(dǎo)入導(dǎo)出文本的工具，都支持CSV、TSV等格式的導(dǎo)入導(dǎo)出，Mysql是mysqldump，mongodb導(dǎo)入使用mongoimport，所以整個(gè)過(guò)程也比較簡(jiǎn)單，只是有些細(xì)節(jié)需要注意。

使用mysqldump導(dǎo)出CSV或者TSV格式，比較常見(jiàn)，此時(shí)暫不做討論，由于Mongodb數(shù)據(jù)是以Json文檔來(lái)存儲(chǔ)，在表級(jí)并沒(méi)有表結(jié)構(gòu)定義的概念，但是每個(gè)Json文檔的字段都有類型，且同為文本類型，字段長(zhǎng)度也不一致，時(shí)間類型也不同，在Mongodb中是ISODate，所以使用mongoimport導(dǎo)入時(shí)，需指定每個(gè)字段的類型。所以可以按照下表進(jìn)行Mysql和Mongodb之間的字段類型轉(zhuǎn)換導(dǎo)入：

序號(hào)	Mysql數(shù)據(jù)類型	mongoimport數(shù)據(jù)類型
1	tinyint	int32()
2	smallint	int32()
3	mediumint	int32()
4	integer	int32()
5	bigint	int64()
6	decimal	decimal()
7	float	double()
8	double	double()
9	char	string()
10	varchar	string()
11	tinytext	string()
12	text	string()
13	mediumtext	string()
14	longtext	string()
15	year	string()
16	date	date_oracle(YYYY-MM-DD)
17	time	string()
18	datetime	date_oracle(YYYY-MM-DD HH24:MI:SS)
19	timestamp	date_oracle(YYYY-MM-DD HH24:MI:SS)
20	bit	int32()

mongoimport導(dǎo)入命令需注意以下參數(shù)：

type 指定導(dǎo)入文件的類型，可選值有CSV、TSV、JSON.
fields指定Json文檔的字段名.
columnsHaveTypes表示指定每個(gè)字段的數(shù)據(jù)類型，如果加了此選項(xiàng)，field字段后面就要加數(shù)據(jù)類型，如msisdn.string()

命令示例：

mongoimport--db ring***ne_prod --collection=Di***bt --
parseGrace=skipField--
fields="ms**dn.string(),r***ame.string(),nic**me.string(),co
***ntId.string(),cop***tId.string(),fil***pe.string(),dat***
atus.string(),localF***Path.string(),diyTran*****nId.string(
),diyFtp***ath.string(),diyFile***at.string(),cre***me.date_
oracle(YYYY-MM-DDHH24:MI:SS),lastM****ime.date_oracle(YYYY-
MM-
DDHH24:MI:SS),sta***e.string(),e***ime.string(),he***Str.str
ing(),dep***onId.string(),act***Id.string(),l***el.string()"
--type tsv --file=t_m****bt_info.tsv --
numInsertionWorkers=100--columnsHaveTypes

在上面也說(shuō)過(guò)，在Mongodb中的表（集合）上沒(méi)有嚴(yán)格的結(jié)構(gòu)定義，所以字段數(shù)據(jù)沒(méi)有NULL的概念，如果該字段值數(shù)據(jù)為NULL，則直接就不需要這個(gè)字段。而在mysqldump的時(shí)候，如果數(shù)據(jù)是NULL，則導(dǎo)出的文本文件就會(huì)出現(xiàn)NULL，導(dǎo)入后會(huì)呈現(xiàn)如下情況：

此時(shí)，建議導(dǎo)出的時(shí)候使用selectifnull(column_name,’’)****intooutfile的形式進(jìn)行導(dǎo)出;在使用mongoimport導(dǎo)入是指定參數(shù)--ignoreBlanks，這樣導(dǎo)入的json文檔就不會(huì)存在null的字段。如果大批量的表數(shù)據(jù)遷移，則使用selectinto outfile比較麻煩，可以考慮使用shell腳本對(duì)原始文本文件進(jìn)行全量的Null替換，然后再導(dǎo)入。

另外在生產(chǎn)中，Mysql數(shù)據(jù)中可能存在以字符串形式保存的Json文檔，在Mongodb中，這種Json文檔建議以子文檔的形式存儲(chǔ)入數(shù)據(jù)庫(kù)中，此時(shí)使用mongoimport就不能滿足需求，此時(shí)可以考慮使用python對(duì)文本數(shù)據(jù)進(jìn)行轉(zhuǎn)換后寫(xiě)入mongodb。