国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

在pandas.DataFrame.to_sql時(shí)指定數(shù)據(jù)庫(kù)表的列類型

DandJ / 4268人閱讀

摘要:分析通過(guò)查閱的文檔,可以通過(guò)指定參數(shù)值來(lái)改變數(shù)據(jù)庫(kù)中創(chuàng)建表的列類型。根據(jù)描述,可以在執(zhí)行方法時(shí),將映射好列名和指定類型的賦值給參數(shù)即可上,其中對(duì)于表的列類型可以使用包中封裝好的類型。

問(wèn)題

在數(shù)據(jù)分析并存儲(chǔ)到數(shù)據(jù)庫(kù)時(shí),Python的Pandas包提供了to_sql 方法使存儲(chǔ)的過(guò)程更為便捷,但如果在使用to_sql方法前不在數(shù)據(jù)庫(kù)建好相對(duì)應(yīng)的表,to_sql則會(huì)默認(rèn)為你創(chuàng)建一個(gè)新表,這時(shí)新表的列類型可能并不是你期望的。例如我們通過(guò)下段代碼往數(shù)據(jù)庫(kù)中插入一部分?jǐn)?shù)據(jù):

import pandas as pd
from datetime import datetime

df = pd.DataFrame([["a", 1, 1, 2.0, datetime.now(), True]], 
                  columns=["str", "int", "float", "datetime", "boolean"])
print(df.dtypes)

通過(guò)_dtypes_可知數(shù)據(jù)類型為object, int64, float64, datetime64[ns], bool
如果把數(shù)據(jù)通過(guò)to_sql方法插入到數(shù)據(jù)庫(kù)中:

from sqlalchemy import create_engine
engine = create_engine("mysql+mysqldb://{}:{}@{}/{}".format("username", "password", "host:port", "database"))
con = engine.connect()

df.to_sql(name="test", con=con, if_exists="append", index=False)

用MySQL的_desc_可以發(fā)現(xiàn)數(shù)據(jù)庫(kù)自動(dòng)創(chuàng)建了表并默認(rèn)指定了列的格式:

# 在MySQL中查看表的列類型
desc test;
Filed Type Null Key Default Extra
str text YES NULL
int bigint(20) YES NULL
float double YES NULL
datetime datetime YES NULL
boolean tinyint(1) YES NULL

其中str類型的數(shù)據(jù)在數(shù)據(jù)庫(kù)表中被映射成text,int類型被映射成bigint(20), float類型被映射成double類型。數(shù)據(jù)庫(kù)中的列類型可能并非是我們所期望的格式,但我們又不想在數(shù)據(jù)插入前手動(dòng)的創(chuàng)建數(shù)據(jù)庫(kù)的表,而更希望根據(jù)DataFrame中數(shù)據(jù)的格式動(dòng)態(tài)地改變數(shù)據(jù)庫(kù)中表格式。

分析

通過(guò)查閱pandas.DataFrame.to_sql的api文檔1,可以通過(guò)指定dtype 參數(shù)值來(lái)改變數(shù)據(jù)庫(kù)中創(chuàng)建表的列類型。

dtype : dict of column name to SQL type, default None 
Optional specifying the datatype for columns. The SQL type should be a SQLAlchemy type, or a string for sqlite3 fallback connection.

根據(jù)描述,可以在執(zhí)行to_sql方法時(shí),將映射好列名和指定類型的dict賦值給dtype參數(shù)即可上,其中對(duì)于MySQL表的列類型可以使用SQLAlchemy包中封裝好的類型。

# 執(zhí)行前先在MySQL中刪除表
drop table test;
from sqlalchemy.types import NVARCHAR, Float, Integer
dtypedict = {
  "str": NVARCHAR(length=255),
  "int": Integer(),
  "float" Float()
}
df.to_sql(name="test", con=con, if_exists="append", index=False, dtype=dtypedict)

更新代碼后,再查看數(shù)據(jù)庫(kù),可以看到數(shù)據(jù)庫(kù)在建表時(shí)會(huì)根據(jù)dtypedict中的列名來(lái)指定相應(yīng)的類型。

desc test;
Filed Type Null Key Default Extra
str varchar(255) YES NULL
int int(11) YES NULL
float float YES NULL
datetime datetime YES NULL
boolean tinyint(1) YES NULL
答案

通過(guò)分析,我們已經(jīng)知道在執(zhí)行to_sql的方法時(shí),可以通過(guò)創(chuàng)建一個(gè)類似“{"column_name":sqlalchemy_type}”的映射結(jié)構(gòu)來(lái)控制數(shù)據(jù)庫(kù)中表的列類型。但在實(shí)際使用時(shí),我們更希望能通過(guò)pandas.DataFrame中的column的數(shù)據(jù)類型來(lái)映射數(shù)據(jù)庫(kù)中的列類型,而不是每此都要列出pandas.DataFrame的column名字。
寫(xiě)一個(gè)簡(jiǎn)單的def將pandas.DataFrame中列名和預(yù)指定的類型映射起來(lái)即可:

def mapping_df_types(df):
    dtypedict = {}
    for i, j in zip(df.columns, df.dtypes):
        if "object" in str(j):
            dtypedict.update({i: NVARCHAR(length=255)})
        if "float" in str(j):
            dtypedict.update({i: Float(precision=2, asdecimal=True)})
        if "int" in str(j):
            dtypedict.update({i: Integer()})
    return dtypedict

只要在執(zhí)行to_sql前使用此方法獲得一個(gè)映射dict再賦值給to_sql的dtype參數(shù)即可,執(zhí)行的結(jié)果與上一節(jié)相同,不再累述。

df = pd.DataFrame([["a", 1, 1, 2.0, datetime.now(), True]], 
                  columns=["str", "int", "float", "datetime", "boolean"])
dtypedict = mapping_df_types(df)
df.to_sql(name="test", con=con, if_exists="append", index=False, dtype=dtypedict)
參考
  • pandas官方文檔 ?

  • 文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

    轉(zhuǎn)載請(qǐng)注明本文地址:http://m.specialneedsforspecialkids.com/yun/41296.html

    相關(guān)文章

    • pandas使用

      摘要:寫(xiě)這篇文章主要是想按照一定的邏輯順總結(jié)一下自己做項(xiàng)目以來(lái)序用到過(guò)的的知識(shí)點(diǎn)雖然官方文檔上各個(gè)方面都寫(xiě)的很清楚但是還是想自己再寫(xiě)一份一個(gè)是想作為個(gè)人梳理另外也可以把最經(jīng)常使用的部分拎出來(lái)更清晰一些不定時(shí)更新數(shù)據(jù)的讀數(shù)據(jù)其中是需要的語(yǔ)句是創(chuàng)建的 寫(xiě)這篇文章,主要是想按照一定的邏輯順總結(jié)一下自己做項(xiàng)目以來(lái),序用到過(guò)的pandas的知識(shí)點(diǎn).雖然pandas官方文檔上各個(gè)方面都寫(xiě)的很清楚,但是還...

      int64 評(píng)論0 收藏0

    發(fā)表評(píng)論

    0條評(píng)論

    最新活動(dòng)
    閱讀需要支付1元查看
    <