摘要：家庭用戶的用電預(yù)測(cè)用電量可以反映一個(gè)國(guó)家經(jīng)濟(jì)發(fā)展的水平，對(duì)用電量進(jìn)行全面的理解有助于減少家庭的電費(fèi)支出。處理缺失值在原始計(jì)量數(shù)據(jù)，特別是用戶電量抽取過(guò)程中，發(fā)現(xiàn)存在缺失現(xiàn)象。若將這些值拋棄掉，會(huì)嚴(yán)重影響用電預(yù)測(cè)的結(jié)果。

用電量可以反映一個(gè)國(guó)家經(jīng)濟(jì)發(fā)展的水平，對(duì)用電量進(jìn)行全面的理解有助于減少家庭的電費(fèi)支出。對(duì)企業(yè)而言，對(duì)用電量全面的理解有助于提高經(jīng)營(yíng)的效率。對(duì)于政府而言，全面的了解用電量可以減少政府對(duì)發(fā)電，供電等需要的基建投資，為政府對(duì)當(dāng)?shù)亟?jīng)濟(jì)發(fā)展制定更好更全面的規(guī)劃。

鑒于智能電表的興起以及太陽(yáng)能電池板等發(fā)電技術(shù)的廣泛采用，有大量的用電數(shù)據(jù)可供選擇。該數(shù)據(jù)代表了功率的相關(guān)變量，這些變量又可用于建模甚至預(yù)測(cè)未來(lái)的電力消耗。像長(zhǎng)期短期記憶網(wǎng)絡(luò)（LSTM）這樣的神經(jīng)網(wǎng)絡(luò)能夠處理多個(gè)輸入變量的問(wèn)題。這在時(shí)間序列預(yù)測(cè)中具有很大的益處，而傳統(tǒng)的線性方法難以適應(yīng)多變量或多輸入預(yù)測(cè)問(wèn)題。

在本教程中，您將了解如何在 Keras 深度學(xué)習(xí)庫(kù)中開(kāi)發(fā)多變量時(shí)間序列預(yù)測(cè)的 LSTM 模型。完成本教程后，您將知道：

如何將原始數(shù)據(jù)集轉(zhuǎn)換為可用于時(shí)間序列預(yù)測(cè)的類型

如何搭建解決多變量時(shí)間序列預(yù)測(cè)問(wèn)題的 LSTM 模型

如何做出預(yù)測(cè)并將結(jié)果重新調(diào)整到原始單位

特征介紹

date: 日期格式為 dd/mm/yy

time: 時(shí)間格式為 hh:mm:ss

Global_active_power: 家庭消耗的總有功功率（千瓦），在交流電路中，電源在一個(gè)周期內(nèi)發(fā)出瞬時(shí)功率的平均值(或負(fù)載電阻所消耗的功率)，稱為"有功功率"

Global_reactive_power: 家庭消耗的總無(wú)功功率（千瓦），在具有電感或電容的電路中，在每半個(gè)周期內(nèi)，把電源能量變成磁場(chǎng)(或電場(chǎng))能量貯存起來(lái)，然后，再釋放，又把貯存的磁場(chǎng)（或電場(chǎng)）能量再返回給電源，只是進(jìn)行這種能量的交換，并沒(méi)有真正消耗能量，我們把這個(gè)交換的功率值，稱為" 無(wú)功功率"

voltage: 平均電壓（伏特）

Global_intensity: 平均電流強(qiáng)度（安培)

sub_metering_1: 廚房的有功功率

sub_metering_2: 用于洗衣機(jī)等電器的有功功率

sub_metering_3: 空調(diào)熱水器等電器的有功功率

這里我們使用的是時(shí)間序列預(yù)測(cè)模型，利用歷史數(shù)據(jù)來(lái)預(yù)測(cè)之后的 Global_active_power。

# 將txt文檔讀入并轉(zhuǎn)換為 csv 文件格式
df = pd.read_csv(path, sep=";", 
                 parse_dates={"dt" : ["Date", "Time"]}, infer_datetime_format=True, 
                 low_memory=False, na_values=["nan","?"], index_col="dt")

上面代碼執(zhí)行了以下操作：1）將 "Date" 和 "Time" 兩列合并為 "dt"2）將上面的數(shù)據(jù)轉(zhuǎn)換為時(shí)間序列類型，將時(shí)間作為索引。

# 我們查看前 5 條數(shù)據(jù)
df.head()

我們可以看出?Global_active_power 大于?Global_reactive_power，?voltage 基本穩(wěn)定在 233 伏特。

# 了解數(shù)據(jù)的分布
df.describe()

我們可以通過(guò)上表了解數(shù)據(jù)的分布特征，比如均值和方差，還有最小值等等。

在原始計(jì)量數(shù)據(jù)，特別是用戶電量抽取過(guò)程中，發(fā)現(xiàn)存在缺失現(xiàn)象。若將這些值拋棄掉，會(huì)嚴(yán)重影響用電預(yù)測(cè)的結(jié)果。為了達(dá)到較好的建模效果，需要對(duì)缺失值進(jìn)行處理。

# 找到所有有缺失值的列
total = df.isnull().sum().sort_values(ascending=False)
display(total)
# 用各列的均值填充缺失值
for j in range(0,7):        
        df.iloc[:,j] = df.iloc[:,j].fillna(df.iloc[:,j].mean())
# 查看是否還有缺失值
df.isnull().sum()

大部分真實(shí)的數(shù)據(jù)集都難以觀察，因?yàn)樗鼈冇泻芏嗔凶兞浚约昂芏嘈袛?shù)據(jù)。理解信息這方面大量都依賴于視覺(jué)。查看數(shù)據(jù)基本等價(jià)于了解數(shù)據(jù)。然而，基本上我們只能理解視覺(jué)上的二維或者三維數(shù)據(jù)，最好是二維。所以數(shù)據(jù)可視化能夠幫助我們提高對(duì)數(shù)據(jù)的理解。

對(duì)數(shù)據(jù)集中呈現(xiàn)的結(jié)構(gòu)和相關(guān)性進(jìn)行觀察，會(huì)讓它們易于理解。一個(gè)準(zhǔn)確的機(jī)器學(xué)習(xí)模型給出的預(yù)測(cè)，應(yīng)當(dāng)能夠反映出數(shù)據(jù)集中所體現(xiàn)的結(jié)構(gòu)和相關(guān)性。要明確一個(gè)模型給出的預(yù)測(cè)是否可信，對(duì)這些結(jié)構(gòu)和相關(guān)性進(jìn)行理解是首當(dāng)其沖的。

我們可以使用 resample 函數(shù)使特征按不同單位進(jìn)行聚合。例如:使用參數(shù) "H" 調(diào)用此函數(shù)使時(shí)間索引的數(shù)據(jù)按小時(shí)聚合。下面我們對(duì)?Global_active_power?按天進(jìn)行聚合，并比較它的總和和平均值。 可以看出，重采樣數(shù)據(jù)集的平均值和總和具有相似的結(jié)構(gòu)。

# 對(duì) Global_active_power 數(shù)據(jù)按天進(jìn)行聚合，并比較均值和總和
df.Global_active_power.resample("D").sum().plot(title="Global_active_power resampled over day for sum") 
plt.tight_layout()
plt.show()   

df.Global_active_power.resample("D").mean().plot(title="Global_active_power resampled over day for mean", color="red") 
plt.tight_layout()
plt.show()

# 對(duì) "Global_active_power" 按季度進(jìn)行聚合
df["Global_active_power"].resample("Q").mean().plot(kind="bar")
plt.xticks(rotation=60)
plt.ylabel("Global_active_power")
plt.title("Global_active_power per quarter (averaged over quarter)")
plt.show()

# 對(duì)"Voltage" 按月進(jìn)行聚合
df["Voltage"].resample("M").mean().plot(kind="bar", color="red")
plt.xticks(rotation=60)
plt.ylabel("Voltage")
plt.title("Voltage per quarter (summed over quarter)")
plt.show()

我們可以看出每個(gè)月電壓平均值變化幅度非常小，基本保持穩(wěn)定。

# 下面我們比較對(duì)不同特征以天進(jìn)行重采樣的數(shù)值
cols = [0, 1, 2, 3, 5, 6]
i = 1
groups=cols
# 統(tǒng)計(jì)以天進(jìn)行重采樣的平均值
values = df.resample("D").mean().values
# 對(duì)每個(gè)column進(jìn)行繪圖
plt.figure(figsize=(15, 10))
for group in groups:
    # 對(duì)每個(gè)特征添加子圖
    plt.subplot(len(cols), 1, i)
    # 進(jìn)行繪圖
    plt.plot(values[:, group])
    # 添加標(biāo)題
    plt.title(df.columns[group], y=0.75, loc="right")
    # 更換子圖位置
    i += 1
plt.show()

# 下面我們看看 ‘Global_active_power‘ 數(shù)值分布情況
sns.distplot(df["Global_active_power"]);

可以看出家庭消耗的總有功功率主要集中在 0-2kw 范圍內(nèi)

# 查看 "Global_intensity" 和 "Global_active_power" 特征之間的關(guān)系
data_returns = df.pct_change()
sns.jointplot(x="Global_intensity", y="Global_active_power", data=data_returns)  
plt.show()

# 查看 "Voltage" 和 "Global_active_power" 之間的關(guān)系
sns.jointplot(x="Voltage", y="Global_active_power", data=data_returns)  
plt.show()

從上面的兩個(gè)圖中可以看出 "Global_intensity" 和 "Global_active_power" 是線性相關(guān)的。 但 "Voltage" 和 "Global_active_power" 的相關(guān)性較低， 這是機(jī)器學(xué)習(xí)所要觀察的。

# 對(duì)各特征按月進(jìn)行聚合
plt.title("resampled over month",size=15)
sns.heatmap(df.resample("M").mean().corr(),linewidths=0.1,vmax=1.0, 
            square=True, cmap=plt.cm.RdBu, linecolor="white", annot=True)

# 對(duì)各特征按年進(jìn)行聚合
plt.title("resampled over year",size=15)
sns.heatmap(df.resample("A").mean().corr(),linewidths=0.1,vmax=1.0, 
            square=True, cmap=plt.cm.RdBu, linecolor="white", annot=True)

從上面可以看出，采用重采樣技術(shù)可以改變特征之間的相關(guān)性， 這對(duì)于特征工程非常重要。

在可以使用深度學(xué)習(xí)之前，必須將時(shí)間序列預(yù)測(cè)問(wèn)題調(diào)整為監(jiān)督學(xué)習(xí)問(wèn)題，形成輸入和輸出序列對(duì)，利用前一時(shí)間的 Global_active_power 和其他特征預(yù)測(cè)當(dāng)前時(shí)間的 Global_active_power。

# 下面我們對(duì) ‘Global_active_power" 向前移動(dòng)一個(gè)單位
df["Global_active_power"].resample("h").mean().shift(1)
# 下面我們對(duì) ‘Global_active_power" 向后移動(dòng)一個(gè)單位
df["Global_active_power"].resample("h").mean().shift(-1)

因?yàn)檫@里我們預(yù)測(cè) ‘Global_active_power" 不僅用到過(guò)去時(shí)間的 ‘Global_active_power" 還會(huì)用到其他的特征，比如："Voltage‘，這時(shí)候我們把此類問(wèn)題叫做多變量時(shí)間序列預(yù)測(cè)。下面我們展示將時(shí)間序列問(wèn)題轉(zhuǎn)換為監(jiān)督學(xué)習(xí)問(wèn)題的過(guò)程。

def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):
    n_vars = 1 if type(data) is list else data.shape[1]
    dff = pd.DataFrame(data)
    cols, names = list(), list()
    # 輸入序列(t-n, ... t-1)
    for i in range(n_in, 0, -1):
        cols.append(dff.shift(i))
        names += [("var%d(t-%d)" % (j+1, i)) for j in range(n_vars)]
    # 預(yù)測(cè)序列 (t, t+1, ... t+n)
    for i in range(0, n_out):
        cols.append(dff.shift(-i))
        if i == 0:
            names += [("var%d(t)" % (j+1)) for j in range(n_vars)]
        else:
            names += [("var%d(t+%d)" % (j+1, i)) for j in range(n_vars)]
    # 組合起來(lái)
    agg = pd.concat(cols, axis=1)
    agg.columns = names
    # 丟掉NaN
    if dropnan:
        agg.dropna(inplace=True)
    return agg
 

我們將數(shù)據(jù)以小時(shí)進(jìn)行聚合，這樣也可以減少計(jì)算時(shí)間，可以快速獲得測(cè)試模型的結(jié)果。 我們以小時(shí)進(jìn)行聚合（原始數(shù)據(jù)以分鐘為單位）。這將把數(shù)據(jù)大小從 2075259 減少到 34589，但依然保持?jǐn)?shù)據(jù)的整體結(jié)構(gòu)。

# 將數(shù)據(jù)按小時(shí)聚合
df_resample = df.resample("h").mean() 
df_resample.shape

數(shù)據(jù)歸一化處理是數(shù)據(jù)挖掘的一項(xiàng)基礎(chǔ)工作。不同指標(biāo)往往具有不同的量綱，數(shù)值間的差別可能很大，不進(jìn)行處理可能會(huì)影響數(shù)據(jù)分析的結(jié)果。為了消除指標(biāo)間的量綱和取值范圍差異的影響，需要進(jìn)行標(biāo)準(zhǔn)化處理，將數(shù)據(jù)按照比例進(jìn)行縮放，使之落入特定的區(qū)域，以便于進(jìn)行綜合分析。

同樣我們必須對(duì)用戶電量的各指標(biāo)進(jìn)行處理，這里我們用到最小最大規(guī)范化。

# 把所有特征進(jìn)行規(guī)范化
values = df_resample.values 
# 特征歸一化
scaler = MinMaxScaler(feature_range=(0, 1))
scaled = scaler.fit_transform(values)
# 轉(zhuǎn)化為監(jiān)督問(wèn)題

# 轉(zhuǎn)化為監(jiān)督問(wèn)題
reframed = series_to_supervised(scaled, 1, 1)
# 刪除不需要的特征
reframed.drop(reframed.columns[[8,9,10,11,12,13]], axis=1, inplace=True)
print(reframed.head())

這里，我們將前三年的數(shù)據(jù)作為訓(xùn)練集，后一年的樣本作為測(cè)試集，并將數(shù)據(jù)改為 3 維格式。?

# 對(duì)樣本集拆分成訓(xùn)練集和測(cè)試集
values = reframed.values
n_train_time = 365*24*3
train = values[:n_train_time, :]
test = values[n_train_time:, :]
train_X, train_y = train[:, :-1], train[:, -1]
test_X, test_y = test[:, :-1], test[:, -1]
# 把數(shù)據(jù)轉(zhuǎn)換為3維
train_X = train_X.reshape((train_X.shape[0], 1, train_X.shape[1]))
test_X = test_X.reshape((test_X.shape[0], 1, test_X.shape[1]))
print(train_X.shape, train_y.shape, test_X.shape, test_y.shape)

模型架構(gòu)1）LSTM 在第一個(gè)可見(jiàn)層中有 100 個(gè)神經(jīng)元2）丟棄 20％，防止過(guò)擬合3）輸出層中 1 個(gè)神經(jīng)元，用于預(yù)測(cè) Global_active_power4）使用平均絕對(duì)誤差（MAE）損失函數(shù)和隨機(jī)梯度下降的 Adam 優(yōu)化器5）該模型 epoch 為 20，批次大小為 70?

# 搭建網(wǎng)絡(luò)模型
model = Sequential()
model.add(LSTM(100, input_shape=(train_X.shape[1], train_X.shape[2])))
model.add(Dropout(0.2))
model.add(Dense(1))
model.compile(loss="mean_squared_error", optimizer="adam")
# 訓(xùn)練網(wǎng)絡(luò)
history = model.fit(train_X, train_y, epochs=20, batch_size=70, validation_data=(test_X, test_y), verbose=2, shuffle=False)
# 統(tǒng)計(jì) loss 值
plt.plot(history.history["loss"])
plt.plot(history.history["val_loss"])
plt.title("model loss")
plt.ylabel("loss")
plt.xlabel("epoch")
plt.legend(["train", "test"], loc="upper right")
plt.show()
# 做出預(yù)測(cè)
yhat = model.predict(test_X)
test_X = test_X.reshape((test_X.shape[0], 7))

我們可以看出模型的收斂速度很快。

預(yù)測(cè)模型對(duì)訓(xùn)練集進(jìn)行預(yù)測(cè)而得到的準(zhǔn)確率并不能很好地反映預(yù)測(cè)模型對(duì)未來(lái)的性能，為了有效判斷一個(gè)預(yù)測(cè)模型的性能表現(xiàn)，需要一組沒(méi)有參加預(yù)測(cè)模型建立的數(shù)據(jù)集，并在該模型上評(píng)價(jià)預(yù)測(cè)模型的準(zhǔn)確率，這組獨(dú)立的數(shù)據(jù)集叫做測(cè)試集。在測(cè)試集進(jìn)行預(yù)測(cè)并且評(píng)估，我們?cè)鯓訉?duì)模型進(jìn)行性能衡量？

回歸問(wèn)題的評(píng)價(jià)指標(biāo):通常用相對(duì)／絕對(duì)誤差，平均絕對(duì)誤差，均方誤差，均方根誤差等指標(biāo)來(lái)衡量,分類問(wèn)題的評(píng)價(jià)指標(biāo)：準(zhǔn)確率，精確率，召回率，ROC曲線，混淆矩陣。

我們將預(yù)測(cè)與測(cè)試數(shù)據(jù)集相結(jié)合，并反演縮放。以預(yù)測(cè)值和實(shí)際值為原始尺度，我們可以計(jì)算模型的誤差分?jǐn)?shù)。 在這種情況下，我們計(jì)算出與變量本身相同的單位產(chǎn)生誤差的均方根誤差（RMSE)。

#對(duì)預(yù)測(cè)值進(jìn)行反演縮放
inv_yhat = np.concatenate((yhat, test_X[:, -6:]), axis=1)
inv_yhat = scaler.inverse_transform(inv_yhat)
inv_yhat = inv_yhat[:,0]
# 對(duì)真實(shí)值進(jìn)行反演縮放
test_y = test_y.reshape((len(test_y), 1))
inv_y = np.concatenate((test_y, test_X[:, -6:]), axis=1)
inv_y = scaler.inverse_transform(inv_y)
inv_y = inv_y[:,0]
# 計(jì)算 RMSE
rmse = np.sqrt(mean_squared_error(inv_y, inv_yhat))
print("Test RMSE: %.3f" % rmse)

## 我們比較下 200 小時(shí)真實(shí)值和預(yù)測(cè)值 
aa=[x for x in range(200)]
plt.plot(aa, inv_y[:200], marker=".", label="actual")
plt.plot(aa, inv_yhat[:200], "r", label="prediction")
plt.ylabel("Global_active_power", size=15)
plt.xlabel("Time step", size=15)
plt.legend(fontsize=15)
plt.show()

能不能進(jìn)一步的改進(jìn)模型呢？下面提出了一些可能的改進(jìn)模型的方案，有興趣的話可以試一試哦。1.在缺失值處理中利用其他的插值方法2.使用復(fù)雜的模型3.調(diào)整 epoch 和 batch_size

今天我們一起制作了一個(gè)家庭用戶用電預(yù)測(cè)的應(yīng)用，大家可以在項(xiàng)目源碼地址 fork 這個(gè)項(xiàng)目http://www.momodel.cn:8899/explore/5cde0ed11afd94371e5697ff?type=app

我們首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，處理缺失值；接著進(jìn)行數(shù)據(jù)可視化，了解數(shù)據(jù)的結(jié)構(gòu)和相關(guān)性；然后搭建 LSTM 模型，其中最為關(guān)鍵的是將問(wèn)題轉(zhuǎn)化為監(jiān)督學(xué)習(xí)問(wèn)題；最后我們對(duì)模型進(jìn)行評(píng)估，并提出了優(yōu)化模型的建議。

使用我們的模型同樣也可以預(yù)測(cè)溫濕度和股價(jià)等等，只需要略加修改就行，來(lái)做出自己的應(yīng)用吧。

參考資料：https://wenku.baidu.com/view/3973baa6951ea76e58fafab069dc5022aaea46b9.htmlhttps://blog.csdn.net/sinat_22510827/article/details/80996937https://blog.csdn.net/weixin_40651515/article/details/83895707https://www.jianshu.com/p/bebf8ca6a946

Mo（網(wǎng)址：momodel.cn）是一個(gè)支持 Python 的人工智能在線建模平臺(tái)，能幫助你快速開(kāi)發(fā)、訓(xùn)練并部署模型。

Mo 人工智能俱樂(lè)部?是由網(wǎng)站的研發(fā)與產(chǎn)品設(shè)計(jì)團(tuán)隊(duì)發(fā)起、致力于降低人工智能開(kāi)發(fā)與使用門檻的俱樂(lè)部。團(tuán)隊(duì)具備大數(shù)據(jù)處理分析、可視化與數(shù)據(jù)建模經(jīng)驗(yàn)，已承擔(dān)多領(lǐng)域智能項(xiàng)目，具備從底層到前端的全線設(shè)計(jì)開(kāi)發(fā)能力。主要研究方向?yàn)榇髷?shù)據(jù)管理分析與人工智能技術(shù)，并以此來(lái)促進(jìn)數(shù)據(jù)驅(qū)動(dòng)的科學(xué)研究。目前俱樂(lè)部每周六在杭州舉辦以機(jī)器學(xué)習(xí)為主題的線下技術(shù)沙龍活動(dòng)，不定期進(jìn)行論文分享與學(xué)術(shù)交流。希望能匯聚來(lái)自各行各業(yè)對(duì)人工智能感興趣的朋友，不斷交流共同成長(zhǎng)，推動(dòng)人工智能民主化、應(yīng)用普及化。