摘要：此神經(jīng)網(wǎng)絡(luò)有個(gè)隱含層，每層個(gè)節(jié)點(diǎn)，個(gè)是一個(gè)預(yù)測(cè)類的后向反饋神經(jīng)網(wǎng)絡(luò)，建立值用以量化某聲學(xué)設(shè)備設(shè)計(jì)方案的好壞和個(gè)設(shè)計(jì)尺寸的函數(shù)關(guān)系。導(dǎo)入依賴庫(kù)用以處理矩陣數(shù)據(jù)，用以可視化，用以訓(xùn)練后向反饋神經(jīng)網(wǎng)絡(luò)。

我們正在研究如何用更廉價(jià)、更高效、魯棒性更好的方法對(duì)大寬度、大深度的神經(jīng)網(wǎng)路進(jìn)行調(diào)參（hidden layer的層數(shù)，每層layer的節(jié)點(diǎn)，epochs，batch_size）。
無(wú)論如何，先構(gòu)建一個(gè)規(guī)模較大的神經(jīng)網(wǎng)絡(luò)，要保證訓(xùn)練的時(shí)間（即使使用GPU計(jì)算）。
此神經(jīng)網(wǎng)絡(luò)有9個(gè)隱含層，每層400個(gè)節(jié)點(diǎn)，1450401個(gè)trainable parameters,是一個(gè)預(yù)測(cè)類的后向反饋神經(jīng)網(wǎng)絡(luò)，建立feval值（用以量化某聲學(xué)設(shè)備設(shè)計(jì)方案的好壞）和15個(gè)設(shè)計(jì)尺寸的函數(shù)關(guān)系。

1.導(dǎo)入依賴庫(kù)

pandas用以處理矩陣數(shù)據(jù)，matplotlib用以可視化，keras用以訓(xùn)練后向反饋神經(jīng)網(wǎng)絡(luò)。

import pandas as pd
import matplotlib.pyplot as plt
from keras.models import Sequential
from keras.layers.core import Dense,Dropout, Activation
from keras.utils.vis_utils import plot_model

2.導(dǎo)入EXCEL文件中的數(shù)據(jù)

定義輸入文件、輸出文件、模型參數(shù)保存文件的目錄；
讀取excel數(shù)據(jù)，定義15個(gè)feature和1個(gè)Label；
截取前40000個(gè)example作為訓(xùn)練數(shù)據(jù)集。

inputfile = "Dataset.xlsx"
outputfile = "output.xls"
modelfile = "modelweight.model"
data = pd.read_excel(inputfile,index="index",sheetname=0)
feature = ["l1","l2","l3","l4","l5",
           "p1","p2","p3","p4","p5",
           "h1","h2","h3","h4","h5"]
label = ["feval"]
data_train = data.loc[range(0,40000)].copy()

3.將數(shù)據(jù)歸一化，提高訓(xùn)練效率
計(jì)算各個(gè)特征和標(biāo)簽的平均值和標(biāo)準(zhǔn)差，用來(lái)做線性變換將數(shù)據(jù)歸一化，并轉(zhuǎn)化為矩陣格式。

data_mean = data_train.mean()
data_std = data_train.std()
data_train = (data_train - data_mean)/data_std
x_train = data_train[feature].as_matrix()
y_train = data_train[label].as_matrix()

4.建立深度學(xué)習(xí)模型
Sequential類的模型，輸入層接受15個(gè)輸入，輸出到第一個(gè)隱藏層的400個(gè)神經(jīng)元中，其后9個(gè)隱藏層都接受400個(gè)輸入并產(chǎn)生400個(gè)輸出。輸入層和隱藏層都采用ReLu作為激活函數(shù)，Dropout概率都為1%。
采用均方根誤差（mse）值作為loss value，優(yōu)化器使用adam。
打印summary，并將結(jié)構(gòu)圖保存為png文件。

model = Sequential()
model.add(Dense(400,input_dim=15,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(400,input_dim=400,kernel_initializer="uniform"))
model.add(Activation("relu"))
model.add(Dropout(0.01))
model.add(Dense(1,input_dim=400))
model.compile(loss="mean_squared_error", optimizer="adam")
print(model.summary())
plot_model(model, to_file="bpnn_predict_model.png",show_shapes=True)

5.訓(xùn)練模型
迭代200次，每一次批量梯度下降使用256個(gè)樣本。

model.fit(x_train, y_train, epochs = 200, batch_size = 256)

最終loss值穩(wěn)定在0.0035左右

6.測(cè)試模型
將data數(shù)據(jù)歸一化后使用訓(xùn)練的模型預(yù)測(cè)tl值，并保存到excel文件中。

x = ((data[feature] - data_mean[feature])/data_std[feature]).as_matrix()
data[u"feval_pred"] = model.predict(x) * data_std["feval"] + data_mean["feval"]
data.to_excel(outputfile)

打印預(yù)測(cè)值（除去訓(xùn)練集樣本）并與真實(shí)值進(jìn)行對(duì)比。

plt.xlim(6000, 16000)
plt.ylim(6000, 16000)
plt.gca().set_aspect(1)
plt.scatter(data["feval_pred"][40000:],data["feval"][40000:],s=1, c="b", marker=".")
plt.show()