文中關鍵給大家介紹了Caffe神經網絡solver及其配備詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發展,盡早漲薪
前言
solver算是caffe的最核心的關鍵,它融洽著全部建模運行。caffe程序執行必帶的另一個主要參數就是solver環境變量。運行代碼一般為
</>復制代碼
#caffe train--solver=*_slover.prototxt
在DeepLearning中,通常lossfunction是非凸的,并沒有解析解,我們應該依據優化策略來求得。solver的關鍵作用是更替啟用非前(forward)優化計算方法和時向(backward)優化計算方法來刷新主要參數,進而降到最低loss,實際上是一類提升的優化計算方法。
至目前版本,caffe帶來了6種優化計算方法來求得最佳主要參數,在solver環境變量中,可設置type類型來挑選。
StochasticGradientDescent(type:"SGD"),
AdaDelta(type:"AdaDelta"),
AdaptiveGradient(type:"AdaGrad"),
Adam(type:"Adam"),
Nesterov’sAcceleratedGradient(type:"Nesterov")and
RMSprop(type:"RMSProp")
具體每一種方式的講解,請看本系列下篇文章,文中重點詳細介紹solver環境變量的撰寫。
Solver的步驟:
1.制定好必須改善的目標,及其用以學習培訓的練習網絡與用以鑒定的測試網絡。(依據啟用另一個環境變量prototxt去進行)
2.依據forward和backward提升的進行改善來跟主要參數。
3.定期進行的點評測試網絡。(可設置幾回訓練后,做一次檢測)
4.在提升環節中表明建模和solver的情況
在每次的循環迭代中,solver進行了這兩步工作中:
1、調用forward算法進行計算最后的導出值,及其相匹配的loss
2、調用backward算法進行計算各層的梯度方向
3、依據采用的slover方法,運用梯度方向開展主要參數刷新
4、統計并儲存每一次提升的學習率、快照更新,及其相對應的情況。
下面,我們首先來說個案例:
</>復制代碼
net:"examples/mnist/lenet_train_test.prototxt"
test_iter:100
test_interval:500
base_lr:0.01
momentum:0.9
type:SGD
weight_decay:0.0005
lr_policy:"inv"
gamma:0.0001
power:0.75
display:100
max_iter:20000
snapshot:5000
snapshot_prefix:"examples/mnist/lenet"
solver_mode:CPU
接下來,我們對每一行進行詳細解譯:
</>復制代碼
net:"examples/mnist/lenet_train_test.prototxt"
設置深度網絡模型。每一個模型就是一個net,需要在一個專門的配置文件中對net進行配置,每個net由許多的layer所組成。每一個layer的具體配置方式可參考本系列文文章中的(2)-(5)。注意的是:文件的路徑要從caffe的根目錄開始,其它的所有配置都是這樣。
訓練測試模型
也可用train_net和test_net來對訓練模型和測試模型分別設定。例如:
</>復制代碼
train_net:"examples/hdf5_classification/logreg_auto_train.prototxt"
test_net:"examples/hdf5_classification/logreg_auto_test.prototxt"
接下來第二行:
</>復制代碼
test_iter:100
這個要與test layer中的batch_size結合起來理解。mnist數據中測試樣本總數為10000,一次性執行全部數據效率很低,因此我們將測試數據分成幾個批次來執行,每個批次的數量就是batch_size。假設我們設置batch_size為100,則需要迭代100次才能將10000個數據全部執行完。因此test_iter設置為100。執行完一次全部數據,稱之為一個epoch
</>復制代碼
test_interval:500
測試間隔。也就是每訓練500次,才進行一次測試。
</>復制代碼
base_lr:0.01
lr_policy:"inv"
gamma:0.0001
power:0.75
這四行可以放在一起理解,用于學習率的設置。只要是梯度下降法來求解優化,都會有一個學習率,也叫步長。base_lr用于設置基礎學習率,在迭代的過程中,可以對基礎學習率進行調整。怎么樣進行調整,就是調整的策略,由lr_policy來設置。
lr_policy可以設置為下面這些值,相應的學習率的計算為:
-fixed:保持base_lr不變.
-step:如果設置為step,則還需要設置一個stepsize,返回base_lr*gamma^(floor(iter/stepsize)),其中iter表示當前的迭代次數
-exp:返回base_lr*gamma^iter,iter為當前迭代次數
-inv:如果設置為inv,還需要設置一個power,返回base_lr*(1+gamma*iter)^(-power)
-multistep:如果設置為multistep,則還需要設置一個stepvalue。這個參數和step很相似,step是均勻等間隔變化,而multistep則是根據stepvalue值變化
-poly:學習率進行多項式誤差,返回base_lr(1-iter/max_iter)^(power)
-sigmoid:學習率進行sigmod衰減,返回base_lr(1/(1+exp(-gamma*(iter-stepsize))))
multistep示例:
</>復制代碼
base_lr:0.01
momentum:0.9
weight_decay:0.0005
#The learning rate policy
lr_policy:"multistep"
gamma:0.9
stepvalue:5000
stepvalue:7000
stepvalue:8000
stepvalue:9000
stepvalue:9500
參數
接下來的參數:
</>復制代碼
momentum:0.9
上一次梯度更新的權重,具體可參看下一篇文章。
</>復制代碼
type:SGD
優化算法選擇。這一行可以省掉,因為默認值就是SGD。總共有六種方法可選擇,在本文的開頭已介紹。
</>復制代碼
weight_decay:0.0005
權重衰減項,防止過擬合的一個參數。
</>復制代碼
display:100
每訓練100次,在屏幕上顯示一次。如果設置為0,則不顯示。
</>復制代碼
max_iter:20000
max_iter:20000
最大迭代次數。這個數設置太小,會導致沒有收斂,精確度很低。設置太大,會導致震蕩,浪費時間。
</>復制代碼
snpshot:5000
snapshot_prefix:"examples/mnist/lenet"
快照。將訓練出來的model和solver狀態進行保存,snapshot用于設置訓練多少次后進行保存,默認為0,不保存。snapshot_prefix設置保存路徑。
還可以設置snapshot_diff,是否保存梯度值,默認為false,不保存。
也可以設置snapshot_format,保存的類型。有兩種選擇:HDF5和BINARYPROTO,默認為BINARYPROTO
</>復制代碼
solver_mode:CPU
設置運行模式。默認為GPU,如果你沒有GPU,則需要改成CPU,否則會出錯。
注意:以上的所有參數都是可選參數,都有默認值。根據solver方法(type)的不同,還有一些其它的參數,在此不一一列舉。
綜上所述,這篇內容就給大家介紹到這里了,希望可以給大家帶來幫助。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/128771.html
本文主要是給大家介紹了caffe的python插口形成solver文件詳細說明學習培訓實例,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的不斷進步,盡早漲薪 也有一些基本參數必須計算出來的,并不是亂設定。 solver.prototxt的文件參數設置 caffe在訓練的時候,需要一些參數設置,我們一般將這些參數設置在一個叫solver.prototxt的文件里面,如...
此篇文章主要是給大家介紹了caffe的python插口制作loss和accuracy曲線圖實例詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發展,盡早漲薪 前言 使用python插口來運行caffe程序流程,根本原因是python很容易數據可視化。所以才建議大家在cmd下邊運行python程序流程。如果一定要在cmd下邊運作,不如直接用c++算了。 強烈推...
文中主要是給大家介紹了caffe的python插口之手寫數字識別mnist案例詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發展,盡早漲薪 論文引言 機器學習第一個案例一般都是是mnist,只需這個案例徹底搞懂了,其他的便是觸類旁通的事了。因為字數緣故,文中不簡單介紹環境變量里邊每一個指標的具體函義,如果要搞明白的,請參考我之前的微博文章: 數據訪問層及主...
閱讀 924·2023-01-14 11:38
閱讀 897·2023-01-14 11:04
閱讀 756·2023-01-14 10:48
閱讀 2056·2023-01-14 10:34
閱讀 962·2023-01-14 10:24
閱讀 840·2023-01-14 10:18
閱讀 511·2023-01-14 10:09
閱讀 589·2023-01-14 10:02