国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Caffe神經網絡solver及其配備詳細說明

89542767 / 394人閱讀

  文中關鍵給大家介紹了Caffe神經網絡solver及其配備詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發展,盡早漲薪


  前言


  solver算是caffe的最核心的關鍵,它融洽著全部建模運行。caffe程序執行必帶的另一個主要參數就是solver環境變量。運行代碼一般為


</>復制代碼

  1.   #caffe train--solver=*_slover.prototxt

  在DeepLearning中,通常lossfunction是非凸的,并沒有解析解,我們應該依據優化策略來求得。solver的關鍵作用是更替啟用非前(forward)優化計算方法和時向(backward)優化計算方法來刷新主要參數,進而降到最低loss,實際上是一類提升的優化計算方法。


  至目前版本,caffe帶來了6種優化計算方法來求得最佳主要參數,在solver環境變量中,可設置type類型來挑選。


  StochasticGradientDescent(type:"SGD"),


  AdaDelta(type:"AdaDelta"),


  AdaptiveGradient(type:"AdaGrad"),


  Adam(type:"Adam"),


  Nesterov’sAcceleratedGradient(type:"Nesterov")and


  RMSprop(type:"RMSProp")


  具體每一種方式的講解,請看本系列下篇文章,文中重點詳細介紹solver環境變量的撰寫。


  Solver的步驟:


  1.制定好必須改善的目標,及其用以學習培訓的練習網絡與用以鑒定的測試網絡。(依據啟用另一個環境變量prototxt去進行)


  2.依據forward和backward提升的進行改善來跟主要參數。


  3.定期進行的點評測試網絡。(可設置幾回訓練后,做一次檢測)


  4.在提升環節中表明建模和solver的情況


  在每次的循環迭代中,solver進行了這兩步工作中:


  1、調用forward算法進行計算最后的導出值,及其相匹配的loss


  2、調用backward算法進行計算各層的梯度方向


  3、依據采用的slover方法,運用梯度方向開展主要參數刷新


  4、統計并儲存每一次提升的學習率、快照更新,及其相對應的情況。


  下面,我們首先來說個案例:


</>復制代碼

  1.   net:"examples/mnist/lenet_train_test.prototxt"
  2.   test_iter:100
  3.   test_interval:500
  4.   base_lr:0.01
  5.   momentum:0.9
  6.   type:SGD
  7.   weight_decay:0.0005
  8.   lr_policy:"inv"
  9.   gamma:0.0001
  10.   power:0.75
  11.   display:100
  12.   max_iter:20000
  13.   snapshot:5000
  14.   snapshot_prefix:"examples/mnist/lenet"
  15.   solver_mode:CPU


  接下來,我們對每一行進行詳細解譯:

</>復制代碼

  1.   net:"examples/mnist/lenet_train_test.prototxt"


  設置深度網絡模型。每一個模型就是一個net,需要在一個專門的配置文件中對net進行配置,每個net由許多的layer所組成。每一個layer的具體配置方式可參考本系列文文章中的(2)-(5)。注意的是:文件的路徑要從caffe的根目錄開始,其它的所有配置都是這樣。


  訓練測試模型


  也可用train_net和test_net來對訓練模型和測試模型分別設定。例如:


</>復制代碼

  1.   train_net:"examples/hdf5_classification/logreg_auto_train.prototxt"
  2.   test_net:"examples/hdf5_classification/logreg_auto_test.prototxt"


  接下來第二行:

</>復制代碼

  1.   test_iter:100


  這個要與test layer中的batch_size結合起來理解。mnist數據中測試樣本總數為10000,一次性執行全部數據效率很低,因此我們將測試數據分成幾個批次來執行,每個批次的數量就是batch_size。假設我們設置batch_size為100,則需要迭代100次才能將10000個數據全部執行完。因此test_iter設置為100。執行完一次全部數據,稱之為一個epoch


</>復制代碼

  1.   test_interval:500

  測試間隔。也就是每訓練500次,才進行一次測試。


</>復制代碼

  1.   base_lr:0.01
  2.   lr_policy:"inv"
  3.   gamma:0.0001
  4.   power:0.75


  這四行可以放在一起理解,用于學習率的設置。只要是梯度下降法來求解優化,都會有一個學習率,也叫步長。base_lr用于設置基礎學習率,在迭代的過程中,可以對基礎學習率進行調整。怎么樣進行調整,就是調整的策略,由lr_policy來設置。


  lr_policy可以設置為下面這些值,相應的學習率的計算為:


  -fixed:保持base_lr不變.


  -step:如果設置為step,則還需要設置一個stepsize,返回base_lr*gamma^(floor(iter/stepsize)),其中iter表示當前的迭代次數


  -exp:返回base_lr*gamma^iter,iter為當前迭代次數


  -inv:如果設置為inv,還需要設置一個power,返回base_lr*(1+gamma*iter)^(-power)


  -multistep:如果設置為multistep,則還需要設置一個stepvalue。這個參數和step很相似,step是均勻等間隔變化,而multistep則是根據stepvalue值變化


  -poly:學習率進行多項式誤差,返回base_lr(1-iter/max_iter)^(power)


  -sigmoid:學習率進行sigmod衰減,返回base_lr(1/(1+exp(-gamma*(iter-stepsize))))


  multistep示例:


</>復制代碼

  1.   base_lr:0.01
  2.   momentum:0.9
  3.   weight_decay:0.0005
  4.   #The learning rate policy
  5.   lr_policy:"multistep"
  6.   gamma:0.9
  7.   stepvalue:5000
  8.   stepvalue:7000
  9.   stepvalue:8000
  10.   stepvalue:9000
  11.   stepvalue:9500

  參數


  接下來的參數:


</>復制代碼

  1.   momentum:0.9

  上一次梯度更新的權重,具體可參看下一篇文章。


</>復制代碼

  1.   type:SGD

  優化算法選擇。這一行可以省掉,因為默認值就是SGD。總共有六種方法可選擇,在本文的開頭已介紹。

</>復制代碼

  1.   weight_decay:0.0005


  權重衰減項,防止過擬合的一個參數。


</>復制代碼

  1.   display:100

  每訓練100次,在屏幕上顯示一次。如果設置為0,則不顯示。


</>復制代碼

  1.   max_iter:20000
  2.   max_iter:20000


  最大迭代次數。這個數設置太小,會導致沒有收斂,精確度很低。設置太大,會導致震蕩,浪費時間。


</>復制代碼

  1.   snpshot:5000
  2.   snapshot_prefix:"examples/mnist/lenet"

  快照。將訓練出來的model和solver狀態進行保存,snapshot用于設置訓練多少次后進行保存,默認為0,不保存。snapshot_prefix設置保存路徑。


  還可以設置snapshot_diff,是否保存梯度值,默認為false,不保存。


  也可以設置snapshot_format,保存的類型。有兩種選擇:HDF5和BINARYPROTO,默認為BINARYPROTO


</>復制代碼

  1.   solver_mode:CPU

  設置運行模式。默認為GPU,如果你沒有GPU,則需要改成CPU,否則會出錯。


  注意:以上的所有參數都是可選參數,都有默認值。根據solver方法(type)的不同,還有一些其它的參數,在此不一一列舉。


  綜上所述,這篇內容就給大家介紹到這里了,希望可以給大家帶來幫助。

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/128771.html

相關文章

  • caffe的python插口形成solver文件詳細說明學習培訓

      本文主要是給大家介紹了caffe的python插口形成solver文件詳細說明學習培訓實例,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的不斷進步,盡早漲薪  也有一些基本參數必須計算出來的,并不是亂設定。  solver.prototxt的文件參數設置  caffe在訓練的時候,需要一些參數設置,我們一般將這些參數設置在一個叫solver.prototxt的文件里面,如...

    89542767 評論0 收藏0
  • caffe的python插口制作loss和accuracy曲線圖

      此篇文章主要是給大家介紹了caffe的python插口制作loss和accuracy曲線圖實例詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發展,盡早漲薪  前言  使用python插口來運行caffe程序流程,根本原因是python很容易數據可視化。所以才建議大家在cmd下邊運行python程序流程。如果一定要在cmd下邊運作,不如直接用c++算了。  強烈推...

    89542767 評論0 收藏0
  • caffe的python插口之手寫數字識別mnist案例

      文中主要是給大家介紹了caffe的python插口之手寫數字識別mnist案例詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發展,盡早漲薪  論文引言  機器學習第一個案例一般都是是mnist,只需這個案例徹底搞懂了,其他的便是觸類旁通的事了。因為字數緣故,文中不簡單介紹環境變量里邊每一個指標的具體函義,如果要搞明白的,請參考我之前的微博文章:  數據訪問層及主...

    89542767 評論0 收藏0

發表評論

0條評論

最新活動
閱讀需要支付1元查看
<