在pytorch中獲得計算圖和自行求導數

89542767 發布于2022-12-29 13:18 / 612人閱讀

　　本文關鍵闡述了在pytorch中獲得計算圖和自行求導數，文章內容緊扣主題進行詳盡的基本介紹，具有很強的實用價值，需用的同學可以參考下

　　序言：

　　今日聊聊pytorch的計算圖和自行求導數，我們首先從簡易事例來說，下邊是個簡單函數設立了yy和xx相互關系

　　然后我們結點和邊形式表示上面公式：

　　上面的式子可以用圖的形式表達，接下來我們用torch來計算x導數，首先我們創建一個tensor并且將其requires_grad設置為True表示隨后反向傳播會對其進行求導。

　　x=torch.tensor(3.,requires_grad=True)

　　然后寫出

　　y=3*x**2+4*x+2

　　y.backward()
　　x.grad

　　通過調用y.backward()來進行求導，這時就可以通過x.grad來獲得x的導數

　　x.requires_grad_(False)

　　可以通過requires_grad_讓x不參與到自動求導

　　for epoch in range(3):
　　y=3*x**2+4*x+2
　　y.backward()
　　print(x.grad)
　　x.grad.zero_()

　　如果這里沒有調用x.grad_zero_()就是把每次求導數和上一次求導結果進行累加。

　　鏈式法則

　　相對于z對x求偏導時，我們可以將y看成常數，這樣x導數是1那么

　　x=torch.tensor([1.,2.,3.],requires_grad=True)
　　y=x*2+3
　　z=y**2
　　print(out)#tensor(51.6667,grad_fn=&lt;MeanBackward0&gt;)
　　print(x.grad)#tensor([6.6667,9.3333,12.0000])

　　對于一個簡單的網絡，我們可以手動計算梯度，但是如果擺在你面前的是一個有152層的網絡怎么辦？或者該網絡有多個分支。這時你的計算復雜程度可想而知。接下來會帶來更深入自動求導內部機制

　　綜上所述，這篇文章就給大家介紹到這里了，希望可以給大家帶來幫助。

GPU云服務器云服務器 pytorch利用gpu云計算在c語言中計算圓周率以數據形式存儲在計算機中的信息數據數組中求乘積

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/128846.html

LeCun推薦：最新PyTorch圖神經網絡庫，速度快15倍

摘要：圖神經網絡是近年發展起來的一個很有前景的深度學習方向，也是一種強大的圖點云和流形表示學習方法。地址基于的幾何深度學習擴展庫是一個基于的幾何深度學習擴展庫，用于不規則結構輸入數據，例如圖點云和流形。與相比，訓練模型的速度快了倍。過去十年來，深度學習方法（例如卷積神經網絡和遞歸神經網絡）在許多領域取得了前所未有的成就，例如計算機視覺和語音識別。研究者主要將深度學習方法應用于歐氏結構數據 (Eu...

pinecone 2019-04-25 18:33 評論0 收藏0
tensorflow和pytorch的區別

TensorFlow和PyTorch是兩個最流行的深度學習框架之一。雖然這兩個框架都可以完成大多數深度學習任務，但它們之間仍有很多區別。本文將探討TensorFlow和PyTorch之間的一些區別。 1. 靜態圖和動態圖 TensorFlow使用靜態圖，它需要先定義計算圖，然后再執行計算。這使得TensorFlow在執行大規模計算時非常高效。PyTorch使用動態圖，它允許用戶在執行計算時動態...

lidashuang 2023-04-25 14:15 評論0 收藏1671
深度學習這么講你肯定能讀懂

摘要：梯度下降算法梯度是個啥我想最開始接觸梯度的各位是在方向導數那一章接觸這一概念的，如果老師沒怎么講的話可能有些人還不知道梯度是個向量。在二維條件下，因為有了兩個偏導數，所以這個向量能表示一圈。講你肯定能懂的機器學習多維極值求解事先說明本文面向學習過高等數學統計學和線性代數基礎知識的本科生，并假設讀者擁有基本的矩陣運算和求導運算的相關知識，類似梯度，方向導數、Hessian Matrix這些東...

RancherLabs 2019-04-25 18:04 評論0 收藏0
陳天奇團隊發布NNVM編譯器，性能優于MXNet，李沐撰文介紹

摘要：亞馬遜和華盛頓大學今天合作發布了開源的端到端深度學習編譯器。項目作者之一陳天奇在微博上這樣介紹這個編譯器我們今天發布了基于工具鏈的深度學習編譯器。陳天奇團隊對的性能進行了基準測試，并與進行了比較。亞馬遜和華盛頓大學今天合作發布了開源的端到端深度學習編譯器NNVM compiler。先提醒一句，NNVM compiler ≠ NNVM。NNVM是華盛頓大學博士陳天奇等人2016年發布的模塊化...

izhuhaodev 2019-04-25 18:19 評論0 收藏0
PyTorch一周年戰績總結：是否比TensorFlow來勢兇猛？

摘要：截止到今天，已公開發行一周年。一年以來，社區中的用戶不斷做出貢獻和優化，在此深表感謝。所以與衡量它的指標包括在機器學習研究論文中的使用。來自香港科技大學的在上推出了面向普通觀眾的在線課程。 Yann LeCun Twitter截止到今天，PyTorch 已公開發行一周年。一年以來，我們致力于打造一個靈活的深度學習研究平臺。一年以來，PyTorch 社區中的用戶不斷做出貢獻和優化，在此深表感謝...

ymyang 2019-04-25 18:23 評論0 收藏0