資訊專欄INFORMATION COLUMN
摘要：是直接作用于圖的卷積神經網絡，允許對結構化數據進行端到端的學習，也即輸入可以是任意大小和形狀的圖。圖譜卷積和圖卷積神經網絡舉個例子，讓我們看下面這個十分簡單的分層優化傳播規律是神經網絡層的權矩陣，是像這樣的非線性激活函數。
Graph Convolutional Network（GCN）是直接作用于圖的卷積神經網絡，GCN 允許對結構化數據進行端到端的學習，也即輸入可以是任意大小和形狀的圖。本文介紹 GCN 進展，討論各種方法的優勢和缺陷。GCN 未來如何拓展用于解決特定類型的問題，例如學習指示圖或關系圖，以及怎樣用學習的圖嵌入更多任務，也值得期待。
現實世界里很多重要的數據集都以圖表或網絡的形式呈現，例如：社交網絡、知識圖譜、蛋白質相互作用網絡、萬維網，等等。然而直到最近，神經網絡模型對這些結構化數據集的泛化仍然很少得到關注。
過去幾年，很多研究重新思考了推廣神經網絡用于任意結構化圖表的問題（Bruna et al., ICLR 2014; Henaff et al., 2015; Duvenaud et al., NIPS 2015; Li et al., ICLR 2016; Defferrard et al., NIPS 2016; Kipf & Welling, 2016），其中有些已經在某些領域取得了非常不錯的結果，而這些領域過去使用基于核函數的方法、基于圖的正則化技術或其他方法。
在這篇文章里，我將對這個領域的進展作一個簡要概述，并指出各種方法的強處和不足。這些討論主要關注最近的兩篇論文：
Kipf & Welling (2016), Semi-Supervised Classification with Graph Convolutional Networks (免責聲明: 我是這篇的第一作者)
Defferrard et al. (NIPS 2016), Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
以及 Ferenc Huszar 的評論文章：How powerful are Graph Convolutions? 這篇文章討論了這些類型的模型的一些限制。
圖神經網絡模型（Neural Network Models on Graphs）簡要介紹
圖卷積網絡有多強大？
推廣成熟的神經模型例如RNN或CNN用于任意結構圖表是個有挑戰性的問題。最近的一些論文，介紹了針對特定問題的架構（e.g. Duvenaud et al., NIPS 2015; Li et al., ICLR 2016; Jain et al., CVPR 2016），還有一些利用譜圖理論（Bruna et al., ICLR 2014; Henaff et al., 2015）的圖卷積來定義用于多層神經網絡模型的參數化濾波器，類似我們熟悉的“經典”CNN。
最近的研究關注縮小快速的啟發式算法和較慢、但更有規則性的譜分方法間的差距。Defferrard 等人（NIPS 2016）用神經網絡模型學習的自由參數的Chebyshev多項式模擬了譜域的平滑濾波。他們在正則區域（像是MNIST）得到了有說服力的結果，很接近簡單2D CNN模型的結果。
Kipf & Welling （2016）的研究采用了類似的方法，從圖譜卷積框架開始，介紹了許多情況下能同時顯著加快訓練時間和提高預測準確度的最簡化方法，在許多基準圖集上得到了極好的分類結果。
圖卷積神經網絡（GCN）定義
目前，大多數圖神經網絡模型都有一個某種程度上通用的普遍框架。我把這些模型稱作圖卷積網絡（Graph Convolutional Networks, GCNs）；卷積，是因為濾波器參數通常在圖的所有位置中共享（或在其子集，參見 Duvenaud et al. NIPS 2015）。
對這些模型來說，目標是學習圖的信號/特征函數G =（V, E），它的輸入如下：
對每個節點 i 的特征描述為 xi；概括在特征矩陣 N×D（N：節點數，D：輸入特征數）
以矩陣形式對圖結構的代表描述；通常以鄰接矩陣 A（或其他函數）的形式
然后生成一個節點層的輸出 Z（N×F 特征矩陣，F是每個節點輸出特征的數量）。圖層面的輸出可以引入一些池化操作（參見：e.g. Duvenaud et al., NIPS 2015）。
每個神經網絡層可以寫成一個非線性函數：
H(0) = X 和 H(L) = Z （或在圖層面的輸出時，z），L表示層數。模型不同的只有怎樣選擇f(··，·)的參數設定。
圖譜卷積和圖卷積神經網絡
舉個例子，讓我們看下面這個十分簡單的分層優化傳播規律：
W(l) 是神經網絡 l 層的權矩陣，σ(?)是像ReLU這樣的非線性激活函數。雖然這個模型非常簡單，但它已經是非常強大的。
但讓我們先了解這個簡單模型的兩點局限性：A的增殖意味著對每個節點，我們需要把所有相鄰節點的所有特征矢量相加，但不能加上節點本身（除非圖上有自回路）。我們可以強迫圖執行自回路：在單位矩陣中加上A。
第二個主要的局限是A 通常不是標準化的，所以A的增殖會完全改變特征矢量是規模。標準化A能解決這個問題，例如將所有列歸一，即D?1A，D是對角線節點次數矩陣。用D?1A相乘符合相鄰節點特征的平均值。在實踐中，使用對稱標準化，即?
這就不僅是相鄰節點的平均值，動態性會顯得更有趣。把這兩個小技巧結合在一起，我們最終得到了 Kipf &Welling(2016) 論文中介紹的傳播規律：
其中，I 是單位矩陣，是的對角線節點的度矩陣。
總結
這個課題的研究才剛剛起步。過去幾個月里已經能看到令人興奮的成果，但我們可能才剛剛觸及這些類型的表面。圖神經網絡將怎樣應用于解決特定類型的問題，例如，對指示圖或關系圖的學習，以及怎樣用學習的圖嵌入更多任務等等。這里列舉的還不是全部，我期待在不久的將來有更多人對應用和擴展感興趣。
了解更多 & 編譯來源：
http://tkipf.github.io/graph-convolutional-networks/#gcns-part-iii-embedding-the-karate-club-network
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/4413.html
摘要：目前較好的語音識別系統采用雙向長短時記憶網絡，，這種網絡能夠對語音的長時相關性進行建模，從而提高識別正確率。因而科大訊飛使用深度全序列卷積神經網絡來克服雙向的缺陷。 人工智能的應用中，語音識別在今年來取得顯著進步，不管是英文、中文或者其他語種，機器的語音識別準確率在不斷上升。其中，語音聽寫技術的發展更為迅速，目前已廣泛在語音輸入、語音搜索、語音助手等產品中得到應用并日臻成熟。但是，語音應用的...
摘要：描述我們在做報表的時候，往往想體現其中隨著時間的變化而產生的項目進度的變化和其他相關的系統進展，每當這種時候甘特圖便是其中的不二之選。新增的多項目甘特圖可以說是滿足了大多數的需要。 1.描述我們在做報表的時候，往往想體現其中隨著時間的變化而產生的項目進度的變化和其他相關的系統進展，每當這種時候甘特圖便是其中的不二之選。FineReport新增的多項目甘特圖可以說是滿足了大多數的需要。最...
摘要：描述我們在做報表的時候，往往想體現其中隨著時間的變化而產生的項目進度的變化和其他相關的系統進展，每當這種時候甘特圖便是其中的不二之選。新增的多項目甘特圖可以說是滿足了大多數的需要。 1.描述我們在做報表的時候，往往想體現其中隨著時間的變化而產生的項目進度的變化和其他相關的系統進展，每當這種時候甘特圖便是其中的不二之選。FineReport新增的多項目甘特圖可以說是滿足了大多數的需要。最...
摘要：圖神經網絡是近年發展起來的一個很有前景的深度學習方向，也是一種強大的圖點云和流形表示學習方法。地址基于的幾何深度學習擴展庫是一個基于的幾何深度學習擴展庫，用于不規則結構輸入數據，例如圖點云和流形。與相比，訓練模型的速度快了倍。 過去十年來，深度學習方法（例如卷積神經網絡和遞歸神經網絡）在許多領域取得了前所未有的成就，例如計算機視覺和語音識別。研究者主要將深度學習方法應用于歐氏結構數據 (Eu...
閱讀 1177·2021-11-11 16:55
閱讀 3064·2021-08-16 11:00
閱讀 2913·2019-08-30 15:56
閱讀 3447·2019-08-30 11:24
閱讀 3427·2019-08-30 11:05
閱讀 3545·2019-08-29 15:15
閱讀 2628·2019-08-26 13:57
閱讀 2590·2019-08-23 18:17
