国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

如何可視化卷積網絡分類圖像時關注的焦點

lijy91 / 2424人閱讀

摘要：原作說，加權梯度類激活映射通過任意目標概念的梯度比如說類別狗的分對數甚至是狗這個字，將這些知識傳遞到最后的卷積層進而產生一張粗略的定位圖，用于凸顯圖像中對于預測相關概念至關重要的區域。這種技術不僅適用于定位，還可用于視覺問答圖像標注等。

在我們使用 CNN 進行圖片分類時，模型到底關注的是圖像的哪個區域？Grad-CAM 利用卷積網絡最后一個特征圖的信息，并加權對應的梯度而構建模型分類的熱力圖，通過該熱力圖，我們可以清楚地了解哪一塊區域對于類別是最重要的。

你在訓練神經網絡進行圖片分類時，有沒有想過網絡是否就是像人類感知信息一樣去理解圖像？這個問題很難回答，因為多數情況下深度神經網絡都被視作黑箱。我們喂給它輸入數據進而得到輸出。整個流程如果出現問題很難去調試。盡管預測的已經相當精準，但這并不能說明他們足以和人類感知的方式媲美。

為何會這樣？

假設你需要對大象和企鵝進行二分類（我知道這個任務十分簡單）?，F在你已經獲取了數據集，訓好了模型并完成部署。這個模型想必是適用于絕大多數數據的，但是總有可能會出現誤判。有人可能會把它看作是一個極端情況，但是你覺得對于 CNN 來說，什么時候物體才是明確可辨的？

結合上述內容，顯然在圖像中，大象常伴著草木出現，企鵝常伴著冰雪出現。所以，實際上模型已經學會了分辨草木與冰雪的顏色/形狀，而不是真的學會了按對象分類。

由上文案例知，如顏色通道統計那樣的簡單圖像處理技術，與訓練模型是一樣的。因為在沒有智能的情況下，模型只能依靠顏色辯物?，F在你或許會問，如何知道 CNN 究竟在尋找什么？答案就是，Grad-CAM。

加權梯度類激活映射（Grad-CAM）

我們在本篇博客中實現了加權梯度類激活映射。首先，我們要知道這不是的解決方案。原作說，

加權梯度類激活映射 (Grad-CAM) 通過任意目標概念的梯度（比如說類別「狗」的分對數甚至是「狗」這個字），將這些知識傳遞到最后的卷積層進而產生一張粗略的定位圖，用于凸顯圖像中對于預測相關概念至關重要的區域。

通俗點講，我們只取最終卷積層的特征圖，然后將該特征中的每個通道通過與該通道相關的類的梯度進行加權。這種方法只不過是輸入圖像如何通過每個通道對于類的重要性來激活不同的通道，最重要的是它不需要對現有架構進行任何重訓練或更改。

特定類的特征空間得分就是對應類的輸出值 y^c 關于特征圖 A_ij 的偏導在 i 和 j 維上的特征進行全局平均池化操作。然后，我們將結果與特征圖沿其通道軸 k 相乘。最后，將結果在通道維度 k 上求平均/池化。因此，特征空間的得分凸的大小是 i×j。Σ 符號用于描述池化和平均操作。

ReLU 激活函數用于得分圖，隨后被歸一化以便輸出正區域預測。

實現

為了達到本篇博客的目的，我們套用一個預訓練好的 VGG 模型，并導入一些必要包開始實現代碼。

from keras.applications.vgg16 import VGG16, preprocess_input, decode_predictions

from keras.preprocessing import image

import keras.backend as K

import numpy as np

import cv2

import sys

我們使用 Keras 自帶的 VGG16 模型。并加載一些有助于加載和處理圖像的函數。

model = VGG16(weights="imagenet")

img_path = sys.argv[1]

img = image.load_img(img_path, target_size=(224, 224))

x = image.img_to_array(img)

x = np.expand_dims(x, axis=0)

x = preprocess_input(x)

我們先初始化模型并通過命令行參數加載圖片。VGG 網絡只接受 (224×224×3) 大小的圖片，所以我們要把圖片放縮到指定大小。由于我們只通過網絡傳遞一個圖像，因此需要擴展第一個維度，將其擴展為一個大小為 1 的批量。然后，我們通過輔助函數 preprocess_input 從輸入圖像中減去平均 RGB 值來實現圖像的歸一化。

preds = model.predict(x)

class_idx = np.argmax(preds[0])

class_output = model.output[:, class_idx]

last_conv_layer = model.get_layer("block5_conv3")

此處，我們來看看頂部預測的特征圖。所以我們得到圖像的預測，并給得分靠前的類做個索引。請記住，我們可以為任意類計算特征圖。然后，我們可以取出 VGG16 中最后一個卷積層的輸出 block5_conv3。得到的特征圖大小應該是 14×14×512。

grads = K.gradients(class_output, last_conv_layer.output)[0]

pooled_grads = K.mean(grads, axis=(0, 1, 2))

iterate = K.function([model.input], [pooled_grads, last_conv_layer.output[0]])

pooled_grads_value, conv_layer_output_value = iterate([x])

for i in range(512):

?conv_layer_output_value[:, :, i] *= pooled_grads_value[i]

如上所述，我們計算相類輸出值關于特征圖的梯度。然后，我們沿著除了通道維度之外的軸對梯度進行池化操作。最后，我們用計算出的梯度值對輸出特征圖加權。

heatmap = np.mean(conv_layer_output_value, axis=-1)

heatmap = np.maximum(heatmap, 0)

heatmap /= np.max(heatmap)

然后，我們沿著通道維度對加權的特征圖求均值，從而得到大小為 14*14 的熱力圖。最后，我們對熱力圖進行歸一化處理，以使其值在 0 和 1 之間。

img = cv2.imread(img_path)

heatmap = cv2.resize(heatmap, (img.shape[1], img.shape[0]))

heatmap = np.uint8(255 * heatmap)

heatmap = cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)

superimposed_img = cv2.addWeighted(img, 0.6, heatmap, 0.4, 0)

cv2.imshow("Original", img)

cv2.imshow("GradCam", superimposed_img)

cv2.waitKey(0)

最后，我們使用 OpenCV 來讀圖片，將獲取的熱力圖放縮到原圖大小。我們將原圖和熱力圖混合，以將熱力圖疊加到圖像上。

從上面的圖片可以清楚地看到 CNN 在圖像中尋找的是區分這些類的地方。這種技術不僅適用于定位，還可用于視覺問答、圖像標注等。

此外，它在調試建立較精確模型的數據需求方面非常有幫助。雖然此技術并未過多涉及調參，但我們可以使用額外的數據和數據增強技術更好地泛化模型。

原文鏈接：http://www.hackevolve.com/where-cnn-is-looking-grad-cam/

歡迎加入本站公開興趣群

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/4729.html

相關文章

  • 直白介紹卷積神經網絡（CNN）

    摘要：卷積神經網絡除了為機器人和自動駕駛汽車的視覺助力之外，還可以成功識別人臉，物體和交通標志。卷積卷積神經網絡的名字來源于卷積運算。在卷積神經網絡中，卷積的主要目的是從輸入圖像中提取特征。 什么是卷積神經網絡，它為何重要？卷積神經網絡（也稱作 ConvNets 或 CNN）是神經網絡的一種，它在圖像識別和分類等領域已被證明非常有效。 卷積神經網絡除了為機器人和自動駕駛汽車的視覺助力之外，還可以成...

    GitChat 評論0 收藏0

  • 用于圖像分割的卷積神經網絡：從R-CNN到Mark R-CNN

    摘要：自從和在年贏得了的冠軍，卷積神經網絡就成為了分割圖像的黃金準則。事實上，從那時起，卷積神經網絡不斷獲得完善，并已在挑戰上超越人類?，F在，卷積神經網絡在的表現已超越人類。 卷積神經網絡（CNN）的作用遠不止分類那么簡單！在本文中，我們將看到卷積神經網絡（CNN）如何在圖像實例分割任務中提升其結果。自從 Alex Krizhevsky、Geoff Hinton 和 Ilya Sutskever ...

    daydream 評論0 收藏0

  • 計算機視覺識別簡史：從 AlexNet、ResNet 到 Mask RCNN

    摘要：最近，物體識別已經成為計算機視覺和最令人激動的領域之一。故事開始于年贏得了大規模視覺識別挑戰賽。感受野特征的輸入區輸入圖像區會影響特征的激活。的架構決定了感受野是如何隨著層數的改變而改變的。這些被推出區域被裁剪并扭曲到固定大小的圖像。 最近，物體識別已經成為計算機視覺和 AI 最令人激動的領域之一。即時地識別出場景中所有的物體的能力似乎已經不再是秘密。隨著卷積神經網絡架構的發展，以及大型訓練...

    BigTomato 評論0 收藏0

  • 從語義上理解卷積核行為，UCLA朱松純等使用決策樹量化解釋CNN

    摘要：近日，加州大學洛杉磯分校的朱松純教授等人發布了一篇使用決策樹對的表征和預測進行解釋的論文。在此論文中，朱松純等研究者提出了一種新任務，也就是使用決策樹在語義層次上來量化解釋預測的邏輯。 近日，加州大學洛杉磯分校的朱松純教授等人發布了一篇使用決策樹對 CNN 的表征和預測進行解釋的論文。該論文借助決策樹在語義層面上解釋 CNN 做出的每一個特定預測，即哪個卷積核（或物體部位）被用于預測最終的類...

    miya 評論0 收藏0

  • 使用TensorFlow和TensorBoard從零開始構建卷積神經網絡

    摘要：在本教程中，我會介紹如何只使用低級別的工具從零開始構建卷積神經網絡，以及使用可視化我們的計算圖和網絡的表現。選擇模型接下來，我必須決定使用哪個卷積神經網絡的模型。實質上，大多數卷積神經網絡都包含卷積和池化。 如果使用TensorFlow的所有較高級別的工具，例如tf.contrib.learn和Keras，你可以輕松地使用非常少量的代碼來構建卷積神經網絡。但是經常使用這些較高級別的應用，你就...

    ninefive 評論0 收藏0

發表評論

0條評論

lijy91

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<