摘要：在這堂課中，學(xué)生將可以學(xué)習(xí)到深度學(xué)習(xí)的基礎(chǔ)，學(xué)會構(gòu)建神經(jīng)網(wǎng)絡(luò)，包括和等。課程中也會有很多實操項目，幫助學(xué)生更好地應(yīng)用自己學(xué)到的深度學(xué)習(xí)技術(shù)，解決真實世界問題。

深度學(xué)習(xí)入門首推課程就是吳恩達(dá)的深度學(xué)習(xí)專項課程系列的 5 門課。該專項課程最大的特色就是內(nèi)容全面、通俗易懂并配備了豐富的實戰(zhàn)項目。今天，給大家推薦一份關(guān)于該專項課程的核心筆記！這份筆記只能用兩個字形容：全面！

關(guān)于該深度學(xué)習(xí)專項課程，紅色石頭非常推薦！它對于理解各種算法背后的原理非常有幫助，同時提供了大量的應(yīng)用場景，涉及圖像、語音、自然語言理解等各方面，還提供了一些工具函數(shù)、數(shù)據(jù)集。這個系列課程是從機器學(xué)習(xí)過渡到深度學(xué)習(xí)的必備課程！

這些課程專為已有一定基礎(chǔ)（基本的編程知識，熟悉Python、對機器學(xué)習(xí)有基本了解），想要嘗試進(jìn)入人工智能領(lǐng)域的計算機專業(yè)人士準(zhǔn)備。課程的語言是 Python，使用的框架是 TensorFlow 和 Keras。

在這 5 堂課中，學(xué)生將可以學(xué)習(xí)到深度學(xué)習(xí)的基礎(chǔ)，學(xué)會構(gòu)建神經(jīng)網(wǎng)絡(luò)，包括 CNN 和 RNN 等。課程中也會有很多實操項目，幫助學(xué)生更好地應(yīng)用自己學(xué)到的深度學(xué)習(xí)技術(shù)，解決真實世界問題。這些項目將涵蓋醫(yī)療、自動駕駛、和自然語言處理等時髦領(lǐng)域，以及音樂生成等。

第一周：深度學(xué)習(xí)引言(Introduction to Deep Learning)

1.1 歡迎(Welcome) 1

1.2 什么是神經(jīng)網(wǎng)絡(luò)？(What is a Neural Network)

1.3 神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)(Supervised Learning with Neural Networks)

1.4 為什么神經(jīng)網(wǎng)絡(luò)會流行？(Why is Deep Learning taking off?)

1.5 關(guān)于本課程(About this Course)

1.6 課程資源(Course Resources)

1.7 Geoffery Hinton 專訪(Geoffery Hinton interview)

第二周：神經(jīng)網(wǎng)絡(luò)的編程基礎(chǔ)(Basics of Neural Network programming)

2.1 二分類(Binary Classification)

2.2 邏輯回歸(Logistic Regression)

2.3 邏輯回歸的代價函數(shù)（Logistic Regression Cost Function）

2.4 梯度下降（Gradient Descent）

2.5 導(dǎo)數(shù)（Derivatives）

2.6 更多的導(dǎo)數(shù)例子（More Derivative Examples）

2.7 計算圖（Computation Graph）

2.8 計算圖導(dǎo)數(shù)（Derivatives with a Computation Graph）

2.9 邏輯回歸的梯度下降（Logistic Regression Gradient Descent）

2.10 梯度下降的例子(Gradient Descent on m Examples)

2.11 向量化(Vectorization)

2.12 更多的向量化例子（More Examples of Vectorization）

2.13 向量化邏輯回歸(Vectorizing Logistic Regression)

2.14 向量化邏輯回歸的梯度計算（Vectorizing Logistic Regression"s Gradient）

2.15 Python中的廣播機制（Broadcasting in Python）

2.16 關(guān)于 Python與numpy向量的使用（A note on python or numpy vectors）

2.17 Jupyter/iPython Notebooks快速入門（Quick tour of Jupyter/iPython Notebooks）

2.18 邏輯回歸損失函數(shù)詳解（Explanation of logistic regression cost function）

第三周：淺層神經(jīng)網(wǎng)絡(luò)(Shallow neural networks)

3.1 神經(jīng)網(wǎng)絡(luò)概述（Neural Network Overview）

3.2 神經(jīng)網(wǎng)絡(luò)的表示（Neural Network Representation）

3.3 計算一個神經(jīng)網(wǎng)絡(luò)的輸出（Computing a Neural Network"s output）

3.4 多樣本向量化（Vectorizing across multiple examples）

3.5 向量化實現(xiàn)的解釋（Justification for vectorized implementation）

3.6 激活函數(shù)（Activation functions）

3.7 為什么需要非線性激活函數(shù)？（why need a nonlinear activation function?）

3.8 激活函數(shù)的導(dǎo)數(shù)（Derivatives of activation functions）

3.9 神經(jīng)網(wǎng)絡(luò)的梯度下降（Gradient descent for neural networks）

3.10（選修）直觀理解反向傳播（Backpropagation intuition）

3.11 隨機初始化（Random+Initialization）

第四周：深層神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks)

4.1 深層神經(jīng)網(wǎng)絡(luò)（Deep L-layer neural network）

4.2 前向傳播和反向傳播（Forward and backward propagation）

4.3 深層網(wǎng)絡(luò)中的前向和反向傳播（Forward propagation in a Deep Network）

4.4 核對矩陣的維數(shù)（Getting your matrix dimensions right）

4.5 為什么使用深層表示？（Why deep representations?）

4.6 搭建神經(jīng)網(wǎng)絡(luò)塊（Building blocks of deep neural networks）

4.7 參數(shù)VS超參數(shù)（Parameters vs Hyperparameters）

4.8 深度學(xué)習(xí)和大腦的關(guān)聯(lián)性（What does this have to do with the brain?）

第一周：深度學(xué)習(xí)的實用層面(Practical aspects of Deep Learning)

1.1 訓(xùn)練，驗證，測試集（Train / Dev / Test sets）

1.2 偏差，方差（Bias /Variance）

1.3 機器學(xué)習(xí)基礎(chǔ)（Basic Recipe for Machine Learning）

1.4 正則化（Regularization）

1.5 為什么正則化有利于預(yù)防過擬合呢？（Why regularization reduces overfitting?）

1.6 dropout 正則化（Dropout Regularization）

1.7 理解 dropout（Understanding Dropout）

1.8 其他正則化方法（Other regularization methods）

1.9 標(biāo)準(zhǔn)化輸入（Normalizing inputs）

1.10 梯度消失/梯度爆炸（Vanishing / Exploding gradients）

1.11 神經(jīng)網(wǎng)絡(luò)的權(quán)重初始化（Weight Initialization for Deep NetworksVanishing /Exploding gradients）

1.12 梯度的數(shù)值逼近（Numerical approximation of gradients）

1.13 梯度檢驗（Gradient checking）

1.14 梯度檢驗應(yīng)用的注意事項（Gradient Checking Implementation Notes）

第二周：優(yōu)化算法 (Optimization algorithms)

2.1 Mini-batch 梯度下降（Mini-batch gradient descent）

2.2 理解Mini-batch 梯度下降（Understanding Mini-batch gradient descent）

2.3 指數(shù)加權(quán)平均（Exponentially weighted averages）

2.4 理解指數(shù)加權(quán)平均（Understanding Exponentially weighted averages）

2.5 指數(shù)加權(quán)平均的偏差修正（Bias correction in exponentially weighted averages）

2.6 momentum梯度下降（Gradient descent with momentum）

2.7 RMSprop——root mean square prop（RMSprop）

2.8 Adam優(yōu)化算法（Adam optimization algorithm）

2.9 學(xué)習(xí)率衰減（Learning rate decay）

2.10 局部最優(yōu)問題（The problem of local optima）

第三周超參數(shù)調(diào)試，batch正則化和程序框架（Hyperparameter tuning, Batch Normalization and Programming Frameworks)

3.1 調(diào)試處理（Tuning process）

3.2 為超參數(shù)選擇和適合范圍（Using an appropriate scale to pick hyperparameters）

3.3 超參數(shù)訓(xùn)練的實踐：Pandas vs. Caviar（Hyperparameters tuning in practice: Pandas vs. Caviar）

3.4 網(wǎng)絡(luò)中的正則化激活函數(shù)（Normalizing activations in a network）

3.5 將 Batch Norm擬合進(jìn)神經(jīng)網(wǎng)絡(luò)（Fitting Batch Norm into a neural network）

3.6 為什么Batch Norm奏效？（Why does Batch Norm work?）

3.7 測試時的Batch Norm（Batch Norm at test time）

3.8 Softmax 回歸（Softmax Regression）

3.9 訓(xùn)練一個Softmax 分類器（Training a softmax classifier）

3.10 深度學(xué)習(xí)框架（Deep learning frameworks）

3.11 TensorFlow（TensorFlow）

第一周：機器學(xué)習(xí)策略（1）(ML Strategy (1))

1.1 為什么是ML策略？ (Why ML Strategy)

1.2 正交化(Orthogonalization)

1.3 單一數(shù)字評估指標(biāo)(Single number evaluation metric)

1.4 滿足和優(yōu)化指標(biāo) (Satisficing and Optimizing metric)

1.5 訓(xùn)練集、開發(fā)集、測試集的劃分(Train/dev/test distributions)

1.6 開發(fā)集和測試集的大小 (Size of the dev and test sets)

1.7 什么時候改變開發(fā)集/測試集和評估指標(biāo)(When to change dev/test sets and metrics)

1.8 為什么是人的表現(xiàn) (Why human-level performance?)

1.9 可避免偏差(Avoidable bias)

1.10 理解人類的表現(xiàn) (Understanding human-level performance)

1.11 超過人類的表現(xiàn)(Surpassing human-level performance)

1.12 改善你的模型表現(xiàn) (Improving your model performance)

第二周：機器學(xué)習(xí)策略（2）(ML Strategy (2))

2.1 誤差分析 (Carrying out error analysis)

2.2 清除標(biāo)注錯誤的數(shù)據(jù)(Cleaning up incorrectly labeled data)

2.3 快速搭建你的第一個系統(tǒng)，并進(jìn)行迭代(Build your first system quickly, then iterate)

2.4 在不同的分布上的訓(xùn)練集和測試集 (Training and testing on different distributions)

2.5 數(shù)據(jù)分布不匹配的偏差與方差分析 (Bias and Variance with mismatched data distributions)

2.6 處理數(shù)據(jù)不匹配問題(Addressing data mismatch)

2.7 遷移學(xué)習(xí) (Transfer learning)

2.8 多任務(wù)學(xué)習(xí)(Multi-task learning)

2.9 什么是端到端的深度學(xué)習(xí)？ (What is end-to-end deep learning?)

2.10 是否使用端到端的深度學(xué)習(xí)方法 (Whether to use end-to-end deep learning)

第一周 卷積神經(jīng)網(wǎng)絡(luò)(Foundations of Convolutional Neural Networks)

2.1.1 計算機視覺（Computer vision）

1.2 邊緣檢測示例（Edge detection example）

1.3 更多邊緣檢測內(nèi)容（More edge detection）

1.4 Padding

1.5 卷積步長（Strided convolutions）

1.6 三維卷積（Convolutions over volumes）

1.7 單層卷積網(wǎng)絡(luò)（One layer of a convolutional network）

1.8 簡單卷積網(wǎng)絡(luò)示例（A simple convolution network example）

1.9 池化層（Pooling layers）

1.10 卷積神經(jīng)網(wǎng)絡(luò)示例（Convolutional neural network example）

1.11 為什么使用卷積？（Why convolutions?）

第二周 深度卷積網(wǎng)絡(luò)：實例探究(Deep convolutional models: case studies)

2.1 為什么要進(jìn)行實例探究？（Why look at case studies?）

2.2 經(jīng)典網(wǎng)絡(luò)（Classic networks）

2.3 殘差網(wǎng)絡(luò)（Residual Networks (ResNets)）

2.4 殘差網(wǎng)絡(luò)為什么有用？（Why ResNets work?）

2.5 網(wǎng)絡(luò)中的網(wǎng)絡(luò)以及 1×1 卷積（Network in Network and 1×1 convolutions）

2.6 谷歌 Inception 網(wǎng)絡(luò)簡介（Inception network motivation）

2.7 Inception 網(wǎng)絡(luò)（Inception network）

2.8 使用開源的實現(xiàn)方案（Using open-source implementations）

2.9 遷移學(xué)習(xí)（Transfer Learning）

2.10 數(shù)據(jù)擴充（Data augmentation）

2.11 計算機視覺現(xiàn)狀（The state of computer vision）

第三周 目標(biāo)檢測（Object detection） 3.1 目標(biāo)定位（Object localization）

3.2 特征點檢測（Landmark detection）

3.3 目標(biāo)檢測（Object detection）

3.4 卷積的滑動窗口實現(xiàn)（Convolutional implementation of sliding windows）

3.5 Bounding Box預(yù)測（Bounding box predictions）

3.6 交并比（Intersection over union）

3.7 非極大值抑制（Non-max suppression）

3.8 Anchor Boxes

3.9 YOLO 算法（Putting it together: YOLO algorithm）

3.10 候選區(qū)域（選修）（Region proposals (Optional)）

第四周 特殊應(yīng)用：人臉識別和神經(jīng)風(fēng)格轉(zhuǎn)換（Special applications: Face recognition &Neural style transfer）4.1 什么是人臉識別？(What is face recognition?)

4.2 One-Shot學(xué)習(xí)（One-shot learning）

4.3 Siamese 網(wǎng)絡(luò)（Siamese network）

4.4 Triplet 損失（Triplet 損失）

4.5 面部驗證與二分類（Face verification and binary classification）

4.6 什么是神經(jīng)風(fēng)格轉(zhuǎn)換？（What is neural style transfer?）

4.7 什么是深度卷積網(wǎng)絡(luò)？（What are deep ConvNets learning?）

4.8 代價函數(shù)（Cost function）

4.9 內(nèi)容代價函數(shù)（Content cost function）

4.10 風(fēng)格代價函數(shù)（Style cost function）

4.11 一維到三維推廣（1D and 3D generalizations of models）

第一周 循環(huán)序列模型（Recurrent Neural Networks）

1.1 為什么選擇序列模型？（Why Sequence Models?）

1.2 數(shù)學(xué)符號（Notation）

1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)模型（Recurrent Neural Network Model）

1.4 通過時間的反向傳播（Backpropagation through time）

1.5 不同類型的循環(huán)神經(jīng)網(wǎng)絡(luò)（Different types of RNNs）

1.6 語言模型和序列生成（Language model and sequence generation）

1.7 對新序列采樣（Sampling novel sequences）

1.8 循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失（Vanishing gradients with RNNs）

1.9 GRU單元（Gated Recurrent Unit（GRU））

1.10 長短期記憶（LSTM（long short term memory）unit）

1.11 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional RNN）

1.12 深層循環(huán)神經(jīng)網(wǎng)絡(luò)（Deep RNNs）

第二周 自然語言處理與詞嵌入（Natural Language Processing and Word Embeddings）

2.1 詞匯表征（Word Representation）

2.2 使用詞嵌入（Using Word Embeddings）

2.3 詞嵌入的特性（Properties of Word Embeddings）

2.4 嵌入矩陣（Embedding Matrix）

2.5 學(xué)習(xí)詞嵌入（Learning Word Embeddings）

2.6 Word2Vec

2.7 負(fù)采樣（Negative Sampling）

2.8 GloVe 詞向量（GloVe Word Vectors）

2.9 情緒分類（Sentiment Classification）

2.10 詞嵌入除偏（Debiasing Word Embeddings）

第三周 序列模型和注意力機制（Sequence models & Attention mechanism

3.1 基礎(chǔ)模型（Basic Models）

3.2 選擇最可能的句子（Picking the most likely sentence）

3.3 集束搜索（Beam Search）

3.4 改進(jìn)集束搜索（Refinements to Beam Search）

3.5 集束搜索的誤差分析（Error analysis in beam search）

3.6 Bleu 得分（選修）（Bleu Score (optional)）

3.7 注意力模型直觀理解（Attention Model Intuition）

3.8注意力模型（Attention Model）

3.9語音識別（Speech recognition）

3.10觸發(fā)字檢測（Trigger Word Detection）

3.11結(jié)論和致謝（Conclusion and thank you）

人工智能大師訪談

吳恩達(dá)采訪 Geoffery Hinton

吳恩達(dá)采訪 Ian Goodfellow

吳恩達(dá)采訪 Ruslan Salakhutdinov

吳恩達(dá)采訪 Yoshua Bengio

吳恩達(dá)采訪 林元慶

吳恩達(dá)采訪 Pieter Abbeel

吳恩達(dá)采訪 Andrej Karpathy

附件

深度學(xué)習(xí)符號指南（原課程翻譯）

課程簡介和致謝

GitHub

PDF 格式

課程地址

deeplearning.ai

網(wǎng)易云課堂

教學(xué)視頻（提取碼：pulp）

聲明：

此文檔免費，請不要用于商業(yè)用途，可以自由傳播。贈人玫瑰，手有余香！