提取碼：u6C4
最近一直關(guān)注貪心學(xué)院的機(jī)器學(xué)習(xí)訓(xùn)練營，發(fā)現(xiàn)這門課講的很有深度，不僅適合職場也適合科研人員，加入AI行業(yè)拿到高薪僅僅是職業(yè)生涯的開始。現(xiàn)階段AI人才結(jié)構(gòu)在不斷升級(jí)，對(duì)AI人才的要求也不斷升高，如果對(duì)自己沒有很高的要求，其實(shí)很容易被快速發(fā)展的趨勢所淘汰。
下面我們看下大綱：
第一部分 凸優(yōu)化與機(jī)器學(xué)習(xí)
第一周：凸優(yōu)化介紹
從優(yōu)化角度理解機(jī)器學(xué)習(xí)
優(yōu)化技術(shù)的重要性
常見的凸優(yōu)化問題
線性規(guī)劃以及Simplex Method
Two-Stage LP
案例：運(yùn)輸問題講解
第二周：凸函數(shù)講解
凸集的判斷
First-Order Convexity
Second-order Convexity
Operations Preserve Convexity
二次規(guī)劃問題（QP)
案例：最小二乘問題
項(xiàng)目作業(yè)：投資組合優(yōu)化
第三周：凸優(yōu)化問題
常見的凸優(yōu)化問題類別
半定規(guī)劃問題
幾何規(guī)劃問題
非凸函數(shù)的優(yōu)化
松弛化（Relaxation）
整數(shù)規(guī)劃（Integer Programming)
案例：打車中的匹配問題
第四周：對(duì)偶（Duality）
拉格朗日對(duì)偶函數(shù)
對(duì)偶的幾何意義
Weak and Strong Duality
KKT條件
LP, QP, SDP的對(duì)偶問題
案例：經(jīng)典模型的對(duì)偶推導(dǎo)及實(shí)現(xiàn)對(duì)偶的其他應(yīng)用
第五周：優(yōu)化技術(shù)
一階與二階優(yōu)化技術(shù)
Gradient Descent
Subgradient Method
Proximal Gradient Descent
Projected Gradient Descent
SGD與收斂
Newtons Method
Quasi-Newtons Method
第二部分 圖神經(jīng)網(wǎng)絡(luò)
第六周： 數(shù)學(xué)基礎(chǔ)
向量空間和圖論基礎(chǔ)
Inner Product, Hilbert Space
Eigenfunctions, Eigenvalue
傅里葉變化
卷積操作
Time Domain, Spectral Domain
Laplacian, Graph Laplacian
第七周：譜域的圖神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)回歸
卷積操作的數(shù)學(xué)意義
Graph Convolution
Graph Filter
ChebNet
CayleyNet
GCN
Graph Pooling
案例：基于GCN的推薦
第八周：空間域的圖神經(jīng)網(wǎng)絡(luò)
Spatial Convolution
Mixture Model Network (MoNet)
注意力機(jī)制
Graph Attention Network(GAT)
Edge Convolution
空間域與譜域的比較
項(xiàng)目作業(yè)：基于圖神經(jīng)網(wǎng)絡(luò)的鏈路預(yù)測
第九周：圖神經(jīng)網(wǎng)絡(luò)改進(jìn)與應(yīng)用
拓展1: Relative Position與圖神經(jīng)網(wǎng)絡(luò)
拓展2：融入Edge特征：Edge GCN
拓展3：圖神經(jīng)網(wǎng)絡(luò)與知識(shí)圖譜: Knowledge GCN
拓展4：姿勢識(shí)別：ST-GCN
案例：基于圖的文本分類
案例：基于圖的閱讀理解
第三部分 強(qiáng)化學(xué)習(xí)
第十周：強(qiáng)化學(xué)習(xí)基礎(chǔ)
Markov Decision Process
Bellman Equation
三種方法：Value，Policy，Model-Based
Value-Based Approach: Q-learning
Policy-Based Approach: SARSA
第十一周：Multi-Armed Bandits
Multi-Armed bandits
Epsilon-Greedy
Upper Confidence Bound (UCB)
Contextual UCB
LinUCB & Kernel UCB
案例：Bandits在推薦系統(tǒng)的應(yīng)用案例
第十二周：路徑規(guī)劃
Monte-Carlo Tree Search
N-step learning
Approximation
Reward Shaping
結(jié)合深度學(xué)習(xí)：Deep RL
項(xiàng)目作業(yè)：強(qiáng)化學(xué)習(xí)在游戲中的應(yīng)用案例
第十三周: 自然語言處理中的RL
Seq2seq模型的問題
結(jié)合Evaluation Metric的自定義loss
結(jié)合aspect的自定義loss
不同RL模型與seq2seq模型的結(jié)合
案例：基于RL的文本生成
第四部分 貝葉斯方法
第十四周：貝葉斯方法論簡介
貝葉斯定理
從MLE, MAP到貝葉斯估計(jì)
集成模型與貝葉斯方法比較
計(jì)算上的Intractiblity
MCMC與變分法簡介
貝葉斯線性回歸
貝葉斯神經(jīng)網(wǎng)絡(luò)
案例：基于Bayesian-LSTM的命名實(shí)體識(shí)別
第十五周：主題模型
生成模型與判別模型
隱變量模型
貝葉斯中Prior的重要性
狄利克雷分布、多項(xiàng)式分布
LDA的生成過程
LDA中的參數(shù)與隱變量
Supervised LDA
Dynamic LDA
LDA的其他變種
項(xiàng)目作業(yè)：LDA的基礎(chǔ)上修改并搭建無監(jiān)督情感分析模型
第十六周：MCMC方法
Detailed Balance
對(duì)于LDA的吉布斯采樣
對(duì)于LDA的Collapsed吉布斯采樣
Metropolis Hasting
Importance Sampling
Rejection Sampling
大規(guī)模分布式MCMC
大數(shù)據(jù)與SGLD
案例：基于分布式的LDA訓(xùn)練
第十七周：變分法（Variational Method)
變分法核心思想
KL散度與ELBo的推導(dǎo)
Mean-Field變分法
EM算法
LDA的變分法推導(dǎo)
大數(shù)據(jù)與SVI
變分法與MCMC的比較
Variational Autoencoder
Probabilistic Programming
案例：使用概率編程工具來訓(xùn)練貝葉斯模型
