摘要：深度學(xué)習(xí)推動領(lǐng)域發(fā)展的新引擎圖擁有記憶能力最早是提出用來解決圖像識別的問題的一種深度神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)推動領(lǐng)域發(fā)展的新引擎圖深度神經(jīng)網(wǎng)絡(luò)最近相關(guān)的改進模型也被用于領(lǐng)域。

從2015年ACL會議的論文可以看出，目前NLP最流行的方法還是機器學(xué)習(xí)尤其是深度學(xué)習(xí)，所以本文會從深度神經(jīng)網(wǎng)絡(luò)的角度分析目前NLP研究的熱點和未來的發(fā)展方向。

我們主要關(guān)注Word Embedding、RNN/LSTM/CNN等主流的深度神經(jīng)網(wǎng)絡(luò)在NLP中的應(yīng)用，這已經(jīng)是目前主流的研究方向。此外，已經(jīng)在機器學(xué)習(xí)或其它領(lǐng)域比較熱門的方法，比如Multi-Model、Reasoning、Attention and Memory等，很有可能是未來NLP研究的熱點，我們將著重關(guān)注。

Word Embedding

在Word2vec被Mikolov提出之后，由于它能把一個詞表示成一個向量（可以理解為類似隱語義的東西），這樣最小的語義單位就不是詞而是詞向量的每一維了。比如我們訓(xùn)練一個模型用來做文本分類，如果訓(xùn)練數(shù)據(jù)里都是用“計算機”，但測試數(shù)據(jù)里可能用的是“電腦”，用詞作為最基本單位（比如Bag of Words)，我們學(xué)出來的模型會做出錯誤的判斷。但是如果我們用一個很大的未標注的語料庫來訓(xùn)練一個Word2vec，我們就能知道“計算機”和“電腦”語義是相似的，因此它們的詞向量也會是類似的，比如100維的詞向量某一維和計算機相關(guān)，那么“計算機”和“電腦”的詞向量在這一維度都會比較大，用它作為基本單位訓(xùn)練模型后，我們的模型就能利用這一維特征正確地實現(xiàn)分類。當然如果數(shù)據(jù)量足夠大，可以把模型的參數(shù)和詞向量一起訓(xùn)練，這樣得到的是更優(yōu)化的詞向量和模型。

但是Word2vec忽略了一些有用的信息，比如詞之間的關(guān)系（句法關(guān)系）、詞的順序、以及沒有利用已有的外部資源。針對這些問題，有很多改進的工作。

引入詞的關(guān)系

最常見的思路就是用Dependency Parser，把抽取出來的Relation作為詞的Context。

改進Bag of Words

有人認為詞（Word）的粒度也太大，可以到Character級別的，或者Morpheme級別的。

外部資源和知識庫

Word2vec只使用了詞的上下文的共現(xiàn)，沒有使用外部的資源如詞典知識庫等，因此也有不少工作對此進行改進。

RNN/LSTM/CNN

RNN相關(guān)的模型如LSTM基本上算是解決結(jié)構(gòu)化問題的標準方法了，相比于普通的FeedForward Network，RNN是有“記憶”能力的。

普通的神經(jīng)網(wǎng)絡(luò)只會在學(xué)習(xí)的時候“記憶”，也就是通過反向傳播算法學(xué)習(xí)出參數(shù)，然后就不會有新的“記憶”了。訓(xùn)練好了之后，不管什么時候來一個相同的輸入，都會給出一個相同的輸出。對于像Image Classification這樣的問題來說沒有什么問題，但是像Speech Recognition或者很多NLP的Task，數(shù)據(jù)都是有時序或結(jié)構(gòu)的。比如語音輸入是一個時序的信號，前后幀的數(shù)據(jù)是相關(guān)的；而NLP的很多問題也都是序列或者層次的結(jié)構(gòu)。

RNN擁有“記憶”能力，如圖1所示，前一個輸出是會影響后面的判斷的。比如前一個詞是He，那么后面出現(xiàn)is的概率比出現(xiàn)“are”的概率高得多。最簡單的RNN直接把前一個時間點的輸出作為當前輸入的一部分，但是會有Gradient Vanishing的問題，從而導(dǎo)致在實際的模型中不能處理Long Distance的Dependency。目前比較流行的改進如LSTM和GRU等模型通過Gate的開關(guān)，來判斷是否需要遺忘/記憶之前的狀態(tài)，以及當前狀態(tài)是否需要輸出到下個時間點。比如語言模型，如果看到句子“I was born in China, …. I can speak fluent Chinese. ”，如果有足夠的數(shù)據(jù)，LSTM就能學(xué)到類似這樣?xùn)|西：看到“I was born in”，就記住后面的單詞“China”，當遇到“speak”時，就能知道后面很可能說“Chinese”。而遇到“Chinese”之后，其實就可以“忘掉”“China”了。

圖1 RNN擁有“記憶”能力

CNN（LeNet）最早是Yann Lecun提出用來解決圖像識別的問題的一種深度神經(jīng)網(wǎng)絡(luò)。通過卷積來發(fā)現(xiàn)位置無關(guān)（Translational Invariance）的Feature，而且這些Feature的參數(shù)是相同的，從而與全連接的神經(jīng)網(wǎng)絡(luò)相比大大減少了參數(shù)的數(shù)量，如圖2所示。

圖2 CNN深度神經(jīng)網(wǎng)絡(luò)

最近CNN相關(guān)的改進模型也被用于NLP領(lǐng)域。今年的ACL上有很多RNN/LSTM/CNN用來做機器翻譯（Machine Translation）、語義角色標注（Sematic Role Labeling）等。

Multi-model Deep Learning

這是當下的一個熱門，不只考慮文本，同時也考慮圖像，比如給圖片生成標題（Caption）。當然這和傳統(tǒng)的NLP任務(wù)不太一樣，但這是一個非常有趣的方向，有點像小朋友學(xué)習(xí)看圖說話。

這樣的實際應(yīng)用非常多，比如像Facebook或者騰訊這樣的社交平臺每天都有大量的圖片上傳，如果我們能給圖片生成標題或者摘要，就可以實現(xiàn)圖片的文本搜索以及語義分析。

圖3來自Google DeepMind的論文，根據(jù)圖片自動生成Caption，很好地為圖片做了文本摘要。

圖3 根據(jù)圖片自動生成Caption(圖片來自Google DeepMind的論文Show and Tell: A Neural Image Caption Generator)

Reasoning, Attention and Memory

前面說RNN/LSTM是試圖模擬人類大腦的記憶機制，但除了記憶之外，Attention也是非常有用的機制。

Attention

最早Attention是在《Recurrent Models of Visual Attention》這篇文章提出來的，它的主要思想是：人在看一個視覺場景時并不是一次看完，而是把注意力集中在某個區(qū)域，然后根據(jù)現(xiàn)有的數(shù)據(jù)決定下一次把注意力放到哪個地方（筆者的理解：比如我們看到的圖片是一條蛇，我們先看到蛇的頭部和它彎曲的角度，根據(jù)我們對于蛇的先驗知識，那么我們可能推斷它的身體在右下的某個地方，我們的注意力可能就會直接跳到那個部分）。

這篇文章提出的RAM（Recurrent Attention Model）模型：它把Attention當成一個順序決策問題，決策Agent能夠與視覺環(huán)境交互，并且有一個目標。

這個Agent有一個傳感器能探測視覺場景的一部分，它通過這些局部數(shù)據(jù)抽取一些信息，但是它可以自主控制傳感器的運動，也能做出決策來影響環(huán)境的真實狀態(tài)。每次行動都會有獎勵/懲罰（可能是延遲的，就像下棋一樣，短時間看不出好壞，但多走兩步就能看出來了），而Agent的目標就是較大化總的獎勵。這個模型優(yōu)化的目標函數(shù)是不可導(dǎo)的，但可以用強化學(xué)習(xí)來學(xué)出針對具體問題的策略（筆者的理解：比如識別一條蛇，我可能有一種探測路徑，但識別章魚，我可能有另一種路徑）。

另外，關(guān)于Attention，Google DeepMind的一篇論文《DRAW：A Recurrent Neural Network For Image》有一段非常好的解釋：

引用

當一個人繪畫或者重建一個視覺場景時，他能自然地用一種順序迭代的方式，每次修改后重新評估它。粗糙的輪廓逐漸被更較精確的形狀代替，線條被銳化，變暗或者擦除，形狀被修改，最終完成這幅圖畫。

從上面的分析可以看出，Attention除了模仿人類視覺系統(tǒng)的認知過程，還可以減少計算量，因為它排除了不關(guān)心的內(nèi)容。而傳統(tǒng)的模型如CNN，其計算復(fù)雜度就非常高。另外除了計算減少的好處之外，有選擇地把計算資源（注意力）放在關(guān)鍵的地方而不是其它（可能干擾）的地方，還有可能提高識別準確率。就像一個人注意力很分散，哪都想看，反而哪都看不清楚。

Attention最早是在視覺領(lǐng)域應(yīng)用，當然很快就擴展到NLP和Speech。

用來做機器翻譯：Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. 2015. In Proceedings of ICLR.

做Summary：Alexander M. Rush, Sumit Chopra, Jason Weston. A Neural Attention Model for Sentence Summarization. 2015. In Proceedings of EMNLP.

Word Embedding: Wang Ling, Lin Chu-Cheng, Yulia Tsvetkov, et al. Not All Contexts Are Created Equal: Better Word Representations with Variable Attention. 2015. In Proceedings of EMNLP.

Speech領(lǐng)域：Attention-Based Models for Speech Recognition. Jan Chorowski*, University of Wroclaw; Dzmitry Bahdanau, Jacobs University, Germany; Dmitriy Serdyuk, Université de Montréal; Kyunghyun Cho, NYU; Yoshua Bengio, U. Montreal. 2015. In Proceedings of NIPS.

其它的應(yīng)用，比如Multimodel，Image的Caption生成：Kelvin Xu, Jimmy Ba, Ryan Kiros, et al. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. 2015. In Proceedings of ICML. Karl Moritz Hermann, Tomá? Ko?isky, Edward Grefenstette, et al. Teaching Machines to Read and Comprehend. 2015. In Proceedings of NIPS.

前面最早的Attention Model是不可導(dǎo)的，只能用強化學(xué)習(xí)來優(yōu)化，也被叫做Hard Attention，也就是把注意力集中在離散的區(qū)域；后來也有Soft的Attention，也就是在所有的區(qū)域都有Attention，但是連續(xù)分布的。Soft的好處是可導(dǎo)，因此可以用梯度下降這樣的方法來訓(xùn)練模型，和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)更加接近。但壞處就是因為所有的區(qū)域都有值（非零），這就增加了計算量。用個不恰當?shù)谋确剑粋€是稀疏矩陣，一個是稠密的矩陣，計算量當然差別就很大。

也有一些工作嘗試融合Soft和Hard Attention的優(yōu)點。

Memory的擴展

前面說到RNN，如LSTM，有Memory（記憶），很多模型對此也進行了拓展。

比如Neural Turing Machine (Neural Turing Machines. Alex Graves, Greg Wayne, Ivo Danihelka. arXiv Pre-Print, 2014)，NTM用一句話描述就是有外部存儲的神經(jīng)網(wǎng)絡(luò)。如圖4所示。

圖4 NTM

Turing Machine有一個Tape和一個讀寫頭，Tape可以視為Memory，數(shù)據(jù)都放在Tape上，TM的控制器是一個“程序”，它讀入Tape上的輸入，然后把處理結(jié)果也輸出到Tape上。此外Turing Machine還有個當前的State。

而NTM的控制器是一個神經(jīng)網(wǎng)絡(luò)（Feedforward的或者Recurrent的如LSTM），其余的都類似，只是把古董的Tape換成了現(xiàn)代的尋址更方便的Memory，Input和Output也分離出去的（看起來更像是現(xiàn)代體系結(jié)構(gòu)下的計算機）。

我們傳統(tǒng)的編程其實就是編寫一個Turing Machine，然后放到Universal Turing Machine上去運行（UTM和TM是等價的，UTM是能運行TM的TM）。傳統(tǒng)的編程比如寫一個“Copy”程序，我們知道輸入，也知道期望的輸出，那么我們?nèi)四X來實現(xiàn)一個程序，我們用程序這種“語言”來表達我們的想法（算法）。

而NTM呢？它希望給點足夠多的輸入/輸出對（訓(xùn)練數(shù)據(jù)），Controller（神經(jīng)網(wǎng)絡(luò)）能學(xué)習(xí)出“程序”來。

程序真的可以“學(xué)習(xí)”出來嗎？程序員怎么“證明”它寫的算法的正確性呢？

關(guān)于人類學(xué)習(xí)的歸納和演繹的爭論。我覺得人類的學(xué)習(xí)都是歸納的，我們每天看到太陽從西邊出來，因此“歸納”出太陽從西邊出來這個結(jié)論，但是我們永遠無法證明（演繹）出這個結(jié)論。演繹似乎只有“上帝”（或者數(shù)學(xué)家，哈哈，他們是上帝他們定義一些公理，然后不斷演繹出整個體系，比如歐氏幾何的五大公理演繹出那么多定理）才有的特權(quán)，他定義了宇宙的運轉(zhuǎn)規(guī)律，然后一切都在這個規(guī)律下運作（演繹）。而人類似乎只能猜測上帝定義的規(guī)律，然后用這個猜測的規(guī)律進行演繹。如果沒有發(fā)現(xiàn)破壞規(guī)律的現(xiàn)象，那么萬事大吉，否則只能拋棄之前的猜測，重新猜測上帝的想法。但是上帝創(chuàng)造的規(guī)律能被受這個規(guī)律約束的智慧生命發(fā)現(xiàn)嗎？也許得看上帝在創(chuàng)造這個規(guī)律時的心情？

普通的計算機程序讀取輸入，然后進行一些計算，把臨時的一些結(jié)果放到Memory里，也從Memory里讀取數(shù)據(jù)，最終把結(jié)果輸出。只不過需要我們用計算機程序語言來指定其中的每一個操作步驟。而NTM也是一樣。它對于每一個輸入，都讀取一下現(xiàn)有的內(nèi)存，然后根據(jù)現(xiàn)有的內(nèi)存和輸入進行計算，然后更新內(nèi)存。只不過這些操作是通過輸入和輸出“學(xué)習(xí)”出來的。

因為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時需要連續(xù)可導(dǎo)，所以NTM的內(nèi)存和我們現(xiàn)在用的計算機內(nèi)存不同，現(xiàn)在的計算機都是離散的01，而NTM的內(nèi)存是個連續(xù)的值。計算機的寫只能是離散的01值，而NTM的寫入是連續(xù)的實數(shù)（當然受限于硬件肯定是有限的浮點數(shù)）。而且和前面的Attention相聯(lián)系，我們會發(fā)現(xiàn)它也是一種Soft Attention——對于某個程序，比如Copy，它的Attention是連續(xù)的變化規(guī)律（假設(shè)我們是用一個for循環(huán)來復(fù)制輸入到連續(xù)的內(nèi)存）。文章的作者嘗試了一些簡單程序，比如Copy、Associative等，NTM（LSTM作為controller）都比LSTM要好不少。不過Binary Heap Sort這種復(fù)雜一點的程序，NTM就沒有學(xué)習(xí)出來，它學(xué)出來一個HashTable（這是讓我等碼農(nóng)失業(yè)的節(jié)奏嗎？）。

你也許會問NTM似乎對應(yīng)的是TM，那和NLP有什么關(guān)系呢？

NLP是人類的語言，比機器的語言復(fù)雜。我們可以首先研究一下簡單的機器語言，或許會有所啟發(fā)。

但事實上NTM也可以用來做QA（問答）。

IBM做了著名的Watson，讓人覺得似乎機器能真正的理解語言了。不過很多業(yè)內(nèi)人士覺得離我們期望的機器理解語言還差得遠，當然他們做了很多很有用的工作。

《Empirical Study on Deep Learning Models for QA》就是IBM Watson團隊的嘗試。在Facebook的人工構(gòu)造QA數(shù)據(jù)集上融合并對比了當下熱門三種DL方法：Neural Machine Translation、Neural Turing Machine及Memory Networks。得出的結(jié)論是：融合Memory組件和Attention機制在解決QA問題上具有巨大潛力。

我們可以看到在今年NIPS的RAM Workshop上很多用類似NTM這樣的模型來做QA或者相關(guān)任務(wù)的文章。Facebook人工智能研究院（FAIR）在NLP的主要工作都是在RAM上。

Language的復(fù)雜性

相對于Image和Speech，Language似乎更加復(fù)雜一些。

視覺和聽覺作為人類與外界溝通最主要的兩種感覺，經(jīng)歷了長期的進化。大部分動物都有發(fā)達的視覺與聽覺系統(tǒng)，很多都比人類更加發(fā)達。拿視覺來說，老鷹的視力就比人類發(fā)達的多，而且很多動物夜間也有很強的視力，這是人類無法比擬的。但是人類的視覺應(yīng)該有更多高層概念上的東西，因為人類大腦的概念很多，因此視覺系統(tǒng)也能處理更多概念。比如人類能利用鋼鐵，對汽車有細微的視覺感受，但是對于一條狗來說可能這些東西都是Other類別，它們可能只關(guān)注食物、異性、天敵等。

聽覺系統(tǒng)也是如此，很多動物的聽覺范圍和精度都比人類高得多。但它們關(guān)注的內(nèi)容也很少，大部分是獵物或者天敵的聲音。

我覺得人類與大部分動物較大的區(qū)別就是社會性，社會性需要溝通，因此語言就非常重要。一些動物群落比如狼群或者猴群也有一定的社會性，像狼群狩獵是也有配合，猴群有嚴格的等級制度，但是相對于人類社會來說就簡單得多。一個人能力相當有限，但是一個人類社會就非常強大，這其實就跟一個螞蟻非常簡單，但是整個蟻群非常智能類似。

作為溝通，人類至少有視覺和聽覺兩種主要的方式，但最終主要的溝通方式語言卻是構(gòu)建在聽覺的基礎(chǔ)上的。為什么進化沒有選擇視覺呢？當然也許有偶然的因素，但是我們可以分析（或者猜測）一下可能的原因。

你也許會說聲音可以通過不同的發(fā)音來表示更多的概念，而且聲音是時序信號，可以用更長的聲音表示更復(fù)雜的概念。

但這是說不通的，人類能比動物發(fā)出更多不同種類的聲音，這也是進化的結(jié)果。用臉部或者四肢也能表達很多不同的概念，就像殘疾人的手語或者唇語，或者科幻小說《三體》里的面部表情交流。如果進化，面部肌肉肯定會更加發(fā)達從而能夠表示更多表情。

至于時序就更沒有什么了，手語也是時序的。

當然聲音相對于視覺還是有不少優(yōu)勢的：

聲音通過聲波的衍射能繞過障礙物，這是光無法辦到的（至少人類可見的光波是不行的）

衍生的結(jié)果就是聲音比光傳播得遠

晚上聲音可以工作，視覺不行（其實夜視能力也是進化出來的）

聲音是四面八方的，視覺必須直面（當然有些動物的視角能到360度），背對你的人你是看不到他的表情的。

可以做很多分析，但不管怎么樣，歷史沒法重新選擇，事實就是人類的進化選擇了聲音，因此Speech就成了Language的一部分了。

因此多帶帶說Speech而不說Language其實是沒有太大意義的。

當然后來Language為了便于保存，又發(fā)展出文字這樣的東西，而文字卻是通過視覺來感受的，不過視覺只是把文字映射到概念而已。一些文字如漢字的象形還是和視覺形象有關(guān)聯(lián)的，不過越到后來越抽象，就和視覺沒有太大關(guān)系了。

人類思考的方式也是和語言相關(guān)的，數(shù)學(xué)就是一種語言，這是人類抽象現(xiàn)實世界的先進工具。

上面一大堆啰嗦，目的就是想說明Language是和人類的概念緊密相連的，因此遠比Image/Vision更復(fù)雜。

人類社會之所以能進步，就是通過社會化的分工與協(xié)作，讓不同的人進化不同的能力，從而使得整個社會全方位發(fā)展。而語言文字在其中發(fā)揮著至關(guān)重要的作用，通過語言文字的傳播，人類積累的智慧就可以跨越時空傳遞。

回到我們的NLP或者NLU或者說機器理解人類語言，為什么我們對機器理解人類語言這么關(guān)注呢，因為語言基本等同于智力。機器能夠理解語言也就基本能達到人工智能的目標，這也是為什么我們會認為如果機器能夠通過圖靈測試那么它就是智能的了。

語言其實是人類表達概念或者說知識的一種方式，人類的大腦通過進化已經(jīng)很適應(yīng)這種表示方式了。但這種邏輯的表示方式是抽象之后比較上層的表示（大腦神經(jīng)元層級是怎么表示的還不太清楚）。目前主流的方法是深度神經(jīng)網(wǎng)絡(luò)，目的是模擬底層的大腦結(jié)構(gòu)。這種方法是不錯的一個想法。之前的NLP使用的方法都是規(guī)則的，其實也就是基于邏輯的，現(xiàn)在已經(jīng)不太主流了。

但是不管用什么方法，現(xiàn)在的現(xiàn)實情況是人類已經(jīng)使用語言來存儲知識和表示概念，機器就得面對這種現(xiàn)實能夠?qū)W會這種交流方式。因為我們沒有時間也不可能讓它們進化出另外一種表達方式。當然它們自己交流可以用自己的語言，比如TCP/IP語言，它們學(xué)習(xí)知識可以和人類那樣給定很多輸入/輸出訓(xùn)練數(shù)據(jù)學(xué)習(xí)出來，也可以把訓(xùn)練好的模型直接從一個機器“復(fù)制”到另外一個機器，這是人類做不到的——至少目前還做不到。我們不能把愛因斯坦的物理模型復(fù)制到我的大腦里，也許未來醫(yī)學(xué)和神經(jīng)科學(xué)高度發(fā)達之后可以實現(xiàn)。但是目前來看把機器看成人類能力的拓展更可行。

深度學(xué)習(xí)的一個方向Representation Learning其實就是有這個想法，不過目前更多關(guān)注的是一些具體任務(wù)的Feature的表示。更多是在Image和Speech領(lǐng)域，用在Language的較少，Word2vec等也可以看成表示概念的方式，不過這種向量的表示太過簡單且沒有結(jié)構(gòu)化。更少有工作考慮用神經(jīng)網(wǎng)絡(luò)怎么表示人類已有的復(fù)雜知識。現(xiàn)在的知識表示還是以幾十年前基于符號的形式邏輯的為主。

我們現(xiàn)在甚至有很多結(jié)構(gòu)化的數(shù)據(jù)，比如企業(yè)數(shù)據(jù)庫、維基百科的、Google的Freebase以及內(nèi)部的Knowledge Graph。但目前都是用人類習(xí)慣的表示方式，比如三元組、圖或者實體關(guān)系。但這樣的表示方式是高層的抽象的，大腦里的神經(jīng)元似乎不能處理，因此現(xiàn)在的Deep Neural Network很難整合已有的這些知識庫進行推理等更有用的事情。

總結(jié)

從上面的分析我們大致可以看到最近NLP的發(fā)展趨勢：深度神經(jīng)網(wǎng)絡(luò)尤其是RNN的改進，模擬人腦的Attention和Memory，更加結(jié)構(gòu)化的Word Embedding或者說Knowledge Representation。我們看到了很多很好的進展，比如NIPS的RAM Workshop，很多大公司都在嘗試。但是Language的問題確實也非常復(fù)雜，所以也不太可能短期就解決。不過也正是這樣有挑戰(zhàn)的問題，才能讓更多有才華的人投身到這個領(lǐng)域來推動它的發(fā)展。

作者簡介

雷欣，人工智能科技公司出門問問&Ticwatch智能手表CTO，美國華盛頓大學(xué)西雅圖分校博士，前斯坦福研究所（SRI）研究工程師，前Google美國總部科學(xué)家，語音識別領(lǐng)域十多年研究及從業(yè)者，領(lǐng)導(dǎo)開發(fā)了Google基于深度神經(jīng)網(wǎng)絡(luò)的離線語音識別系統(tǒng)。

李理，人工智能科技公司出門問問工程師，擅長NLP和knowledge graph。

來自： http://www.iteye.com/news/31261

歡迎加入本站公開興趣群

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754