文章庫ARTICLE COLUMN
摘要：未來向何處去做領(lǐng)袖不容易，要不斷地指明方向。又譬如想識(shí)別在這些黑白圖像中，是否包含從到的手寫體數(shù)字，那么深度學(xué)習(xí)的傳統(tǒng)做法是，輸出一個(gè)維向量，，其中每個(gè)元素的取值范圍是，表示出現(xiàn)相應(yīng)數(shù)字的概率。老爺子的論文中，輸出的是十個(gè)維向量，其中...
摘要：本文以機(jī)器翻譯為例，深入淺出地介紹了深度學(xué)習(xí)中注意力機(jī)制的原理及關(guān)鍵計(jì)算機(jī)制，同時(shí)也抽象出其本質(zhì)思想，并介紹了注意力模型在圖像及語音等領(lǐng)域的典型應(yīng)用場景。 最近兩年，注意力模型（Attention Model）被廣泛使用在自然語言處理、圖像識(shí)別及語音...
摘要：近幾年，深度學(xué)習(xí)高速發(fā)展，出現(xiàn)了大量的新模型與架構(gòu)，以至于我們無法理清網(wǎng)絡(luò)類型之間的關(guān)系。是由深度學(xué)習(xí)先驅(qū)等人提出的新一代神經(jīng)網(wǎng)絡(luò)形式，旨在修正反向傳播機(jī)制。當(dāng)多個(gè)預(yù)測(cè)一致時(shí)本論文使用動(dòng)態(tài)路由使預(yù)測(cè)一致，更高級(jí)別的將變得活躍。 近幾年...
摘要：近日，團(tuán)隊(duì)提出了基于近鄰節(jié)點(diǎn)注意機(jī)制的網(wǎng)絡(luò)架構(gòu)，可用于處理復(fù)雜不規(guī)則結(jié)構(gòu)的計(jì)算圖，并在三種困難的基準(zhǔn)測(cè)試中得到了業(yè)內(nèi)較佳水平，研究人員稱該模型有望在未來處理任意不規(guī)則結(jié)構(gòu)圖。 近日，Bengio 團(tuán)隊(duì)提出了基于近鄰節(jié)點(diǎn)注意機(jī)制的網(wǎng)絡(luò)架構(gòu) GAT，...
摘要：在較低水平的神經(jīng)元中，一個(gè)多樣性術(shù)語可以揭示一個(gè)特征所代表的不同方面簡單優(yōu)化用多樣性進(jìn)行的優(yōu)化揭示了四個(gè)不同的彎曲的方面。注意勺子的紋理和顏色與狗的皮毛相似，從而足以讓神經(jīng)元激活。下面，一個(gè)神經(jīng)元對(duì)兩種類型的動(dòng)物臉部以及車做出響應(yīng)。 ...
摘要：文章翻譯自深度學(xué)習(xí)是一個(gè)計(jì)算需求強(qiáng)烈的領(lǐng)域，的選擇將從根本上決定你的深度學(xué)習(xí)研究過程體驗(yàn)。因此，今天就談?wù)勅绾芜x擇一款合適的來進(jìn)行深度學(xué)習(xí)的研究。此外，即使深度學(xué)習(xí)剛剛起步，仍然在持續(xù)深入的發(fā)展。例如，一個(gè)普通的在上的售價(jià)約為美元。 ...
摘要：在最近的一次人工智能會(huì)議上，表示自己對(duì)于反向傳播非常懷疑，并提出應(yīng)該拋棄它并重新開始。在人工智能多年的發(fā)展過程中，反向傳播已經(jīng)成為了深度學(xué)習(xí)不可或缺的一部分。最后，我們會(huì)將這些規(guī)則組合成可用于任意神經(jīng)網(wǎng)絡(luò)的反向傳播算法。 現(xiàn)在的深度學(xué)...
摘要：研究者創(chuàng)建了一個(gè)名叫文森特的系統(tǒng)是的，就是梵高那個(gè)文森特使用深度學(xué)習(xí)，將簡筆畫轉(zhuǎn)變?yōu)樗囆g(shù)品。研究人員認(rèn)為，除了在藝術(shù)繪畫方面大放異彩，類似文森特的技術(shù)還有一系列潛在的應(yīng)用。 如果你喜歡藝術(shù)但下筆皆為靈魂畫作，那么今天要介紹的這個(gè)項(xiàng)目肯...
摘要：今天，的開發(fā)與維護(hù)者之一貼出了一封郵件宣布在發(fā)布版本之后，終止的開發(fā)和維護(hù)。網(wǎng)友評(píng)論其是功成身退。版本將在接下來的幾周內(nèi)發(fā)布。 今天，Theano的開發(fā)與維護(hù)者之一 Pascal Lamblin 貼出了一封郵件：Yoshua Bengio 宣布在發(fā)布Theano 1.0版本之后，...
摘要：陳建平說訓(xùn)練是十分重要的，尤其是對(duì)關(guān)注算法本身的研究者。代碼生成其實(shí)在中也十分簡單，陳建平不僅利用車道線識(shí)別模型向我們演示了如何使用生成高效的代碼，同時(shí)還展示了在脫離環(huán)境下運(yùn)行代碼進(jìn)行推斷的效果。 近日，Mathworks 推出了包含 MATLAB 和 ...
摘要：本文介紹支付寶中的深度學(xué)習(xí)引擎。因而無論在運(yùn)行速度和內(nèi)存占用等性能指標(biāo)還是在兼容性上，支付寶的移動(dòng)端都必須做到極致，才能較大幅度地降低使用門檻。五大目標(biāo)支付寶是針對(duì)國民環(huán)境定制開發(fā)的移動(dòng)端解決方案，項(xiàng)目制定了如下技術(shù)目標(biāo)。 本文介紹支...
摘要：本質(zhì)上知識(shí)圖譜旨在描述真實(shí)世界中存在的各種實(shí)體或概念及其關(guān)系其構(gòu)成一張巨大的語義網(wǎng)絡(luò)圖，節(jié)點(diǎn)表示實(shí)體或概念，邊則由屬性或關(guān)系構(gòu)成。圖知識(shí)圖譜示例知識(shí)圖譜的架構(gòu)知識(shí)圖譜的架構(gòu)包括自身的邏輯結(jié)構(gòu)以及構(gòu)建知識(shí)圖譜所采用的技術(shù)體系架構(gòu)。 引言...
摘要：知識(shí)圖譜開源庫或簡稱是一個(gè)用于構(gòu)建語義和關(guān)聯(lián)數(shù)據(jù)應(yīng)用程序的自由和開源的框架。垂直行業(yè)應(yīng)用下面將以金融醫(yī)療電商行業(yè)為例，說明知識(shí)圖譜在上述行業(yè)中的典型應(yīng)用。 知識(shí)圖譜構(gòu)建的關(guān)鍵技術(shù)1 知識(shí)提取2 知識(shí)表示3 知識(shí)融合4 知識(shí)推理知識(shí)推理則是在已...
摘要：不過，深度學(xué)習(xí)并不是人類可以創(chuàng)造的完美人工智能科技的終點(diǎn)。深度學(xué)習(xí)的公正性并非來自其自身，而是人類篩選和準(zhǔn)備的深度學(xué)習(xí)數(shù)據(jù)。深度學(xué)習(xí)給出的是非自然合法語言解釋的結(jié)果。 現(xiàn)在每一個(gè)人都正在學(xué)習(xí)，或者正打算學(xué)習(xí)深度學(xué)習(xí)，它是目前人工智能諸...
摘要：亞馬遜和華盛頓大學(xué)今天合作發(fā)布了開源的端到端深度學(xué)習(xí)編譯器。項(xiàng)目作者之一陳天奇在微博上這樣介紹這個(gè)編譯器我們今天發(fā)布了基于工具鏈的深度學(xué)習(xí)編譯器。陳天奇團(tuán)隊(duì)對(duì)的性能進(jìn)行了基準(zhǔn)測(cè)試，并與進(jìn)行了比較。 亞馬遜和華盛頓大學(xué)今天合作發(fā)布了開源...
摘要：的研究興趣涵蓋大多數(shù)深度學(xué)習(xí)主題，特別是生成模型以及機(jī)器學(xué)習(xí)的安全和隱私。與以及教授一起造就了年始的深度學(xué)習(xí)復(fù)興。目前他是僅存的幾個(gè)仍然全身心投入在學(xué)術(shù)界的深度學(xué)習(xí)教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 擁有斯坦福大學(xué)...
摘要：然而，幸運(yùn)的是，目前更為成功的目標(biāo)檢測(cè)方法是圖像分類模型的擴(kuò)展。幾個(gè)月前，發(fā)布了一個(gè)用于的新的目標(biāo)檢測(cè)。 隨著自動(dòng)駕駛汽車、智能視頻監(jiān)控、人臉檢測(cè)和各種人員計(jì)數(shù)應(yīng)用的興起，快速和準(zhǔn)確的目標(biāo)檢測(cè)系統(tǒng)也應(yīng)運(yùn)而生。這些系統(tǒng)不僅能夠?qū)D像中的...
摘要：因?yàn)樯疃葘W(xué)習(xí)的正統(tǒng)觀念在該領(lǐng)域已經(jīng)很流行了。在機(jī)器和深度學(xué)習(xí)空間中進(jìn)行的大多數(shù)數(shù)學(xué)分析傾向于使用貝葉斯思想作為參數(shù)。如果我們接受了目前深度學(xué)習(xí)的主流觀點(diǎn)任何一層的微分都是公平的，那么或許我們應(yīng)該使用存儲(chǔ)多種變體的復(fù)分析。 深度學(xué)習(xí)只能...
摘要：而訓(xùn)練的好壞，以及逆映射的好壞對(duì)實(shí)驗(yàn)結(jié)果影響會(huì)比較大，經(jīng)過幾個(gè)階段的訓(xùn)練，圖像的內(nèi)容損失會(huì)比較嚴(yán)重，實(shí)際中我們也可以觀察到的實(shí)驗(yàn)效果比較差。 這是一篇總結(jié)文，總結(jié)我看過的幾篇用GAN做圖像翻譯的文章的套路。首先，什么是圖像翻譯？為了說...
摘要：修正線性單元，是神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)。顧名思義，值激活函數(shù)返回輸入的值。如同余弦函數(shù)，或簡單正弦函數(shù)激活函數(shù)為神經(jīng)網(wǎng)絡(luò)引入了周期性。此外，激活函數(shù)為零點(diǎn)對(duì)稱的奇函數(shù)。 在神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)決定來自給定輸入集的節(jié)點(diǎn)的輸出，其中非...
摘要：神經(jīng)網(wǎng)絡(luò)的注意機(jī)制已經(jīng)引起了廣泛關(guān)注。什么是通俗地說，神經(jīng)網(wǎng)絡(luò)注意機(jī)制是具備能專注于其輸入或特征的神經(jīng)網(wǎng)絡(luò)，它能選擇特定的輸入。在實(shí)踐中，它們可以被一維高斯函數(shù)向量實(shí)現(xiàn)。 神經(jīng)網(wǎng)絡(luò)的注意機(jī)制（Attention Mechanisms）已經(jīng)引起了廣泛關(guān)注。...
摘要：表示，的賈揚(yáng)清對(duì)他的這一項(xiàng)目給予了很多幫助，賈揚(yáng)清告訴他，的好幾個(gè)網(wǎng)絡(luò)，較大瓶頸都是，如果想要實(shí)現(xiàn)一流的性能，賈揚(yáng)清建議較好使用異步，這樣會(huì)有很大的幫助。，和則是默認(rèn)啟用這項(xiàng)功能。 微軟數(shù)據(jù)科學(xué)家Ilia Karmanov做了一個(gè)項(xiàng)目，使用高級(jí)API...
摘要：本圖中的數(shù)據(jù)收集自利用數(shù)據(jù)集在英偉達(dá)上對(duì)進(jìn)行訓(xùn)練的實(shí)際流程。據(jù)我所知，人們之前還無法有效利用諸如神威太湖之光的超級(jí)計(jì)算機(jī)完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練。最終，我們用分鐘完成了的訓(xùn)練據(jù)我們所知，這是使用進(jìn)行訓(xùn)練的世界最快紀(jì)錄。 圖 1，Google Brain 科學(xué)...
摘要：原始版本最早的卷積方式還沒有任何騷套路，那就也沒什么好說的了。通過卷積核插的方式，它可以比普通的卷積獲得更大的感受野，這個(gè)的就介紹到這里。和前面不同的是，這個(gè)卷積是對(duì)特征維度作改進(jìn)的。 1.原始版本最早的卷積方式還沒有任何騷套路，那就也...
摘要：本文參考文獻(xiàn)被引次數(shù)被引次數(shù)今天要講的一個(gè)模型是由人工智能研究院提出來的完全基于卷積神經(jīng)網(wǎng)絡(luò)的框架，我在之前的推送中已經(jīng)講過好多次了，傳統(tǒng)的模型是基于來實(shí)現(xiàn)的，特別是，這就帶來了計(jì)算量復(fù)雜的問題。 本文參考文獻(xiàn)：Gehring J, Auli M, Gran...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...
89542767
社區(qū)管理員
白馬嘯西風(fēng)