摘要:類函數(shù)凸函數(shù)凹函數(shù)其他類別函數(shù)函數(shù)性質(zhì)凸函數(shù)凸函數(shù)的任何極小值也是最小值。嚴(yán)格凸函數(shù)最多有一個(gè)最小值。凹函數(shù)凹函數(shù)的任何極大值也是最大值。
3類函數(shù)
凸函數(shù)
凹函數(shù)
其他類別函數(shù)
凸函數(shù):凸函數(shù)的任何極小值也是最小值。嚴(yán)格凸函數(shù)最多有一個(gè)最小值。
凹函數(shù):凹函數(shù)的任何極大值也是最大值。嚴(yán)格凹函數(shù)最多有一個(gè)最大值。
非凹凸函數(shù):有多個(gè)極大極小值,只有局部最優(yōu)解
機(jī)器學(xué)習(xí)的任務(wù)可以理解成下圖:從一堆輸入,經(jīng)過處理,得到想要的輸出
這個(gè)機(jī)器學(xué)習(xí)任務(wù)流程,可以抽象成函數(shù):y=f(x),x為輸入,y為理想的輸出
于是乎,機(jī)器學(xué)習(xí)就可以看作是求函數(shù)y=f(x)的最優(yōu)解了
所謂的損失函數(shù),就是用來衡量預(yù)測(cè)值和實(shí)際值之間的誤差
我們的目標(biāo)就是,找到使損失函數(shù)達(dá)到最小值時(shí)候的參數(shù)
判斷機(jī)器學(xué)習(xí)是否執(zhí)行得好,有以下2個(gè)目標(biāo):
-- 使訓(xùn)練錯(cuò)誤率盡可能低(可以通過神經(jīng)網(wǎng)絡(luò),函數(shù)逼近的方法)
-- 使訓(xùn)練錯(cuò)誤率與測(cè)試錯(cuò)誤率的差距盡可能小(可以用正則化的方法)
欠擬合:訓(xùn)練錯(cuò)誤率比較高
過擬合:測(cè)試錯(cuò)誤率與訓(xùn)練錯(cuò)誤率差距比較大
我們的目標(biāo)是,找到使損失函數(shù)達(dá)到最小值時(shí)候的參數(shù)
此時(shí),我們可以對(duì)損失函數(shù)進(jìn)行求導(dǎo)(導(dǎo)數(shù)也成為梯度),尋找極值,常用的方法有:隨機(jī)梯度下降(SGD)
訓(xùn)練就是不斷尋找使損失函數(shù)達(dá)到最小值時(shí)候的參數(shù)的過程,因?yàn)橐话愕暮瘮?shù)具有多個(gè)局部最優(yōu)解
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://m.specialneedsforspecialkids.com/yun/44548.html
摘要:類函數(shù)凸函數(shù)凹函數(shù)其他類別函數(shù)函數(shù)性質(zhì)凸函數(shù)凸函數(shù)的任何極小值也是最小值。嚴(yán)格凸函數(shù)最多有一個(gè)最小值。凹函數(shù)凹函數(shù)的任何極大值也是最大值。 3類函數(shù) 凸函數(shù) showImg(https://segmentfault.com/img/remote/1460000013389230?w=650&h=400); 凹函數(shù) showImg(https://segmentfault.com/img...
摘要:引用格式王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍生成對(duì)抗網(wǎng)絡(luò)的研究與展望自動(dòng)化學(xué)報(bào),論文作者王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍摘要生成式對(duì)抗網(wǎng)絡(luò)目前已經(jīng)成為人工智能學(xué)界一個(gè)熱門的研究方向。本文概括了的研究進(jìn)展并進(jìn)行展望。 3月27日的新智元 2017 年技術(shù)峰會(huì)上,王飛躍教授作為特邀嘉賓將參加本次峰會(huì)的 Panel 環(huán)節(jié),就如何看待中國(guó) AI學(xué)術(shù)界論文數(shù)量多,但大師級(jí)人物少的現(xiàn)...
摘要:機(jī)器學(xué)習(xí)算法類型從廣義上講,有種類型的機(jī)器學(xué)習(xí)算法。強(qiáng)化學(xué)習(xí)的例子馬爾可夫決策過程常用機(jī)器學(xué)習(xí)算法列表以下是常用機(jī)器學(xué)習(xí)算法的列表。我提供了對(duì)各種機(jī)器學(xué)習(xí)算法的高級(jí)理解以及運(yùn)行它們的代碼。決策樹是一種監(jiān)督學(xué)習(xí)算法,主要用于分類問題。 showImg(https://segmentfault.com/img/remote/1460000019086462); 介紹 谷歌的自動(dòng)駕駛汽車和機(jī)...
摘要:用離散信一文清晰講解機(jī)器學(xué)習(xí)中梯度下降算法包括其變式算法無論是要解決現(xiàn)實(shí)生活中的難題,還是要?jiǎng)?chuàng)建一款新的軟件產(chǎn)品,我們最終的目標(biāo)都是使其達(dá)到最優(yōu)狀態(tài)。 提高駕駛技術(shù):用GAN去除(愛情)動(dòng)作片中的馬賽克和衣服 作為一名久經(jīng)片場(chǎng)的老司機(jī),早就想寫一些探討駕駛技術(shù)的文章。這篇就介紹利用生成式對(duì)抗網(wǎng)絡(luò)(GAN)的兩個(gè)基本駕駛技能: 1) 去除(愛情)動(dòng)作片中的馬賽克 2) 給(愛情)動(dòng)作片中...
閱讀 2473·2021-11-22 15:35
閱讀 3762·2021-11-04 16:14
閱讀 2694·2021-10-20 13:47
閱讀 2504·2021-10-13 09:49
閱讀 2073·2019-08-30 14:09
閱讀 2374·2019-08-26 13:49
閱讀 885·2019-08-26 10:45
閱讀 2774·2019-08-23 17:54