摘要:更廣泛地說,這些結(jié)果表明神經(jīng)網(wǎng)絡(luò)訓練不需要被認為是一種煉丹術(shù),而是可以被量化和系統(tǒng)化。中間的曲線中存在彎曲,漸變噪聲標度預測彎曲發(fā)生的位置。 由于復雜的任務(wù)往往具有更嘈雜的梯度,因此越來越大的batch計算包,可能在將來變得有用,從而消除了AI系統(tǒng)進一步增長的一個潛在限制。更廣泛地說,這些結(jié)果表明神經(jīng)網(wǎng)絡(luò)訓練不需要被認為是一種煉丹術(shù),而是可以被量化和系統(tǒng)化。在過去的幾年里,AI研究人員通過數(shù)...