大數(shù)據(jù)文摘作品

作者：小魚、土豆

《深度學習》(花書)作者Ian Goodfellow今早連發(fā)了10條推特，細數(shù)了他最喜歡的兩個機器學習“黑魔法”。他在著名的GAN論文中使用這兩個小竅門推導了公式。

最后，他還不忘操心大家的學習，推薦了一本關于凸優(yōu)化的書。當然，更詳盡的操作還是要去看Goodfellow本人的《深度學習》。文摘菌給大家搭配了斯坦福的一門MOOC，一起學習風味更佳~拉至文末查看喔~

Goodfellow稱，這是關于機器學習，他最喜歡的兩個快速理解理論推導的“黑魔法”。

感興趣的同學在大數(shù)據(jù)文摘后臺回復“goodfellow”可獲取GAN論文和《凸優(yōu)化》。

以下是Ian Goodfellow推特內(nèi)容：

很多時候，我們用代數(shù)或微積分來分析神經(jīng)網(wǎng)絡的最優(yōu)行為。想實現(xiàn)一些函數(shù)的權(quán)重衰減或許可以用代數(shù)方法實現(xiàn)，但想要用代數(shù)方法解決神經(jīng)網(wǎng)絡中大多數(shù)函數(shù)的參數(shù)優(yōu)化問題就有些過于復雜。

為了得到一個不太復雜的模型，常見的方法就是使用線性模型，因為線性模型能很好的解決凸優(yōu)化問題。但線性模型又過于簡單，其模型效果遠不及神經(jīng)網(wǎng)絡。

黑魔法1：將神經(jīng)網(wǎng)絡視為一個任意函數(shù)，因此可以在同一空間優(yōu)化所有的函數(shù)f，而不是特定的神經(jīng)網(wǎng)絡結(jié)構(gòu)的參數(shù)theta。與使用參數(shù)和特定結(jié)構(gòu)模型相比，這種方法非常簡潔。

將神經(jīng)網(wǎng)絡視為一個函數(shù)，保留了線性模型的諸多優(yōu)點：多種凸函數(shù)問題。例如，分類器的交叉熵損失在函數(shù)空間中就是一個凸優(yōu)化問題。

這個假設并不準確，特別是與線性模型相比。但是根據(jù)通用逼近定理，神經(jīng)網(wǎng)絡可以較好地近似任意函數(shù)。

黑魔法2：如果你在同一空間優(yōu)化所有函數(shù)時遇到困難，可以將函數(shù)想象成一個高維向量的分量。此時，關于R^n中x的評估函數(shù)f(x)，就變成了在一個向量中查找f_x，其中x是對分量的索引。