自編碼器及其幾種變種(自編碼器特征分類？)
自編碼器特征分類？自編碼特征分為稀疏自編碼、去噪自編碼和收縮自編碼。變分自編碼(VAE)和生成對(duì)策網(wǎng)絡(luò)(GAN)一樣，是無(wú)監(jiān)督學(xué)習(xí)中最有前途的方法之一。在這篇論文中，牛津大學(xué)統(tǒng)計(jì)系博士生Adam Ko
自編碼器特征分類？自編碼特征分為稀疏自編碼、去噪自編碼和收縮自編碼。
變分自編碼(VAE)和生成對(duì)策網(wǎng)絡(luò)(GAN)一樣，是無(wú)監(jiān)督學(xué)習(xí)中最有前途的方法之一。在這篇論文中，牛津大學(xué)統(tǒng)計(jì)系博士生Adam Kosiorek原則上向我們介紹了VAE目前面臨的挑戰(zhàn)。同時(shí)，本文還對(duì)該方法提出了幾個(gè)改進(jìn)方向。
隱藏變量模型
假設(shè)你想通過(guò)一個(gè)定義在x∈RD上的概率分布來(lái)建模整個(gè)世界，其中p(x)代表x的可能狀態(tài)，世界可能如此復(fù)雜，以至于我們可以 我不知道p(x)的具體形式。為了解決這個(gè)問(wèn)題，我們引入了另一個(gè)變量z∈Rd來(lái)描述X的背景信息，例如，如果X是一幅圖像，那么Z可以記錄圖像中可見(jiàn)物體的外觀、數(shù)量和類型等信息，以及圖片的背景和光照條件。這個(gè)新變量使我們能夠?qū)(x)表示為一個(gè)無(wú)限混合模型。
這是一個(gè)混合模型，因?yàn)閷?duì)于z的任何可能值，引入另一個(gè)條件分布，用z的概率加權(quán)，最后得到p(x)。
在這種情況下， "給定X的觀測(cè)值，什么是隱藏變量Z "變成了一個(gè)非常有趣的問(wèn)題。
換句話說(shuō)，我們想知道p(z∣x).的后驗(yàn)分布但是Z和X之間可以存在高度非線性的關(guān)系(比如可以用多層神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn))，D—我們觀測(cè)的維數(shù)和D—隱變量的維數(shù)也可能非常大。由于邊際分布和后驗(yàn)分布都需要求公式(1)的積分，所以我們認(rèn)為它們都是不可數(shù)的。
我們可以通過(guò)蒙特卡羅抽樣根據(jù)p(x)?1m∑mm = 1p(x∣z(m))p(x)