牛津大學的機器學習先驅(qū)Nando de Freitas剛剛在自己的***推文中推薦了這篇關(guān)于“深度學習怪圈”的文章。本文作者將人類自我認知的怪圈與深度學習的算法怪圈相聯(lián)系，“自我創(chuàng)造”這一似乎是“人類思想”獨有的屬性，似乎正在成就一些難以置信的深度學習成果。

怪圈是一種循環(huán)系統(tǒng)，橫貫不同等級的各個層次。通過這種循環(huán)，一個人可以追溯他的本源。

無獨有偶，被Yann LeCun稱為“機器學習在過去的二十年間最酷的想法”背后，最根本的實際上正是這種“怪圈”。

循環(huán)在機器學習系統(tǒng)中并不典型，按照慣例，這些系統(tǒng)由不同計算層的無環(huán)圖構(gòu)成。然而，我們現(xiàn)在開始發(fā)現(xiàn)，采用”反饋循環(huán)”能衍生出一種令人難以置信的、新的自動操作。

這可不是夸張，這是今天正在發(fā)生的事實。研究者們正在訓練“精確的”的智能系統(tǒng)，以期創(chuàng)造出在同領(lǐng)域內(nèi)能力遠超于人類的專業(yè)自動化。

我***次知道深度學習系統(tǒng)中使用反饋回路是有效的，是在“梯形網(wǎng)絡(luò)”里。梯形網(wǎng)絡(luò)在很早之前就被采用了，可以追溯到 2015年7月!(查看：https://arxiv.org/abs/1507.02672v2)下圖為其結(jié)構(gòu)示意。

梯形網(wǎng)絡(luò)是上下穿梭計算層的單循環(huán)回路，后邊跟了一個***單向通道。這套系統(tǒng)從回路部分搜集信息，它被采用之后展示了非常不錯的收斂數(shù)。這在2016年中的一篇論文中有原始研究人員的進一步討論：

標記:無監(jiān)督深度學習感知分組

如果你將好幾個梯形網(wǎng)絡(luò)串在一起就能形成一個大的網(wǎng)絡(luò)，它能夠?qū)D像中的物件分組。

對抗生成網(wǎng)絡(luò)(GAN)也有它自己的循環(huán)回路，但是在結(jié)構(gòu)中看不出來，而是隱藏在它的訓練當中。GAN的訓練過程中包含了對合作和對抗網(wǎng)絡(luò)的訓練，這涉及了一個生成網(wǎng)絡(luò)和一個辨別網(wǎng)絡(luò)。辨別網(wǎng)絡(luò)想方設(shè)法將生成網(wǎng)絡(luò)生成的數(shù)據(jù)進行分級;生成網(wǎng)絡(luò)則是想方設(shè)法尋找欺騙辨別網(wǎng)絡(luò)的數(shù)據(jù)，最終生成器和辨別器的魯棒性都得到了提升。GAN可以說在某種程度上達到了圖靈測試的要求，是當前***的圖片生成模型。

我們基本可以肯定有一種反饋機制，以生成器利用神經(jīng)網(wǎng)絡(luò)(辨別器)生成更智能的結(jié)果(例如，更真實的圖形)這一形式而存在。有很多GANs生成真實圖形的案例。無論如何，由于梯形網(wǎng)絡(luò)，現(xiàn)在有更新的結(jié)構(gòu)在促使GANs改變。

這些利用了循環(huán)的系統(tǒng)也與關(guān)于“增量學習”的新研究有關(guān)。深度學習系統(tǒng)的缺點之一就是在微調(diào)網(wǎng)絡(luò)時，用新數(shù)據(jù)來訓練會摧毀之前它掌握的技能。就是說，網(wǎng)絡(luò)會“忘記”過去的學習。由斯坦福開發(fā)的一個稱為“反饋網(wǎng)絡(luò)”模型結(jié)構(gòu)里，研究人員開發(fā)了一種特殊的網(wǎng)絡(luò)，可以自我反饋，還能內(nèi)部迭代顯示。

在一篇更近的發(fā)表研究成果(2017年3月)中，加州伯克利大學通過GANs和一種新的正則化方法創(chuàng)造出了圖形之間的轉(zhuǎn)換，效果驚人。他們把這個系統(tǒng)叫做循環(huán)對抗生成網(wǎng)絡(luò)(CycleGAN)，并且有了一些了不起的成果：

CycleGAN 能夠?qū)崿F(xiàn)優(yōu)異的圖形轉(zhuǎn)換。如上圖所示，向它輸入繪畫作品可以生成真實的照片。它還可以實現(xiàn)類似語義轉(zhuǎn)換的功能，如將馬變成斑馬、或?qū)⒛硞€季節(jié)的圖片變成另外一種季節(jié)的樣子。

這種方法的關(guān)鍵在于，利用“循環(huán)一致的損失”。這種損失確保了這種網(wǎng)絡(luò)能夠?qū)崿F(xiàn)一種單向轉(zhuǎn)換，之后又能夠通過最小損失實現(xiàn)相反的轉(zhuǎn)換。也就是說，網(wǎng)絡(luò)不僅僅必須學會轉(zhuǎn)換原始圖片，還得學會反向轉(zhuǎn)換。

訓練深度學習系統(tǒng)***的難題在于缺乏標記數(shù)據(jù)。標記數(shù)據(jù)是控制深度學習模型精確性的源頭。不過，這些開始采用循環(huán)回路的新型系統(tǒng)正在解決缺乏監(jiān)督的問題。這就像有一個永動機在自動憑空造出一些新的標記數(shù)據(jù)變量，***反過來用更多數(shù)據(jù)來訓練自己。這種自動化機制讓他們自己和自己進行模擬游戲，“玩”得多了，就能成為這方面的專家。

這就類似于阿爾法狗(AlphaGo)，它也能夠通過自我訓練發(fā)展出新的策略。當自動化嵌入了反饋回路，而且能夠模擬(一些人稱之為“想象”)很多不同的情景，還能自測這些情景下的正確性，那么我們就進入了超級科技爆發(fā)的臨界點。

而這種井噴式的快速發(fā)展所將帶來的科技能量，我們?nèi)祟愇拿鬟h未做好掌握它的準備。所以下次如果你看見一些難以置信的深度學習成果，可以嘗試尋找嵌在算法里的怪圈。

原文： https://www.esmadrid.com/en/whats-on/escher-gaviria-palace

【本文是51CTO專欄機構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文