Yann LeCun：我是卷積神經(jīng)網(wǎng)絡(luò)之父，但也被它的專利卡過脖子
學(xué)術(shù)研究的專利歸屬對于學(xué)者而言很重要，是對自己所做工作的保護和肯定。但如果因公司變故而將自己參與研究的專利分了出去，后續(xù)研究還怎么搞？深度學(xué)習(xí)三巨頭之一、 卷積神經(jīng)網(wǎng)絡(luò)之父 Yann LeCun 就曾遇到過這種「煩心事」。
提起美國貝爾實驗室，喜歡研究科技史的同學(xué)想必都不陌生。它是晶體管、激光器、太陽能電池、發(fā)光二極管、數(shù)字交換機、通信衛(wèi)星、電子數(shù)字計算機、C 語言、UNIX操作系統(tǒng)、蜂窩移動通信設(shè)備、長途電視傳送、仿真語言、有聲電影、立體聲錄音以及通信網(wǎng)等許多重大發(fā)明的誕生地，擁有數(shù)萬項專利。但很多人不知道的是， 卷積神經(jīng)網(wǎng)絡(luò) 也曾是這數(shù)萬分之一。
最近，約克大學(xué) EECS 副教授 Kosta Derpanis 就挖出了這么一個冷知識。
他發(fā)現(xiàn)，早在 1989 和 1990 年，AT&T 貝爾實驗室就提交了兩份關(guān)于 卷積神經(jīng)網(wǎng)絡(luò)的專利申請。專利的名稱是「HIERARCHICAL CONSTRAINED AUTOMATIC LEARNING NEURAL NETWORK FOR CHARACTER RECOGNITION 」，即用于字符識別的分層約束自動學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。
為什么 AT&T 貝爾實驗室那么早就申請了卷積神經(jīng)網(wǎng)絡(luò)的專利呢？這還要從卷積神經(jīng)網(wǎng)絡(luò)之父——Yann LeCun 的早期職業(yè)生涯說起。
20 世紀 80 年代后期，LeCun 就職于貝爾實驗室。1989 年，他發(fā)表了「將反向傳播用于手寫郵政編碼識別」的相關(guān)研究，而且已經(jīng)在美國的郵政系統(tǒng)中成功應(yīng)用。隨后，這一系統(tǒng)的應(yīng)用范圍擴展至銀行支票。90 年代末期，該系統(tǒng)已經(jīng)處理了美國 10%~20% 的支票識別。
關(guān)于 卷積神經(jīng)網(wǎng)絡(luò) 的專利，LeCun 是這么回復(fù)的：
卷積神經(jīng)網(wǎng)絡(luò) （ConvNet/CNN）有兩項專利：一個是具有 strided convolution 的 ConvNet，另一是具有獨立池化層的 ConvNet。它們分別于 1989 和 1990 年提交，并于 1990 和 1991 年獲準。
官方認證： 卷積神經(jīng)網(wǎng)絡(luò) 的專利確實是貝爾實驗室90年前后申請的。但 LeCun 之前還提到過一個細節(jié)，在 1996 年之后，該專利就跑到了 NCR 的手里。
這又是怎么回事呢？我們接著看 LeCun 的回憶：
我們最開始與一個構(gòu)建基于 ConvNet 的 OCR 系統(tǒng)的開發(fā)團隊合作。此后不久，AT&T 收購了 NCR 公司，后者正為銀行構(gòu)建支票成像器和分類機，然后支票圖像被發(fā)送給人類操作員進行轉(zhuǎn)錄。顯然，NCR 想要實現(xiàn)這些業(yè)務(wù)的自動化。
我們最終構(gòu)建了一個完整的支票讀取系統(tǒng)，該系統(tǒng)足夠可靠，可以進行部署。銀行從 1995 年起開始商業(yè)部署。該系統(tǒng)可以讀取大約一半的支票（機器打印或手寫），并將另一半發(fā)送給人類操作員。
實際上，首次部署是在 ATM 機上實現(xiàn)金額驗證（由法國 CMB 銀行率先部署）之前一年進行的。接著 1996 年出現(xiàn)了重大變故：AT&T 拆分成了 AT&T（服務(wù)）、Lucent（朗訊，電信設(shè)備公司）和 NCR。
我們的研究（research）團隊留在了 AT&T（包括 AT&T Labs-Research），工程（engineering ）團隊則去了 Lucent，產(chǎn)品（product ）團隊去了 NCR。在律師們的努力下，ConvNet 的專利最終分配給了 NCR，因為他們銷售的正是基于 ConvNet 的產(chǎn)品。
所以，我停止了 ML 的研究工作。當(dāng)時，神經(jīng)網(wǎng)絡(luò)正變得不再受歡迎，我開始與 Léon Bottou（法國學(xué)者，因機器學(xué)習(xí)與數(shù)據(jù)壓縮的工作而聞名）致力于一個名為 DjVu 的互聯(lián)網(wǎng)圖像壓縮項目。我們在 20 世紀 90 年代早期寫了一系列關(guān)于這方面工作的論文。（注：LeCun、Léon Bottou 以及另一位學(xué)者 Patrick Haffner 都是 DjVu圖像壓縮技術(shù)的主要創(chuàng)建者）
直到 2002 年離開 AT&T，我才重新開始 ConvNet 的研究工作。我希望 NCR 沒人意識到他們擁有我所做研究的專利。事實上確實沒有。2007 年該專利到期時，我開了香檳慶祝。
所以我們從這個故事中得到的啟發(fā)是：當(dāng)專利與最適合構(gòu)建他們的人分開時，專利系統(tǒng)可能會起到反作用。對于實體的東西來說，專利是合理的，但對于軟件這種東西來說，它幾乎從來都不適用。
明明是自己參與發(fā)明的東西，但卻因為公司的變故被迫與專利分離，甚至在后續(xù)的研究中被卡脖子，LeCun 的遭遇恐怕不是個例。
最近兩年，谷歌為 Dropout 等算法申請專利的新聞也在社區(qū)引發(fā)了激烈討論。盡管 Jeff Dean 后來親自解釋說：「這些有關(guān)算法的專利是防御性質(zhì)的，主要是為了防止谷歌研究人員的成果被其他機構(gòu)申請專利后進行訛詐，進而引發(fā)經(jīng)濟損失。」但很多人依然非常反感這種做法，認為「這是一種野蠻且自私的舉動，科學(xué)和數(shù)學(xué)的專利阻礙了人類文明的發(fā)展。」從 LeCun 的遭遇來看，反對者的看法似乎是有依據(jù)的。
