1.KAN

這種新型的網(wǎng)絡(luò)架構(gòu)的核心思想基于由柯爾莫哥洛夫-阿諾德表示定理，它被寄予期望能夠替代多層感知器。MLP 在節(jié)點(diǎn)（“神經(jīng)單元”）上具有固定的激活函數(shù)，而 KAN 在邊上（“權(quán)重”）具有可學(xué)習(xí)的激活函數(shù)。KAN根本沒有線性權(quán)重—每個(gè)權(quán)重參數(shù)都被參數(shù)化為一元的spline function。

大白話的意思就是：KAN中的每個(gè)激活函數(shù)不是在每個(gè)節(jié)點(diǎn)，而是在每條邊上。由一個(gè)一元函數(shù)（univariate function）組成，這些函數(shù)本身也是參數(shù)。意味著函數(shù)即參數(shù)，每個(gè)權(quán)重參數(shù)不再是一個(gè)單一的數(shù)值，而是一個(gè)函數(shù)。

spline，a continuous curve constructed so as to pass through a given set of points and have a certain number of continuous derivatives.大致的意思就是spline是一條連續(xù)的曲線，這條曲線能夠穿過給點(diǎn)的數(shù)據(jù)點(diǎn)，且擁有特定數(shù)目的連續(xù)導(dǎo)

具體什么意思，不要著急慢慢來。先來看看KAN相對(duì)于MLP的優(yōu)點(diǎn)：

• 這種簡單的變化使得KAN在準(zhǔn)確性和可解釋性方面優(yōu)于 MLP。
• ?從理論上和經(jīng)驗(yàn)上來說，KAN比MLP擁有更快的神經(jīng)尺度法則。
• KAN 可以直觀地可視化，并且可以輕松地與人類用戶交互。
  ?

上圖為兩者之間的對(duì)比，最大的區(qū)別在于KAN學(xué)習(xí)的對(duì)象是邊的激活函數(shù)，而每個(gè)節(jié)點(diǎn)僅僅做數(shù)值累加，KAN的多層累加有點(diǎn)函數(shù)套娃的意思。傳統(tǒng)的激活函數(shù)是什么，可以回到??初心??去看看。

2.柯爾莫哥洛夫-阿諾德表示定理

這個(gè)定理是KAN的基石，用大白話文講就是任何一個(gè)函數(shù)都可以轉(zhuǎn)化為由單個(gè)變量的函數(shù)再套一層單變量的函數(shù)。

為了讓大家更好的理解，舉個(gè)一元二次方程的例子。相信大部分的同學(xué)都能寫出來根的公式。而一元三次方程的根其實(shí)也是可以表示為a，b，c，d的函數(shù)。

那么一元四次，五次，六次呢，是不是更加復(fù)雜，關(guān)鍵是還能寫得出來么。因此這個(gè)定理的貢獻(xiàn)在于將高維函數(shù)簡化成多項(xiàng)式數(shù)量的一維函數(shù)的組合。

為了讓大家更好的理解，細(xì)究下這個(gè)定理的歷史。故事來至希爾伯特的23個(gè)問題：大致的背景是德國數(shù)學(xué)家大衛(wèi)·希爾伯特于1900年在巴黎舉行的第二屆國際數(shù)學(xué)家大會(huì)上作了題為《數(shù)學(xué)問題》的演講，所提出23道最重要的數(shù)學(xué)問題。其中的第十三問題，希爾伯特希望數(shù)學(xué)界能夠證明：x7+ax3+bx2+cx+1=0這個(gè)方程式的七個(gè)解，若表成系數(shù)為a,b,c的函數(shù)，則此函數(shù)無法簡化成兩個(gè)變數(shù)的函數(shù)。

后續(xù)柯爾莫哥洛夫證明每個(gè)有多個(gè)變?cè)暮瘮?shù)可用有限個(gè)三變?cè)瘮?shù)構(gòu)作。阿諾爾德按這個(gè)結(jié)果繼續(xù)研究證明兩個(gè)變?cè)炎銐颉Ｖ蟀⒅Z爾德和日本數(shù)學(xué)家志村五郎發(fā)表了論文（Superposition of algebraic functions (1976), in Mathematical Developments Arising From Hilbert's Problems）。

這些結(jié)果后來被進(jìn)一步發(fā)展，推導(dǎo)出人工神經(jīng)網(wǎng)絡(luò)中的通用近似定理，指人工神經(jīng)網(wǎng)絡(luò)能近似任意連續(xù)函數(shù)。

3.KAN架構(gòu)

先回到KA定理的公式：

聰明的讀者一定會(huì)發(fā)現(xiàn)，要是將這個(gè)做成神經(jīng)網(wǎng)絡(luò)，是不是只有兩層非線性和一個(gè)隱藏層（2n+1），因?yàn)楹瘮?shù)只套了一次。對(duì)的！加上一維函數(shù)可能是非光滑的，甚至是分形的（fractal），在實(shí)踐無法學(xué)習(xí)。

這個(gè)函數(shù)其實(shí)看起來復(fù)雜，理解卻是不難。第一層輸入數(shù)目為n，舉個(gè)例子，X₁自身對(duì)應(yīng)著2n+1個(gè)內(nèi)圈函數(shù)Θq,1 (q=0...2n+1)。所以一共有n*(n+1)個(gè)內(nèi)圈函數(shù)，將Θ1,1 , Θ1,2 ,Θ1,3 ，Θ1,4 ， ... ，Θ1,n進(jìn)行累加輸出，一共輸出2n+1個(gè)數(shù)值。第二層將2n+1個(gè)累加數(shù)值輸入外圈函數(shù)Φ，得到1個(gè)輸出。所以傳統(tǒng)的KA是兩層的，n->2n+1->1。

然而這次MIT做了技術(shù)突破，它們擴(kuò)展了KA，提出了KAN架構(gòu)。KAN架構(gòu)的好處在于保留函數(shù)即參數(shù)的內(nèi)核之外，將兩層約束擴(kuò)展到任意可以堆疊的網(wǎng)絡(luò)結(jié)構(gòu)。

KAN的網(wǎng)絡(luò)結(jié)構(gòu)可以由[n0, n1, · · · , nL]這個(gè)整形數(shù)組來表達(dá)，每個(gè)數(shù)值代表著每一層的節(jié)點(diǎn)個(gè)數(shù)（節(jié)點(diǎn)執(zhí)行累加的動(dòng)作）。下圖為中間層，任何一層輸入，假定這個(gè)數(shù)組為[5,4,1]，那么最早一層就是4*5的函數(shù)矩陣，在往下就是1*4的矩陣，最終輸出為1個(gè)數(shù)值。想想為什么？不熟悉矩陣的同學(xué)可以溫習(xí)下??這篇文章??。

最終KAN網(wǎng)絡(luò)的運(yùn)作模式如下：從輸入不斷經(jīng)過函數(shù)矩陣的變化達(dá)到最終的數(shù)值。2.7比較形象，2.8對(duì)于數(shù)學(xué)比較友好。

4.激活函數(shù)

?

激活函數(shù)的長相如2.10所示，它由殘差函數(shù)和Spline函數(shù)組合而成。w為權(quán)重，雖然它有點(diǎn)多余，畢竟可以被這兩個(gè)函數(shù)吸收掉，但是可以來控制整個(gè)激活數(shù)值的縮放。2.11展示了殘差函數(shù)。而Spline函數(shù)則是由B-splines構(gòu)成。數(shù)學(xué)小白可以跳過B-splines函數(shù)，它其實(shí)就是分段連續(xù)的多項(xiàng)式曲線。

它有兩個(gè)重要參數(shù)：節(jié)點(diǎn)和次數(shù)。數(shù)值域被細(xì)分成節(jié)點(diǎn)劃分而成的多個(gè)區(qū)間。如何理解上面的公式在這里不重要，最重要的是它是一種構(gòu)造曲線的方式。如此通過學(xué)習(xí)，校正激活函數(shù)以便于獲得期望的輸入和輸出。

B-splines是一個(gè)分段連續(xù)的多項(xiàng)式曲線，它的參數(shù)域通過節(jié)點(diǎn)（knots）來表示，每兩個(gè)節(jié)點(diǎn)之間是參數(shù)域的一段，比如一個(gè)B樣條的參數(shù)域可以表示為：[??0,??1,??2,??3,??4,??5,??6,??7,??8] ，一共9個(gè)節(jié)點(diǎn)；參數(shù)域分為8段：[??0,??1],[??1,??2],[??2,??3],[??3,??4],[??4,??5],...,[??7,??8] 。下面4幅圖較為直觀，可以通過不同的基函數(shù)構(gòu)造出下面的曲線：

5.性能

KAN的訓(xùn)練過程不在本文描述，它需要一定的技術(shù)背景，后續(xù)會(huì)另開專題詳細(xì)的解釋。為了可視化，研究人員設(shè)計(jì)一種交互式的監(jiān)督學(xué)習(xí)，通過初訓(xùn)練，剪枝，然后設(shè)定一些比較常見的函數(shù)，最終再次訓(xùn)練參數(shù)（affine parameter）進(jìn)而得到結(jié)果。事實(shí)上，它在已知函數(shù)表達(dá)式和未知函數(shù)表達(dá)式上的模擬都超過MLP。

下圖為五個(gè)函數(shù)，分別采用的KAN網(wǎng)絡(luò)模擬，最多不會(huì)超過4層。最后一張圖列出了它們和mlp對(duì)比，橫軸為參數(shù)。

本文轉(zhuǎn)載自??魯班模錘??，作者： 龐德公 ????