你還弄不懂的傅里葉變換，神經網絡只用了30多行代碼就學會了
本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。
在我們的生活中，大到天體觀測、小到MP3播放器上的頻譜，沒有傅里葉變換都無法實現。
通俗來講，離散傅里葉變換（DFT）就是把一串復雜波形中分成不同頻率成分。
比如聲音，如果用聲波記錄儀顯示聲音的話，其實生活中絕大部分聲音都是非常復雜、甚至雜亂無章的。
而通過傅里葉變換，就能把這些雜亂的聲波轉化為正弦波，也就是我們平常看到的音樂頻譜圖的樣子。
不過在實際計算中，這個過程其實非常復雜。
如果把聲波視作一個連續函數，它可以唯一表示為一堆三角函數相疊加。不過在疊加過程中，每個三角函數的加權系數不同，有的要加高一些、有的要壓低一些，有的甚至不加。
傅里葉變換要找到這些三角函數以及它們各自的權重。
這不就巧了，這種找啊找的過程，像極了神經網絡。
神經網絡的本質其實就是逼近一個函數。
那豈不是可以用訓練神經網絡的方式來搞定傅里葉變換？
這還真的可行，并且最近有人在網上發布了自己訓練的過程和結果。
DFT=神經網絡
該怎么訓練神經網絡呢？這位網友給出的思路是這樣的：
首先要把離散傅里葉變換（DFT）看作是一個人工神經網絡，這是一個單層網絡，沒有bias、沒有激活函數，并且對于權重有特定的值。它輸出節點的數量等于傅里葉變換計算后頻率的數量。
具體方法如下：
這是一個DFT：
- k表示每N個樣本的循環次數；
- N表示信號的長度；
- 表示信號在樣本n處的值。
一個信號可以表示為所有正弦信號的和。
yk是一個復值，它給出了信號x中頻率為k的正弦信號的信息；從yk我們可以計算正弦的振幅和相位。
換成矩陣式，它就變成了這樣：
這里給出了特定值k的傅里葉值。
不過通常情況下，我們要計算全頻譜，即k從[0,1,…N-1]的值，這可以用一個矩陣來表示（k按列遞增，n按行遞增）：
簡化后得到：
看到這里應該還很熟悉，因為它是一個沒有bias和激活函數的神經網絡層。
指數矩陣包含權值，可以稱之為復合傅里葉權值（Complex Fourier weights），通常情況下我們并不知道神經網絡的權重，不過在這里可以。
- 不用復數
通常我們也不會在神經網絡中使用復數，為了適應這種情況，就需要把矩陣的大小翻倍，使其左邊部分包含實數，右邊部分包含虛數。
將
帶入DFT，可以得到：
然后用實部（cos形式）來表示矩陣的左半部分，用虛部（sin形式）來表示矩陣的右半部分：
簡化后可以得到：
將
稱為傅里葉權重；
需要注意的是，y^和y實際上包含相同的信息，但是y^
不使用復數，所以它的長度是y的兩倍。
換句話說，我們可以用
或
表示振幅和相位，但是我們通常會使用
現在，就可以將傅里葉層加到網絡中了。
用傅里葉權重計算傅里葉變換
現在就可以用神經網絡來實現
，并用快速傅里葉變換（FFT）檢查它是否正確。
- import matplotlib.pyplot as plt
- y_real = y[:, :signal_length]
- y_imag = y[:, signal_length:]
- tvals = np.arange(signal_length).reshape([-1, 1])
- freqs = np.arange(signal_length).reshape([1, -1])
- arg_vals = 2 * np.pi * tvals * freqs / signal_length
- sinusoids = (y_real * np.cos(arg_vals) - y_imag * np.sin(arg_vals)) / signal_length
- reconstructed_signal = np.sum(sinusoids, axis=1)
- print('rmse:', np.sqrt(np.mean((x - reconstructed_signal)**2)))
- plt.subplot(2, 1, 1)
- plt.plot(x[0,:])
- plt.title('Original signal')
- plt.subplot(2, 1, 2)
- plt.plot(reconstructed_signal)
- plt.title('Signal reconstructed from sinusoids after DFT')
- plt.tight_layout()
- plt.show()
- rmse: 2.3243522568191728e-15
得到的這個微小誤差值可以證明，計算的結果是我們想要的。
- 另一種方法是重構信號：
- import matplotlib.pyplot as plt
- y_real = y[:, :signal_length]
- y_imag = y[:, signal_length:]
- tvals = np.arange(signal_length).reshape([-1, 1])
- freqs = np.arange(signal_length).reshape([1, -1])
- arg_vals = 2 * np.pi * tvals * freqs / signal_length
- sinusoids = (y_real * np.cos(arg_vals) - y_imag * np.sin(arg_vals)) / signal_length
- reconstructed_signal = np.sum(sinusoids, axis=1)
- print('rmse:', np.sqrt(np.mean((x - reconstructed_signal)**2)))
- plt.subplot(2, 1, 1)
- plt.plot(x[0,:])
- plt.title('Original signal')
- plt.subplot(2, 1, 2)
- plt.plot(reconstructed_signal)
- plt.title('Signal reconstructed from sinusoids after DFT')
- plt.tight_layout()
- plt.show()
- rmse: 2.3243522568191728e-15
最后可以看到，DFT后從正弦信號重建的信號和原始信號能夠很好地重合。
通過梯度下降學習傅里葉變換
現在就到了讓神經網絡真正來學習的部分，這一步就不需要向之前那樣預先計算權重值了。
首先，要用FFT來訓練神經網絡學習離散傅里葉變換：
- import tensorflow as tf
- signal_length = 32
- # Initialise weight vector to train:
- W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5)
- # Expected weights, for comparison:
- W_expected = create_fourier_weights(signal_length)
- losses = []
- rmses = []
- for i in range(1000):
- # Generate a random signal each iteration:
- x = np.random.random([1, signal_length]) - 0.5
- # Compute the expected result using the FFT:
- fft = np.fft.fft(x)
- y_true = np.hstack([fft.real, fft.imag])
- with tf.GradientTape() as tape:
- y_pred = tf.matmul(x, W_learned)
- loss = tf.reduce_sum(tf.square(y_pred - y_true))
- # Train weights, via gradient descent:
- W_gradient = tape.gradient(loss, W_learned)
- W_learned = tf.Variable(W_learned - 0.1 * W_gradient)
- losses.append(loss)
- rmses.append(np.sqrt(np.mean((W_learned - W_expected)**2)))
- Final loss value 1.6738563548424711e-09
- Final weights' rmse value 3.1525832404710523e-06
得出結果如上，這證實了神經網絡確實能夠學習離散傅里葉變換。
訓練網絡學習DFT
除了用快速傅里葉變化的方法，還可以通過網絡來重建輸入信號來學習DFT。(類似于autoencoders自編碼器)。
自編碼器（autoencoder, AE）是一類在半監督學習和非監督學習中使用的人工神經網絡（Artificial Neural Networks, ANNs），其功能是通過將輸入信息作為學習目標，對輸入信息進行表征學習（representation learning）。
- W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5)
- tvals = np.arange(signal_length).reshape([-1, 1])
- freqs = np.arange(signal_length).reshape([1, -1])
- arg_vals = 2 * np.pi * tvals * freqs / signal_length
- cos_vals = tf.cos(arg_vals) / signal_length
- sin_vals = tf.sin(arg_vals) / signal_length
- losses = []
- rmses = []
- for i in range(10000):
- x = np.random.random([1, signal_length]) - 0.5
- with tf.GradientTape() as tape:
- y_pred = tf.matmul(x, W_learned)
- y_real = y_pred[:, 0:signal_length]
- y_imag = y_pred[:, signal_length:]
- sinusoids = y_real * cos_vals - y_imag * sin_vals
- reconstructed_signal = tf.reduce_sum(sinusoids, axis=1)
- loss = tf.reduce_sum(tf.square(x - reconstructed_signal))
- W_gradient = tape.gradient(loss, W_learned)
- W_learned = tf.Variable(W_learned - 0.5 * W_gradient)
- losses.append(loss)
- rmses.append(np.sqrt(np.mean((W_learned - W_expected)**2)))
- Final loss value 4.161919455121241e-22
- Final weights' rmse value 0.20243339269590094
作者用這一模型進行了很多測試，最后得到的權重不像上面的例子中那樣接近傅里葉權值，但是可以看到重建的信號是一致的。
換成輸入振幅和相位試試看呢。
- W_learned = tf.Variable(np.random.random([signal_length, 2 * signal_length]) - 0.5)
- losses = []
- rmses = []
- for i in range(10000):
- x = np.random.random([1, signal_length]) - .5
- with tf.GradientTape() as tape:
- y_pred = tf.matmul(x, W_learned)
- y_real = y_pred[:, 0:signal_length]
- y_imag = y_pred[:, signal_length:]
- amplitudes = tf.sqrt(y_real**2 + y_imag**2) / signal_length
- phases = tf.atan2(y_imag, y_real)
- sinusoids = amplitudes * tf.cos(arg_vals + phases)
- reconstructed_signal = tf.reduce_sum(sinusoids, axis=1)
- loss = tf.reduce_sum(tf.square(x - reconstructed_signal))
- W_gradient = tape.gradient(loss, W_learned)
- W_learned = tf.Variable(W_learned - 0.5 * W_gradient)
- losses.append(loss)
- rmses.append(np.sqrt(np.mean((W_learned - W_expected)**2)))
- Final loss value 2.2379359316633115e-21
- Final weights' rmse value 0.2080118219691059
可以看到，重建信號再次一致；
不過，和此前一樣，輸入振幅和相位最終得到的權值也不完全等同于傅里葉權值(但非常接近)。
由此可以得出結論，雖然最后得到的權重還不是最準確的，但是也能夠獲得局部的最優解。
這樣一來，神經網絡就學會了傅里葉變換！
- 值得一提的是，這個方法目前還有疑問存在：
首先，它沒有解釋計算出的權值和真正的傅里葉權值相差多少；
而且，也沒有說明將傅里葉層放到模型中能帶來哪些益處。
