【深度學習系列】PaddlePaddle可視化之VisualDL
上篇文章我們講了如何對模型進行可視化，用的keras手動繪圖輸出CNN訓練的中途結果，本篇文章將講述如何用PaddlePaddle新開源的VisualDL來進行可視化。在講VisualDL之前，我們先了解一下常用的Tensorflow的可視化工具---Tensorboard。
Tensorflow的可視化
Tensorboard是Tensorflow自帶的可視化模塊，我們可以通過Tensorboard直觀的查看神經網絡的結構，訓練的收斂情況等。要想掌握Tensorboard，我們需要知道一下幾點：
- 支持的數據形式
- 具體的可視化過程
- 如何對一個實例使用Tensorboard
數據形式
（1）標量Scalars
（2）圖片Images
（3）音頻Audio
（4）計算圖Graph
（5）數據分布Distribution
（6）直方圖Histograms
（7）嵌入向量Embeddings
可視化過程
（1）建立一個graph。（2）確定在graph中的不同節點設置summary operations。（3）將(2)中的所有summary operations合并成一個節點，運行合并后的節點。（4）使用tf.summary.FileWriter將運行后輸出的數據都保存到本地磁盤中。（5）運行整個程序，并在命令行輸入運行tensorboard的指令，打開web端可查看可視化的結果
使用Tensorborad的實例
這里我就不講的特別詳細啦，如果用過Tensorflow的同學其實很好理解，只需要在平時寫的程序后面設置summary，tf.summary.scalar記錄標量，tf.summary.histogram記錄數據的直方圖等等，然后正常訓練，***把所有的summary合并成一個節點，存放到一個地址下面，在linux界面輸入一下代碼：
tensorboard --logdir=‘存放的總summary節點的地址’
然后會出現以下信息：
1 Starting TensorBoard 41 on port 6006 2 (You can navigate to http://127.0.1.1:6006)
將http://127.0.1.1:6006在瀏覽器中打開，就可以看到web端的可視化了
具體的參數表示的含義可以參照官網的解釋
MXNet的可視化
MXNet的可視化之前一直使用mx.viz.plot_network來構建一個神經網絡圖，但是后來有一位阿里的同學把tensorboard封裝在了mxnet里，具體可以參照https://github.com/dmlc/tensorboard，可以對照他寫的這篇文章來看Bring TensorBoard to MXNet。
ps：這個功能好像去年年初他們就開始搞了，看到他發的朋友圈才知道沒過幾個月就上線了，真效率，喜歡mxnet的同學可以嘗試一下。
PaddlePaddle的可視化--EventHandler
在PaddlePaddle發布VisualDL之前，我一直是用event_handler來可視化訓練的收斂情況。我找了一段之前寫的一個類里的小代碼來展示如何使用event_handler
1 def start_trainer(self,X_train,Y_train,X_val,Y_val):
2 #獲得訓練器
3 trainer = self.get_trainer()
4
5 result_lists = []
6 def event_handler(event):
7 if isinstance(event, paddle.event.EndIteration):
8 if event.batch_id % 10 == 0:
9 print "\nPass %d, Batch %d, Cost %f, %s" % (
10 event.pass_id, event.batch_id, event.cost, event.metrics)
11 if isinstance(event, paddle.event.EndPass):
12 # 保存訓練好的參數
13 with open('params_pass_%d.tar' % event.pass_id, 'w') as f:
14 parameters.to_tar(f)
15 # feeding = ['x','y']
16 result = trainer.test(
17 reader=val_reader)
18 # feeding=feeding)
19 print "\nTest with Pass %d, %s" % (event.pass_id, result.metrics)
20
21 result_lists.append((event.pass_id, result.cost,
22 result.metrics['classification_error_evaluator']))
23
24 # 開始訓練
25 train_reader = paddle.batch(paddle.reader.shuffle(
26 reador.reader_creator(X_train,Y_train),buf_size=200),
27 batch_size=16)
28
29 val_reader = paddle.batch(paddle.reader.shuffle(
30 reador.reader_creator(X_val,Y_val),buf_size=200),
31 batch_size=16)
32
33 trainer.train(reader=train_reader,num_passes=20,event_handler=event_handler)
34
35 #找到訓練誤差最小的一次結果
36 best = sorted(result_lists, key=lambda list: float(list[1]))[0]
37 print 'Best pass is %s, testing Avgcost is %s' % (best[0], best[1])
38 print 'The classification accuracy is %.2f%%' % (100 - float(best[2]) * 100)
trainer = self.get_trainer()不用管，因為之前寫的一個函數叫get_trainer，你可以先定義trainer，然后放在這里，后面設一個空列表存放每次訓練的結果，我這個代碼里叫result_lists，然后定義event_handler函數，在開始訓練，這樣每次訓練的結果都會傳入result_lists這個列表里面，***進行排序，把***結果放到best里，輸出就可以。***用event_handler_plot畫圖，輸出如下收斂的圖：
但是這樣不能觀察到神經網絡在訓練過程中的每個神經元的具體變化情況，不如tensorboard的功能多，只能看到我們在訓練過程中的loss下降的情況，訓練是否收斂等。
PaddlePaddle的新版可視化工具--VisualDL
大概就在上周，1.16日，PaddlePaddle和Echarts團隊練手打造了VisualDL可視化工具 ，我試用了以后發現和tensorborad的功能好像！簡單說說特性：
- 支持Scaler打點數據展示，可將訓練信息以折線圖的形式展現出來，方便觀察整體趨勢，還能在同一個可視化視圖中呈現多條折線，方便用戶對比分析。
- 支持Image圖片展示可輕松查看數據樣本的質量，也可以方便地查看訓練的中間結果，例如卷積層的輸出或者GAN生成的圖片。
- 支持Histogram參數分布展示功能，方便用戶查看參數矩陣中數值的分布曲線，并隨時觀察參數數值分布的變化趨勢。
- 支持Graph查看深度神經網絡的模型結構。
這樣一看，其實基本上實現了tensorboard的功能，或者應該簡稱“Bring TensorBorad To PaddlePaddle”。不知道博客園怎么放gif，具體的圖片展示就直接看官網吧
總結
總的來說，Tensorboard是一個非常好的可視化工具，mxnet原來只能可視化神經網絡結構圖，paddlepaddle原來只能看loss下降的訓練收斂圖，但是后來mxnet把tensorborad搞進去了，paddlepaddle發布了一個新的工具VisualDL，實現了Tensorborad的功能，還是非常厲害的！大家可以多體驗體驗，這樣就不用像上篇文章手動的去畫每個網絡結果中間的輸出結果圖，直接用VisualDL的Image展示就可以了，更加方便我們理解模型，觀察模型訓練的過程，簡單來說，讓我們不透明的“煉丹術”變得更加透明清楚了~
