“ 超參數(shù)是指由開發(fā)者設(shè)置的參數(shù)，而不是由模型訓(xùn)練得到的參數(shù)”

對了解過機(jī)器學(xué)習(xí)模型的人來說，應(yīng)該都知道模型訓(xùn)練的過程就是不斷調(diào)整模型參數(shù)的過程。調(diào)整方式就是通過正反向傳播以及損失差的計(jì)算和優(yōu)化器對參數(shù)進(jìn)行調(diào)整，不懂得可以看一下文章大模型的參數(shù)什么。

而超參數(shù)又是什么呢?今天就來介紹一下超參數(shù)。

01、什么是超參數(shù)?

用一句話來說，超參數(shù)就是模型開發(fā)者設(shè)置的參數(shù)，而不是由模型通過訓(xùn)練學(xué)習(xí)到的參數(shù)。

怎么理解這句話呢?

先來說一下模型的參數(shù)，現(xiàn)在說大模型都是有多少多少參數(shù)，比如chatGLM-6B就是具有六十多億參數(shù)的模型，而chatGPT4傳說有一百多萬億個參數(shù)。

而我們平常說的大模型的大就是指參數(shù)量大，從實(shí)驗(yàn)結(jié)果來看參數(shù)量越大效果越好。因此，現(xiàn)在很多大企業(yè)開發(fā)大模型都在追求大參數(shù)量模型。比如，openAI，谷歌，meta和國內(nèi)的阿里，百度等企業(yè)。

而模型參數(shù)指的是神經(jīng)網(wǎng)絡(luò)的參數(shù)，是可以通過訓(xùn)練數(shù)據(jù)訓(xùn)練調(diào)整的參數(shù)，最典型的兩個就是權(quán)重(W)和偏置(B)，這些參數(shù)值剛開始是隨機(jī)初始化，然后通過訓(xùn)練數(shù)據(jù)不斷的調(diào)整，最后獲得一個最優(yōu)解。

那超參數(shù)又是什么?

現(xiàn)在再來看開頭那句話應(yīng)該就明白了，模型參數(shù)是可以訓(xùn)練得到的;但有些參數(shù)是需要開發(fā)者設(shè)定的，然后又不能通過訓(xùn)練獲得，這部分參數(shù)就是超參數(shù)，超也可以理解為人為設(shè)置的意思。

超參數(shù)有哪些?

超參數(shù)其實(shí)也有很多，根據(jù)不同的模型架構(gòu)設(shè)計(jì)，超參數(shù)也會有所不同;但常見的超參數(shù)有訓(xùn)練次數(shù)(epochs)，批次大小(batch_size)，學(xué)習(xí)率(lr)，隱藏層數(shù)量和大小(隱藏層數(shù)量是指神經(jīng)網(wǎng)絡(luò)的層數(shù)，大小是指每層神經(jīng)網(wǎng)絡(luò)的神經(jīng)元數(shù)量，具體可以看神經(jīng)網(wǎng)絡(luò)內(nèi)部原理解析)，損失函數(shù)，優(yōu)化器，以及正則化參數(shù)，丟棄率等都屬于超參數(shù)。

02、超參數(shù)的作用是什么?

前面介紹了超參數(shù)以及常見的超參數(shù)，這里就來介紹一下超參數(shù)的作用。

簡單來說，超參數(shù)的作用就是怎么訓(xùn)練模型，以及怎么把模型訓(xùn)練的更好，具體來說就是模型的性能和泛化能力。

就拿訓(xùn)練次數(shù)——epochs來說，這個參數(shù)的作用是模型在當(dāng)前數(shù)據(jù)集上訓(xùn)練多少次。

舉例來說，我們上學(xué)時一章新內(nèi)容或題目，老師基本上都會講好幾遍，這個好幾遍就是epochs。epochs具體的值根據(jù)不同的網(wǎng)絡(luò)模型，以及訓(xùn)練數(shù)據(jù)會有所不同，大部分都是在10到幾百之間。

而批次大小參數(shù)——batch_size的作用就是，訓(xùn)練時每次加載多少數(shù)據(jù)，一般是8的倍數(shù)。batch_size值越大，訓(xùn)練的批次數(shù)越少，梯度下降越快，但對硬件要求會更高，誤差也可能會更大。

模型訓(xùn)練代碼，超參數(shù)設(shè)置簡略代碼

# 設(shè)置訓(xùn)練網(wǎng)絡(luò)的參數(shù)

# 記錄訓(xùn)練次數(shù)
total_train_step = 0

# 記錄測試次數(shù)
total_test_step = 0

# 訓(xùn)練的輪數(shù)
epoch = 10

for i in range(epoch):
    print("第{}輪訓(xùn)練開始".format(i+1))
    for data in train_dataloader:
        # 獲取訓(xùn)練數(shù)據(jù)和標(biāo)簽
        imgs, targets = data

        # 神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行處理
        outputs = myNn(imgs)

        # 計(jì)算損失值 監(jiān)督學(xué)習(xí) 使用神經(jīng)網(wǎng)絡(luò)處理結(jié)果與標(biāo)簽做對比，計(jì)算損失差
        loss = loss_fn(outputs, targets)

        optimizer.zero_grad()

        # 反向傳播
        loss.backward()
        # 優(yōu)化器優(yōu)化
        optimizer.step()

        total_train_step = total_train_step + 1
        print("訓(xùn)練次數(shù): {}, Loss: {}".format(total_train_step, loss))

學(xué)習(xí)率——lr是更新權(quán)重時的步長，它影響著目標(biāo)函數(shù)是否能收斂到局部最小;學(xué)習(xí)率大可能會導(dǎo)致?lián)p失震蕩，甚至是無法擬合。

而學(xué)習(xí)率太小又可能會導(dǎo)致過擬合，收斂速度過慢的問題。所謂的震蕩就是損失函數(shù)的值可能不是慢慢減小，而是一會大一會小。

假如你在訓(xùn)練的時候發(fā)現(xiàn)損失值出現(xiàn)這種現(xiàn)象，那么就是學(xué)習(xí)率設(shè)置有問題。

一般情況下，學(xué)習(xí)率都是設(shè)置一個動態(tài)值，比如訓(xùn)練開始時學(xué)習(xí)率比較大，隨著訓(xùn)練慢慢減小。

而隱藏層的數(shù)量和大小，代表著神經(jīng)網(wǎng)絡(luò)的抽象能力，越多的層數(shù)和神經(jīng)元就能表征更復(fù)雜的場景，但過多的隱藏層也會導(dǎo)致神經(jīng)元過于復(fù)雜以及過擬合的問題。

損失函數(shù)和優(yōu)化器又會影響到模型訓(xùn)練的結(jié)果以及優(yōu)化效果。

因此，超參數(shù)也需要根據(jù)不同的模型架構(gòu)設(shè)計(jì)一個合理的參數(shù)值，并且在合適的時機(jī)進(jìn)行適當(dāng)?shù)恼{(diào)整。

本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/EqmK4cxR76dkVm3xGPOg_g??