如果你想在翻譯任務上測試一個新的體系結構，比如在自定義數據集上訓練一個新的標記，那么處理起來會很麻煩，所以在本文中，我將介紹添加新標記的預處理步驟，并介紹如何進行模型微調。
因為Huggingface Hub有很多預訓練過的模型，可以很容易地找到預訓練標記器。但是我們要添加一個標記可能就會有些棘手，下面我們來完整的介紹如何實現它，首先加載和預處理數據集。
加載數據集
我們使用WMT16數據集及其羅馬尼亞語-英語子集。load_dataset()函數將從Huggingface下載并加載任何可用的數據集。
import datasets
dataset = datasets.load_dataset("stas/wmt16-en-ro-pre-processed", cache_dir="./wmt16-en_ro")
在上圖1中可以看到數據集內容。我們需要將其“壓平”，這樣可以更好的訪問數據，讓后將其保存到硬盤中。
def flatten(batch):
batch['en'] = batch['translation']['en']
batch['ro'] = batch['translation']['ro']
return batch
# Map the 'flatten' function
train = dataset['train'].map( flatten )
test = dataset['test'].map( flatten )
validation = dataset['validation'].map( flatten )
# Save to disk
train.save_to_disk("./dataset/train")
test.save_to_disk("./dataset/test")
validation.save_to_disk("./dataset/validation")
下圖2可以看到，已經從數據集中刪除了“translation”維度。
標記器
標記器提供了訓練標記器所需的所有工作。它由四個基本組成部分:(但這四個部分不是所有的都是必要的)
Models:標記器將如何分解每個單詞。例如，給定單詞“playing”:i) BPE模型將其分解為“play”+“ing”兩個標記，ii) WordLevel將其視為一個標記。
Normalizers:需要在文本上發生的一些轉換。有一些過濾器可以更改Unicode、小寫字母或刪除內容。
Pre-Tokenizers:為操作文本提供更大靈活性處理的函數。例如，如何處理數字。數字100應該被認為是“100”還是“1”、“0”、“0”?
Post-Processors:后處理具體情況取決于預訓練模型的選擇。例如，將 [BOS]（句首）或 [EOS]（句尾）標記添加到 BERT 輸入。
下面的代碼使用BPE模型、小寫Normalizers和空白Pre-Tokenizers。然后用默認值初始化訓練器對象，主要包括
1、詞匯量大小使用50265以與BART的英語標記器一致
2、特殊標記，如<s>和<pad>，
3、初始詞匯量，這是每個模型啟動過程的預定義列表。
from tokenizers import normalizers, pre_tokenizers, Tokenizer, models, trainers
# Build a tokenizer
bpe_tokenizer = Tokenizer(models.BPE())
bpe_tokenizer.normalizer = normalizers.Lowercase()
bpe_tokenizer.pre_tokenizer = pre_tokenizers.Whitespace()
trainer = trainers.BpeTrainer(
vocab_size=50265,
special_tokens=["<s>", "<pad>", "</s>", "<unk>", "<mask>"],
initial_alphabet=pre_tokenizers.ByteLevel.alphabet(),
)
使用Huggingface的最后一步是連接Trainer和BPE模型，并傳遞數據集。根據數據的來源，可以使用不同的訓練函數。我們將使用train_from_iterator()。
def batch_iterator():
batch_length = 1000
for i in range(0, len(train), batch_length):
yield train[i : i + batch_length]["ro"]
bpe_tokenizer.train_from_iterator( batch_iterator(), length=len(train), trainer=trainer )
bpe_tokenizer.save("./ro_tokenizer.json")
BART微調
現在可以使用使用新的標記器了。
from transformers import AutoTokenizer, PreTrainedTokenizerFast
en_tokenizer = AutoTokenizer.from_pretrained( "facebook/bart-base" );
ro_tokenizer = PreTrainedTokenizerFast.from_pretrained( "./ro_tokenizer.json" );
ro_tokenizer.pad_token = en_tokenizer.pad_token
def tokenize_dataset(sample):
input = en_tokenizer(sample['en'], padding='max_length', max_length=120, truncation=True)
label = ro_tokenizer(sample['ro'], padding='max_length', max_length=120, truncation=True)
input["decoder_input_ids"] = label["input_ids"]
input["decoder_attention_mask"] = label["attention_mask"]
input["labels"] = label["input_ids"]
return input
train_tokenized = train.map(tokenize_dataset, batched=True)
test_tokenized = test.map(tokenize_dataset, batched=True)
validation_tokenized = validation.map(tokenize_dataset, batched=True)
上面代碼的第5行，為羅馬尼亞語的標記器設置填充標記是非常必要的。因為它將在第9行使用，標記器使用填充可以使所有輸入都具有相同的大小。
下面就是訓練的過程:
from transformers import BartForConditionalGeneration
from transformers import Seq2SeqTrainingArguments, Seq2SeqTrainer
model = BartForConditionalGeneration.from_pretrained( "facebook/bart-base" )
training_args = Seq2SeqTrainingArguments(
output_dir="./",
evaluation_strategy="steps",
per_device_train_batch_size=2,
per_device_eval_batch_size=2,
predict_with_generate=True,
logging_steps=2, # set to 1000 for full training
save_steps=64, # set to 500 for full training
eval_steps=64, # set to 8000 for full training
warmup_steps=1, # set to 2000 for full training
max_steps=128, # delete for full training
overwrite_output_dir=True,
save_total_limit=3,
fp16=False, # True if GPU
)
trainer = Seq2SeqTrainer(
model=model,
args=training_args,
train_dataset=train_tokenized,
eval_dataset=validation_tokenized,
)
trainer.train()
過程也非常簡單，加載bart基礎模型(第4行)，設置訓練參數(第6行)，使用Trainer對象綁定所有內容(第22行)，并啟動流程(第29行)。上述超參數都是測試目的，所以如果要得到最好的結果還需要進行超參數的設置，我們使用這些參數是可以運行的。
推理
推理過程也很簡單，加載經過微調的模型并使用generate()方法進行轉換就可以了，但是需要注意的是對源 (En) 和目標 (RO) 序列使用適當的分詞器。
總結
雖然在使用自然語言處理(NLP)時，標記化似乎是一個基本操作，但它是一個不應忽視的關鍵步驟。HuggingFace的出現可以方便的讓我們使用，這使得我們很容易忘記標記化的基本原理，而僅僅依賴預先訓練好的模型。但是當我們希望自己訓練新模型時，了解標記化過程及其對下游任務的影響是必不可少的，所以熟悉和掌握這個基本的操作是非常有必要的。
本文代碼：https://github.com/AlaFalaki/tutorial_notebooks/blob/main/translation/hf_bart_translation.ipynb
