本教程的目標是讓您能夠通過自然語言處理 (NLP) 的概念在 Python 中分析文本數據。您將首先學習如何將文本標記為更小的塊，將單詞規范化為其根形式，然后去除文檔中的任何噪音，為進一步分析做好準備。

[[434759]]

讓我們開始吧!

先決條件

在本教程中，我們將使用 Python 的nltk庫對文本執行所有 NLP 操作。在撰寫本教程時，我們使用的是 3.4 版的nltk. 要安裝庫，您可以pip在終端上使用命令：

 

pip install nltk==3.4 

要檢查系統中的版本nltk，您可以將庫導入 Python 解釋器并檢查版本：

 

import nltk  
print(nltk.__version__) 

 

要執行nltk本教程中的某些操作，您可能需要下載特定資源。我們將在需要時描述每個資源。

但是，如果您想避免在本教程后面下載單個資源并立即獲取它們，請運行以下命令：

python -m nltk.downloader all 

第 1 步：轉換為代幣

計算機系統本身無法在自然語言中找到意義。處理自然語言的第一步是將原始文本轉換為標記。甲令牌是連續字符的組合，具有一定的意義。由您決定如何將句子分解為標記。例如，一個簡單的方法是用空格分割一個句子，將其分解為單個單詞。

在 NLTK 庫中，您可以使用該word_tokenize()函數將字符串轉換為標記。但是，您首先需要下載punkt資源。在終端中運行以下命令：

 

nltk.download('punkt') 

接下來，您需要導入word_tokenizefromnltk.tokenize才能使用它：

 

from nltk.tokenize import word_tokenize 
print(word_tokenize("Hi, this is a nice hotel.")) 

 

代碼的輸出如下：

 

['Hi', ',', 'this', 'is', 'a', 'nice', 'hotel', '.'] 

您會注意到，word_tokenize它不僅僅基于空格拆分字符串，還將標點符號拆分為標記。如果您想在分析中保留標點符號，這取決于您。

第 2 步：將單詞轉換為其基本形式

在處理自然語言時，您經常會注意到同一個詞有多種語法形式。例如，“go”、“going”和“gone”是同一個動詞“go”的形式。

雖然您的項目的必要性可能要求您保留各種語法形式的單詞，但讓我們討論一種將同一單詞的各種語法形式轉換為其基本形式的方法。有兩種技術可用于將單詞轉換為其基詞。

第一種技術是詞干。Stemming是一種簡單的算法，可以從單詞中刪除詞綴。有多種詞干提取算法可用于 NLTK。我們將在本教程中使用 Porter 算法。

我們首先PorterStemmer從nltk.stem.porter. 接下來，我們將詞干分析器初始化為stemmer變量，然后使用該.stem()方法查找單詞的基本形式：

 

from nltk.stem.porter import PorterStemmer  
stemmer = PorterStemmer() 
print(stemmer.stem("going")) 

 

上面代碼的輸出是go. 如果您針對上述其他形式的“go”運行詞干分析器，您會注意到詞干分析器返回相同的基本形式“go”。然而，由于詞干提取只是一種基于去除詞綴的簡單算法，當詞在語言中不太常用時，它會失敗。

例如，當您在單詞“constitutes”上嘗試詞干分析時，它給出了一個不直觀的結果：

 

print(stemmer.stem("constitutes")) 

你會注意到輸出是“constitut”。

這個問題可以通過使用更復雜的方法來解決，以在給定的上下文中找到單詞的基本形式。該過程稱為詞形還原。詞形還原根據文本的上下文和詞匯對單詞進行規范化。在 NLTK 中，您可以使用WordNetLemmatizer類對句子進行詞形還原。

首先，您需要wordnet從 Python 終端中的 NLTK 下載器下載資源：

 

nltk.download('wordnet') 

下載后，您需要導入WordNetLemmatizer該類并對其進行初始化：

 

from nltk.stem.wordnet import WordNetLemmatizer  
lem = WordNetLemmatizer() 

 

要使用 lemmatizer，請使用.lemmatize()方法。它需要兩個參數：單詞和上下文。在我們的示例中，我們將使用“v”作為上下文。在查看該.lemmatize()方法的輸出后，讓我們進一步探索上下文：

 

print(lem.lemmatize('constitutes', 'v')) 

您會注意到該.lemmatize()方法正確地將單詞“constitutes”轉換為其基本形式“constitute”。您還會注意到詞形還原比詞干提取花費的時間更長，因為算法更復雜。

讓我們檢查如何以.lemmatize()編程方式確定方法的第二個參數。NLTK 具有pos_tag()幫助確定句子中單詞上下文的功能。但是，您首先需要

averaged_perceptron_tagger通過 NLTK 下載器下載資源：

 

nltk.download('averaged_perceptron_tagger') 

接下來，導入pos_tag()函數并在一個句子上運行它：

 

from nltk.tag import pos_tag 
sample = "Hi, this is a nice hotel." 
print(pos_tag(word_tokenize(sample))) 

 

您會注意到輸出是一個對列表。每對由一個標記及其標記組成，它表示整個文本中標記的上下文。請注意，標點符號的標簽本身就是：

 

[('Hi', 'NNP'), 
(',', ','), 
('this', 'DT'), 
('is', 'VBZ'), 
('a', 'DT'), 
('nice', 'JJ'), 
('hotel', 'NN'), 
('.', '.')] 

 

你如何解碼每個令牌的上下文?這是Web 上所有標簽及其相應含義的完整列表。請注意，所有名詞的標簽都以“N”開頭，所有動詞的標簽都以“V”開頭。我們可以在方法的第二個參數中使用此信息.lemmatize()：

 

def lemmatize_tokens(stentence): 
  lemmatizer = WordNetLemmatizer() 
  lemmatized_tokens = [] 
  for word, tag in pos_tag(stentence): 
    if tag.startswith('NN'): 
      pos = 'n' 
    elif tag.startswith('VB'): 
      pos = 'v' 
    else: 
      pos = 'a' 
    lemmatized_tokens.append(lemmatizer.lemmatize(word, pos)) 
  return lemmatized_tokens 
 
sample = "Legal authority constitutes all magistrates." 
print(lemmatize_tokens(word_tokenize(sample))) 

 

上面代碼的輸出如下：

 

['Legal', 'authority', 'constitute', 'all', 'magistrate', '.'] 

此輸出是預期的，其中“constitutes”和“magistrates”已分別轉換為“constitute”和“magistrate”。

第 3 步：數據清理

準備數據的下一步是清理數據并刪除任何對您的分析沒有意義的內容。從廣義上講，我們將考慮從您的分析中刪除標點符號和停用詞。

刪除標點符號是一項相當容易的任務。該庫的punctuation對象string包含所有英文標點符號：

 

import string 
print(string.punctuation) 

 

此代碼片段的輸出如下：

 

'!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~' 

為了從標記中刪除標點符號，您可以簡單地運行：

 

for token in tokens: 
  if token in string.punctuation: 
    # Do something 

 

接下來，我們將專注于刪除停用詞。停用詞是語言中常用的詞，如“I”、“a”和“the”，在分析文本時對文本幾乎沒有意義。因此，我們將從分析中刪除停用詞。首先，stopwords從 NLTK 下載器下載資源：

 

nltk.download('stopwords') 

一旦下載完成后，進口stopwords從nltk.corpus和使用.words()方法與“英語”作為參數。這是一個包含 179 個英語停用詞的列表：

 

from nltk.corpus import stopwords 
stop_words = stopwords.words('english') 

 

我們可以將詞形還原示例與本節中討論的概念結合起來創建以下函數，clean_data()。此外，在比較一個詞是否是停用詞列表的一部分之前，我們將其轉換為小寫。這樣，如果停止詞出現在句子的開頭并且大寫，我們仍然會捕獲它：

 

def clean_data(tokens, stop_words = ()): 
 
  cleaned_tokens = [] 
 
  for token, tag in pos_tag(tokens): 
    if tag.startswith("NN"): 
      pos = 'n' 
    elif tag.startswith('VB'): 
      pos = 'v' 
    else: 
      pos = 'a' 
 
    lemmatizer = WordNetLemmatizer() 
    token = lemmatizer.lemmatize(token, pos) 
 
    if token not in string.punctuation and token.lower() not in stop_words: 
      cleaned_tokens.append(token) 
  return cleaned_tokens 
 
sample = "The quick brown fox jumps over the lazy dog." 
stop_words = stopwords.words('english') 
 
clean_data(word_tokenize(sample), stop_words) 

 

該示例的輸出如下：

 

['quick', 'brown', 'fox', 'jump', 'lazy', 'dog'] 

如您所見，標點符號和停用詞已被刪除。

詞頻分布

現在您已經熟悉了 NLP 中的基本清理技術，讓我們嘗試找出文本中單詞的頻率。在本練習中，我們將使用古騰堡免費提供的童話故事《老鼠、鳥和香腸》的文本。我們將這個童話的文本存儲在一個字符串中，text。

首先，我們text對它進行標記，然后使用clean_data我們上面定義的函數對其進行清理：

 

tokens = word_tokenize(text) 
cleaned_tokens = clean_data(tokens, stop_words = stop_words) 

 

要查找文本中單詞的頻率分布，您可以使用FreqDistNLTK 類。使用令牌作為參數初始化類。然后使用該.most_common()方法查找常見的術語。在這種情況下，讓我們嘗試找出前十項：

 

from nltk import FreqDist 
 
freq_dist = FreqDist(cleaned_tokens) 
freq_dist.most_common(10) 

 

以下是這個童話故事中最常見的十個術語：

 

[('bird', 15), 
('sausage', 11), 
('mouse', 8), 
('wood', 7), 
('time', 6), 
('long', 5), 
('make', 5), 
('fly', 4), 
('fetch', 4), 
('water', 4)] 

 

不出所料，三個最常見的詞是童話故事中的三個主要人物。

在分析文本時，單詞的頻率可能不是很重要。通常，NLP 的下一步是生成一個統計數據——TF-IDF(詞頻——逆文檔頻率)——它表示一個單詞在文檔列表中的重要性。

結論

在本教程中，我們首先了解了 Python 中的自然語言處理。我們將文本轉換為標記，將單詞轉換為它們的基本形式，最后，清理文本以刪除任何對分析沒有意義的部分。

盡管我們在本教程中研究了簡單的 NLP 任務，但還有更多技術需要探索。例如，我們可能想要對文本數據執行主題建模，其目標是找到文本可能正在談論的共同主題。NLP 中更復雜的任務是實現情感分析模型，以確定任何文本背后的感覺。