Author Archive

詞幹提取和詞形還原是英文語料預處理中的重要環節。雖然他們的目的一致，但是兩者還是存在一些差異。

本文將介紹他們的概念、異同、實現演算法等。

想要了解更多 NLP 相關的內容，請訪問  NLP專題 ，免費提供59頁的NLP文檔下載。

訪問 NLP 專題，下載 59 頁免費 PDF

詞幹提取和詞形還原在 NLP 中在什麼位置？

詞幹提取是英文語料預處理的一個步驟（中文並不需要），而語料預處理是 NLP 的第一步，下面這張圖將讓大家知道詞幹提取在這個知識結構中的位置。

什麼是詞幹提取和詞形還原？

詞幹提取 – Stemming

詞幹提取是去除單詞的前後綴得到詞根的過程。

大家常見的前後詞綴有「名詞的複數」、「進行式」、「過去分詞」…

詞形還原 – Lemmatisation

詞形還原是基於詞典，將單詞的複雜形態轉變成最基礎的形態。

詞形還原不是簡單地將前後綴去掉，而是會根據詞典將單詞進行轉換。比如「drove」會轉換為「drive」。

為什麼要做詞幹提取和詞形還原？

比如當我搜索「play basketball」時，Bob is playing basketball 也符合我的要求，，但是 play 和 playing 對於計算機來說是 2 種完全不同的東西，所以我們需要將 playing 轉換成 play。

詞幹提取和詞形還原的目的就是將長相不同，但是含義相同的詞統一起來，這樣方便後續的處理和分析。

詞幹提取和詞形還原的 4 個相似點

1. 目標一致。詞幹提取和詞形還原的目標均為將詞的屈折形態或派生形態簡化或歸併為詞幹（stem）或原形的基礎形式，都是一種對詞的不同形態的統一歸併的過程。
2. 結果部分交叉。詞幹提取和詞形還原不是互斥關係，其結果是有部分交叉的。一部分詞利用這兩類方法都能達到相同的詞形轉換效果。如「dogs」的詞幹為「dog」，其原形也為「dog」。
3. 主流實現方法類似。目前實現詞幹提取和詞形還原的主流實現方法均是利用語言中存在的規則或利用詞典映射提取詞幹或獲得詞的原形。
4. 應用領域相似。主要應用於信息檢索和文本、自然語言處理等方面，二者均是這些應用的基本步驟。

詞幹提取和詞形還原的 5 個不同點

1. 在原理上，詞幹提取主要是採用「縮減」的方法，將詞轉換為詞幹，如將「cats」處理為「cat」，將「effective」處理為「effect」。而詞形還原主要採用「轉變」的方法，將詞轉變為其原形，如將「drove」處理為「drive」，將「driving」處理為「drive」。
2. 在複雜性上，詞幹提取方法相對簡單，詞形還原則需要返回詞的原形，需要對詞形進行分析，不僅要進行詞綴的轉化，還要進行詞性識別，區分相同詞形但原形不同的詞的差別。詞性標註的準確率也直接影響詞形還原的準確率，因此，詞形還原更為複雜。
3. 在實現方法上，雖然詞幹提取和詞形還原實現的主流方法類似，但二者在具體實現上各有側重。詞幹提取的實現方法主要利用規則變化進行詞綴的去除和縮減，從而達到詞的簡化效果。詞形還原則相對較複雜，有複雜的形態變化，單純依據規則無法很好地完成。其更依賴於詞典，進行詞形變化和原形的映射，生成詞典中的有效詞。
4. 在結果上，詞幹提取和詞形還原也有部分區別。詞幹提取的結果可能並不是完整的、具有意義的詞，而只是詞的一部分，如「revival」詞幹提取的結果為「reviv」，「ailiner」詞幹提取的結果為「airlin」。而經詞形還原處理後獲得的結果是具有一定意義的、完整的詞，一般為詞典中的有效詞。
5. 在應用領域上，同樣各有側重。雖然二者均被應用於信息檢索和文本處理中，但側重不同。詞幹提取更多被應用於信息檢索領域，如Solr、Lucene等，用於擴展檢索，粒度較粗。詞形還原更主要被應用於文本挖掘、自然語言處理，用於更細粒度、更為準確的文本分析和表達

3 種主流的詞幹提取演算法

Porter

這種詞幹演算法比較舊。它是從20世紀80年代開始的，其主要關注點是刪除單詞的共同結尾，以便將它們解析為通用形式。它不是太複雜，它的開發停止了。

通常情況下，它是一個很好的起始基本詞幹分析器，但並不建議將它用於複雜的應用。相反，它在研究中作為一種很好的基本詞幹演算法，可以保證重複性。與其他演算法相比，它也是一種非常溫和的詞幹演算法。

「推薦」Snowball

種演算法也稱為 Porter2 詞幹演算法。它幾乎被普遍認為比 Porter 更好，甚至發明 Porter 的開發者也這麼認為。Snowball 在 Porter 的基礎上加了很多優化。Snowball 與 Porter 相比差異約為5％。

Lancaster

Lancaster 的演算法比較激進，有時候會處理成一些比較奇怪的單詞。如果在 NLTK 中使用詞幹分析器，則可以非常輕鬆地將自己的自定義規則添加到此演算法中。

詞形還原的實踐方法

詞形還原是基於詞典的，每種語言都需要經過語義分析、詞性標註來建立完整的詞庫，目前英文詞庫是很完善的。

Python 中的 NLTK 庫包含英語單詞的辭彙資料庫。這些單詞基於它們的語義關係鏈接在一起。鏈接取決於單詞的含義。特別是，我們可以利用 WordNet。

import nltk
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize("blogs"))
#Returns blogimport nltk
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print(lemmatizer.lemmatize("blogs"))
#Returns blog

總結

詞幹提取和詞形還原都是將長相不同，但是含義相同的詞統一起來，這樣方便後續的處理和分析。

他們是英文語料預處理中的一個環節。

詞幹提取和詞形還原的 4 個相似點：

1. 目標一致
2. 部分結果一致
3. 主流實現方式類似
4. 應用領域相似

詞幹提取和詞形還原的 5 個不同點：

1. 原理上不同
2. 詞形還原更加複雜
3. 具體實現方式的側重點不同
4. 呈現結果有區別
5. 應用領域上，側重點不完全一致

3 種詞幹提取的主流演算法：

1. Porter
2. Snowball
3. Lancaster

英文的詞形還原可以直接使用 Python 中的 NLTK 庫，它包含英語單詞的辭彙資料庫。

百度百科+維基百科

詞幹提取

詞形還原