5个Python库可以帮你轻松的进行自然语言预处理

 自然语言处理是比较广泛的研究领域之一。许多大公司在这个领域投资很大。NLP为公司提供了机会,让他们能够根据消费者的情绪和文本很好地了解他们。NLP的一些最佳用例是检测假电子邮件、对假新闻进行分类、情感分析、预测你的下一个单词、自动更正、聊天机器人、个人助理等等。

为盘锦等地区用户提供了全套网页设计制作服务,及盘锦网站建设行业解决方案。主营业务为成都网站建设、做网站、盘锦网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

解决任何NLP任务前要知道的7个术语

标记:它是将整个文本分割成小标记的过程。占卜是根据句子和单词两个基础来完成的。

 
 
 
  1. text = "Hello there, how are you doing today? The weather is great today. python is awsome"  
  2. ##sentece tokenize (Separated by sentence)  
  3. ['Hello there, how are you doing today?', 'The weather is great today.', 'python is awsome']  
  4. ##word tokenizer (Separated by words)  
  5. ['Hello', 'there', ',', 'how', 'are', 'you', 'doing', 'today', '?', 'The', 'weather', 'is', 'great', 'today', '.','python', 'is', 'awsome'] 

 

停止词:一般来说,这些词不会给句子增加太多的意义。在NLP中,我们删除了所有的停止词,因为它们对分析数据不重要。英语中总共有179个停止词。

词干提取:它是通过去掉后缀和前缀将一个单词还原为词根的过程。

词形还原:它的工作原理与词干法相同,但关键的区别是它返回一个有意义的单词。主要是开发聊天机器人、问答机器人、文本预测等。

WordNet:它是英语语言名词、动词、形容词和副词的词汇数据库或词典,这些词被分组为专门为自然语言处理设计的集合。

词性标注:它是将一个句子转换为一个元组列表的过程。每个元组都有一个形式(单词、标记)。这里的标签表示该单词是名词、形容词还是动词等等。

 
 
 
  1. text = 'An sincerity so extremity he additions.'  
  2. --------------------------------  
  3. ('An', 'DT'), ('sincerity', 'NN'), ('so', 'RB'), ('extremity', 'NN'), ('he', 'PRP'), ('additions', 'VBZ')] 

 

词袋:它是一个将文本转换成某种数字表示的过程。比如独热编码等。

 
 
 
  1. sent1 = he is a good boy  
  2. sent2 = she is a good girl  
  3. |  
  4. |  
  5. girl good boy  
  6. sent1 0 1 1  
  7. sent2 1 0 1 

 

现在,让我们回到我们的主题,看看可以帮助您轻松预处理数据的库。

NLTK

毫无疑问,它是自然语言处理最好和使用最多的库之一。NLTK是自然语言工具包的缩写。由Steven Bird 和Edward Loper开发的。它带有许多内置的模块,用于标记化、词元化、词干化、解析、分块和词性标记。它提供超过50个语料库和词汇资源。

安装:pip install nltk

让我们使用NLTK对给定的文本执行预处理

 
 
 
  1. import nltk 
  2. #nltk.download('punkt') 
  3. from nltk.tokenize import word_tokenize 
  4. from nltk.corpus import stopwords 
  5. from nltk.stem import PorterStemmer 
  6. import re 
  7. ps = PorterStemmer() 
  8. text = 'Hello there,how are you doing today? I am Learning Python.' 
  9. text = re.sub("[^a-zA-Z0-9]"," ",text) 
  10. text = word_tokenize(text) 
  11. text_with_no_stopwords = [ps.stem(word) for word in text if word not in stopwords.words('english')] 
  12. text = " ".join(text_with_no_stopwords) 
  13. text 
  14. -----------------------------------------------OUTPUT------------------------------------ 
  15. 'hello today I learn python' 

 

TextBlob

Textblob是一个简化的文本处理库。它提供了一个简单的API,用于执行常见的NLP任务,如词性标记、情感分析、分类、翻译等。

安装:pip install textblob

spacy

这是python中最好用的自然语言处理库之一,它是用cpython编写的。它提供了一些预训练的统计模型,并支持多达49种以上的语言进行标记化。它以卷积神经网络为特征,用于标记、解析和命名实体识别。

安装:pip install spacy

 
 
 
  1. import spacy 
  2. nlp = spacy.load('en_core_web_sm') 
  3. text = "I am Learning Python Nowdays" 
  4. text2 = nlp(text) 
  5. for token in text2: 
  6. print(token,token.idx) 
  7. ------------------------------OUTPUT----------------------- 
  8. I 0 
  9. am 2 
  10. Learning 5 
  11. Python 14 
  12. Nowdays 21 

 

Gensim

它是一个Python库,专门用于识别两个文档之间的语义相似性。它使用向量空间建模和主题建模工具包来寻找文档之间的相似之处。它是设计用来处理大型文本语料库的算法。

安装:pip install gensim

CoreNLP

Stanford CoreNLP的目标是简化对一段文本应用不同语言工具的过程。这个库运行速度非常快,并且在开发中工作得很好。

安装:pip install stanford-corenlp

文章名称:5个Python库可以帮你轻松的进行自然语言预处理
本文来源:http://www.gawzjz.com/qtweb2/news5/7805.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联