首页 > 技术知识 > 正文

本文是使用Python和开源自然语言工具包NLTK进行情感分析系列的第一篇。本文介绍了一些关键的NLP概念,并开始使用自然语言工具包(NLTK)Python库。

我们将简要概述自然语言处理(NLP),介绍用于Python的NLTK,并解释如何使用它解决复杂的NLP问题。

随着社区的发展,会有大量的对话,理解该群体的整体情绪是很难的,但也许更重要的是要理解和识别有用的客户反馈。

我将演示如何开始使用Python和自然语言处理(NLP)(机器学习的一个分支)构建自己的工具,以便根据他们在一个公共论坛上的评论来分析他们的情绪。

我们将从一些关键的NLP概念入门,并开始使用自然语言工具包(NLTK)Python库。

什么是自然语言处理(NLP)?

自然语言处理是人工智能和机器学习的跨学科研究,它涉及到用人类语言对文本做有用的事情。NLP可用于多种应用,如语言之间的翻译、汇总信息、会话机器人和搜索。

语言分析和对话处理需要理解复杂的主题,如形态学、语法和语法结构、语义以及从上下文派生的意义。

基于这一领域的研究,Edward Loper, Steven Bird和Ewan Klein创造了自然语言工具包(NLTK),一个用Python构建NLP应用程序的平台。像NLTK这样的库的要点是,为了构建使用NLP的应用程序,您不需要成为形态学、语法和语义方面的专家,也不必是机器学习方面的专家。

无论是了解人口的政治倾向、特定营销活动的受欢迎程度、投资者信心,还是基于社交媒体的客户情绪,你都可以专注于你最熟悉的领域,让NLTK这样的工具来承担重担。

在本教程中,我将不讨论Python编程基础知识、安装、虚拟环境等等。这里的示例使用Python3.7.5。

开始使用NLTK

NLTK被描述为一个平台,而不仅仅是另一个Python库,因为除了一个模块集合之外,它还包含了许多数据集。这些数据集称为语料库,因为它是关于如何使用语言的知识的集合或主体。

如果尚未安装,则可以通过运行以下命令,使用Python的pip包管理器安装NLTK:

pip install -U nltk

使用NLTK的项目的第一步是导入库。无论您是在代码文件中编写Python,或者正在使用其他的工具,您可以运行如下内容:

import nltk

接下来,使用download()方法扩展可供您使用的语料库。当不提供任何参数时,这将打开一个用户界面,您可以在其中选择一个单独的扩展或下载整个集合。

在这个例子中,我们需要下载Punkt,Punkt是一种经过预先训练的英语标记器,它将文本分成句子和单词列表。它是由一种算法建立起来的,用来模拟缩写、搭配和开始句子的单词。

nltk.download(punkt)

一旦下载完毕,您就可以使用它了。下面是一个使用Punkt记号器提取句子成分的示例。

import nltk sentence = “A long time ago in a galaxy far, far away…” tokens = nltk.word_tokenize(sentence) print(tokens)

此代码的输出如下所示:

[A, long, time, ago, in, a, galaxy, far, ,, far, away, …]

您可以使用基本的Python来做类似的事情。split()方法,但是要考虑到所有的变体,您最终编写的代码要比这一次完成的代码多得多。nltk.word_tokenize(sentence)打电话。

下一章

在本文中,我们向您介绍了自然语言处理中的一些基本概念和用于NLP、NLTK的Python库。

为了构建比读和写字符串更重要的应用程序,下一章是探索如何分析文本。

猜你喜欢