備考

バージョン

基本条項

コーパス

テキストの本文、単数形。コーパスはこれの複数形です。例：医学雑誌のコレクション。

レキシコン

言葉とその意味例：英語の辞書。しかし、さまざまなフィールドには異なる辞書があると考えてください。たとえば、金融投資家にとって、「ブル」という単語の最初の意味は、「ブル」という単語の最初の意味が動物である一般的な英語辞典と比較して、市場について自信を持っている人です。このように、金融投資家、医者、子供、メカニックなどのための特別なレキシコンがあります。

トークン

ルールに基づいて分割されたものの一部である各「エンティティ」。例として、各単語は、文が単語に「トークン化」されたときのトークンです。段落から文章をトークン化した場合は、各文章をトークンにすることもできます。

インストールまたはセットアップ

NLTKは必要とPython バージョン2.7または3.4+を 。

これらの命令は、 python バージョン3.5

---

• Mac / Unix：

  1. NLTKをインストールする： sudo pip install -U nltk 実行sudo pip install -U nltk
  2. Numpyをインストールする（オプション）： sudo pip install -U numpy 実行sudo pip install -U numpy
  3. テストインストール： python を実行し、 import nltk 入力します。

  注：Pythonの古いバージョンでは、setuptools（ http://pypi.python.org/pypi/setuptoolsを参照）をインストールし、pip（sudo easy_install pip）をインストールする必要があります。

---

• Windows：

  これらの手順では、マシンにPythonがインストールされていないことを前提としています。

  32ビットバイナリインストール

  1. Python 3.5をインストールする： http : //www.python.org/downloads/ （64ビット版を避ける）
  2. Numpyをインストールする（オプション）： http ://sourceforge.net/projects/numpy/files/NumPy/（pythnon3.5を指定するバージョン）
  3. NLTKをインストールする： http ://pypi.python.org/pypi/nltk
  4. インストールをテストします： Start>Python35 と入力し、 import nltk

---

• サードパーティ製ソフトウェアのインストール：

  ご覧ください： https : //github.com/nltk/nltk/wiki/Installing-Third-Party-Software

---

リファレンス： http : //www.nltk.org/install.html

CondaとのNLTKインストール。

Continuumのanaconda / conda をインストールするには

Anacondaを使用している場合は、おそらくnltkがすでにルートにダウンロードされている可能性があります（ただし、手動でさまざまなパッケージをダウンロードする必要があります）。

conda をconda ：

conda install nltk 
 

nltk を使用してconda をアップグレードするには：

conda update nltk
 

anaconda ：

anacondaで複数のpython環境を使用している場合は、最初にnltkをインストールする環境を有効にします。コマンドを使用してアクティブな環境を確認することができます

conda info --envs
 

ディレクトリパスの前にある*記号の付いた環境がアクティブな環境です。アクティブな環境を変更するには

activate <python_version>
for eg. activate python3.5
 

この環境にインストールされているパッケージのリストを、commnadを使って確認してください

conda list
 

リスト内で「nltk」が見つからない場合は、

conda install -c anaconda nltk=3.2.1
 

詳細については、 https://anaconda.org/anaconda/nltkを参照してください 。

---

mini-conda aka conda をインストールするには： http : conda

anaconda をインストールするには： https : //docs.continuum.io/anaconda/install

NLTKのダウンロード機能

あなたはpip （ pip install nltk ）の上にNLTKをインストールすることができます。インストール後、多くのコンポーネントは存在せず、NLTKの機能のいくつかを使用することはできません。

Pythonシェルから、 ntlk.download() 関数を実行して、UIを使用してインストールする追加パッケージを選択します。あるいは、 python -m nltk.downloader [package_name] 使用することもできます。

---

• 利用可能なすべてのパッケージをダウンロードする。

nltk.download('all')
 

---

• 特定のパッケージをダウンロードする。

nltk.download('package-name')
 

---

• 特定のフォルダのすべてのパッケージをダウンロードする。

import nltk

dwlr = nltk.downloader.Downloader()

# chunkers, corpora, grammars, help, misc, 
# models, sentiment, stemmers, taggers, tokenizers
for pkg in dwlr.packages():
    if pkg.subdir== 'taggers':
        dwlr.download(pkg.id)
 

---

• Corpora Folder以外のすべてのパッケージをダウンロードする。

import nltk

dwlr = nltk.downloader.Downloader()

for pkg in dwlr.corpora():
    dwlr._status_cache[pkg.id] = 'installed'

dwlr.download('all')
 

NLTK

NLTK（特に、 nltk.tokenize パッケージ）を使用して文境界検出を実行することができます。

import nltk
text = "This is a test. Let's try this sentence boundary detector."
text_output = nltk.tokenize.sent_tokenize(text)
print('text_output: {0}'.format(text_output))
 

出力：

text_output: ['This is a test.', "Let's try this sentence boundary detector."]