Looking for nltk Answers? Try Ask4KnowledgeBase
Looking for nltk Keywords? Try Ask4Keywords

nltkTokenización


Introducción

Se refiere a la división de oraciones y palabras del cuerpo del texto en tokens de oraciones o tokens de palabras respectivamente. Es una parte esencial de la PNL, ya que muchos módulos funcionan mejor (o solo) con etiquetas. Por ejemplo, pos_tag necesita etiquetas como entrada y no palabras, para etiquetarlas por partes del habla.

Tokenización Ejemplos relacionados