Looking for nlp Keywords? Try Ask4Keywords

nlpN-GRAMS


Einführung

N-GRAMs sind statistische Modelle, die das nächste Wort im Satz unter Verwendung der vorherigen n-1 Wörter vorhersagen. Diese Art von statistischen Modellen, die Wortsequenzen verwenden, werden auch Sprachmodelle genannt. Zum Beispiel haben wir den Satz "Ich kann nicht lesen, ohne dass ich _____ gelesen habe". Wir können sagen, dass das nächstwichtigste Wort "Brille" ist. N-GRAMS sagt das nächste Wort in der Folge unter Verwendung der bedingten Wahrscheinlichkeit des nächsten Wortes voraus. Das N-GRAM-Modell ist in der Sprach- und Sprachverarbeitung sehr wichtig.

Syntax

  • Die bedingte Wahrscheinlichkeit des nächstwahrscheinlichsten Wortes kann durch Verwendung eines großen Korpus (verwaltete Sammlung von Text- oder Sprachdaten) erhalten werden. Es ist alles, was aus dem Korpus Dinge (Wörter) zählt. Das Ziel ist es, P (w | h) zu finden, mit dem die Wahrscheinlichkeit des nächsten Wortes in der Sequenz gegeben wird.
  • Das Konzept des N-GRAM-Modells besteht darin, dass anstelle der Berechnung der Wahrscheinlichkeit eines Wortes aufgrund seiner gesamten Historie die Historie mit den vorherigen wenigen Wörtern verkürzt wird. Wenn wir nur ein einzelnes vorheriges Wort verwenden, um das nächste Wort vorherzusagen, wird es als Bi-GRAM-Modell bezeichnet. Zum Beispiel haben wir P (Brille), die Wahrscheinlichkeit, dass das Wort "Brille" das vorherige Wort "Lesen" hat, wird wie folgt berechnet: (Siehe Beispiel)

Bemerkungen

N-GRAM-Modelle sind sehr wichtig, wenn Wörter in einer lauten und mehrdeutigen Eingabe erkannt werden müssen. N-GRAM-Modelle werden verwendet in:

  • Spracherkennung
  • Handschrifterkennung
  • Zauberkorrektur
  • Maschinenübersetzung
  • viele andere Anwendungen

Weitere Informationen zu N-GRAM-Modellen finden Sie in:

  • Sprach- und Sprachverarbeitungsbuch von Daniel Jurafsky und James H. Martin

N-GRAMS Verwandte Beispiele