Website-Suche

Erklären der Sprache in natürlicher Sprache

Wenn Sie jemals mit Chatbots gesprochen und Sprachübersetzungstools verwendet haben, wissen Sie, dass diese Tools genau wie ein echter Mensch funktionieren. Dies ist möglich, weil sie NLP-Techniken (Natural Language Processing) verwenden, um die natürlichen Sprachen zu verstehen, die Menschen für die Kommunikation verwenden. Dies ist jedoch recht komplex, da jede Sprache eine andere Natur und Struktur sowie unterschiedliche Kontexte hat.

Die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) verwendet eine Reihe von Techniken, um Ergebnisse zu erzielen, die der natürlichen Sprache nahe kommen. Einige dieser Techniken umfassen −

  • Lemmatisierung – Es ist der Prozess, der die Wörter auf ihre Wurzelformen oder ihr Lemma reduziert. Beispielsweise würde das Wort „Bravery“ auf seine Grundform „Brave“ reduziert werden.

  • Tokenisierung – Hierbei handelt es sich um den Prozess, bei dem die Sätze in einzelne Wörter, sogenannte Token, zerlegt werden. Diese Token werden von Algorithmen verarbeitet, um nützliche Daten zu liefern.

  • Stemming – Hierbei handelt es sich um den Prozess, bei dem Präfix und Suffix aus einem Wort entfernt werden. Beispielsweise würde das Wort „playing“ durch die Stammformung des Suffixes auf „play“ reduziert werden.

Außerdem kann Natural Language Processing (NLP) für eine Reihe von Dingen verwendet werden, wie z. B. Textzusammenfassung, Satzähnlichkeit, Textklassifizierung, Textgenerierung aus Schlüsselwörtern und Übersetzung usw.

Beispiel 1

In diesem Beispiel werden wir sehen, wie Sätze mithilfe von NLP auf der Grundlage von Gefühlen klassifiziert werden können. Hierzu verwenden wir die Textblob-Bibliothek aus dem NLTK-Modul von Python.

Algorithmus

  • Schritt 1 – Importieren Sie NaiveBaiyeClassifier und das Textblob-Modul.

  • Schritt 2 – Erstellen Sie einen Testsatz mit Zeichenfolgen, wobei jeder Zeichenfolge ein Schlüsselwort zugeordnet ist, das ihre Stimmung angibt. Im Beispiel haben wir direkt die Zeichenfolge positiv für positive Stimmung und negativ für negative Stimmung verwendet.

  • Schritt 3 – Erstellen Sie ein Objekt der NBC-Klasse und übergeben Sie den Testsatz daran.

  • Schritt 4 – Verwenden Sie die Methode classify(), um eine Zeichenfolge zu übergeben und sie auf ihre Stimmung zu testen.

#import NaiveBayesClassifier and textblob module
from textblob.classifiers import NaiveBayesClassifier as NBC
from textblob import TextBlob

#prepare the test_set with corresponding sentiment
test_set = [
               ('I am tired of this attitude.', 'Negative'),
               ('He is the worst person I know!', 'Negative'),
               ('Your marks were very poor in Chemistry.', 'Positive'),
               ('I love United Kingdom.', 'Positive'),
               ('This is a great movie.', 'Positive'),
               ("What a delicious treat!", 'Positive'),
               ('I do not like her at all.', 'Negative')]


#create an object of NBC Class
model = NBC(test_set) 

#pass the string to be tested
print(model.classify("This is the best website."))
print(model.classify("I do not like Java as much as Python."))

Ausgabe

Positive
Negative

In der Ausgabe können Sie sehen, dass die Datenklassifizierungsmethode des NLP die Sätze richtig auf ihre Gefühle hin bewertet.

Beispiel 2

In diesem Beispiel werden wir sehen, wie eine Sprache mithilfe von NLP-Techniken erkannt wird. Hierzu verwenden wir die langdetect-Bibliothek von Python.

Algorithmus

  • Schritt 1 – Importieren Sie das Erkennungsmodul aus der langdetect-Bibliothek von Python.

  • Schritt 2 – Geben Sie den Text an, dessen Sprache erkannt werden soll.

  • Schritt 3 – Drucken Sie das Ergebnis mit dem Erkennungsmodul aus.

#import the detect module
from langdetect import detect as dt

#provide the strings to be tested 
example_one = "This is a nice language."
example_two = "comment allez-vous?"   #means how are you in French

#display the result
print(dt(example_one))
print(dt(example_two))

Ausgabe

en
fr

Sie können sehen, dass der Code die Codes en und fr für die Sprachen Englisch bzw. Französisch zurückgibt.

Abschluss

Obwohl NLP nicht immer exakte Ergebnisse liefert, ist es ein großartiges Werkzeug, das in den Bereichen Datenwissenschaft, künstliche Intelligenz und maschinelles Lernen umfassend eingesetzt wird. Da es uns außerdem die Kommunikation mit Computern ermöglicht, ist es ein äußerst nützliches Werkzeug, um Analphabeten und körperlich eingeschränkten Personen den Umgang mit Technologie zu ermöglichen. Angesichts der Vielzahl an Daten, die heutzutage generiert werden, ist der Einsatz von Tools zur Verarbeitung natürlicher Sprache sehr wichtig, um diese effizient zu analysieren und zu nutzen.

Verwandte Artikel: