Tokenisierung
Technologie
Tokenisierung ist die Zerlegung eines Textes in kleinere Verarbeitungseinheiten wie Wörter oder Wortbestandteile, die als Eingabe für die weitere NLP-Verarbeitung dienen.