MSV
Lernkarten für MSV
Lernkarten für MSV
Was ist Kosinusähnlichkeit ?
zeigen die Vektoren in diegleiche Richtung? (auch: schneller)
Die Kosinusähnlichkeit ist bei normalisierten Vektor dasselbe wie Euklidisch
Was passiert bei ungesehene Wörter im Vektor?
- Generalisierung auf ungesehene Wörter in ähnlichen Kontexte möglich
- Suche nach dem nächste Nachbar im Vektorraum
Wa ist eine Term-Dokument-Matrix (Wörter im Vektor) ?
Dokumente als Punkte im Vektorraum
1 Dokument = 1 Spaltenvektor
(1 Punkt im Vektorraum)
Was ist Information Retrieval (Wörter im Vektor)
Suchanfrage → Dokument Vergleich (Suche nach dem besten Treffer)
Was passiert mit den Wörtern bei Zipfsches Gesetz / Zipf’s Law ?
- Viele Wörter kommen selten vor wenige Wörter kommen häufig vor
- Die am häufigsten gebrauchten Wörter (höchste Frequenz) sind meist sehr kurze, inhaltsleere Funktionswörter
Welches Problem entsteht bei häufigen Wörtern ?
sehr häufige Wörter sind nicht informativ
Welche Lösung gibt es bei häufigen Wörtern?
Lösungen:
- Entfernung von Stopwords
-10K bis 50K häufigste Worte in 10-Wort Fenster
- Gewichtungsfunktionen
1. tf-idf (Term Frequency – Inverse Document Frequency)
2. PPMI (Positive Pointwise Mutual Information)
-> Stärke der Assoziation zwischen Wörtern
Was ist tf-idf?
Beim Information Retrieval ist tf–idf kurz für den Begriff frequency–inverse document frequency , eine numerische Statistik, die widerspiegeln soll, wie wichtig ein Wort für einen ist Dokument in einer Sammlung oder einem Korpus .
Nennen Sie die Formel für tf-idf und beschreiben Sie diese.
Nennen Sie die Formel und beschreiben Sie diese.
Welche Herausforderungen bei Vektoren?
- Synonyme / Antonyme
- Synonyme und Antonyme haben oft überlappende Vektordarstellungen
- Mehrdeutigkeit
- 1 Vektor pro Token, mehrere Bedeutungen?
- Kompositionalität
- Wie kann man die Bedeutung einer Satz darstellen?
Vegleichen Sie Dünnbesetzte Vektoren vs. vollbesetzte Embeddings
tf-idf (oder PMI) Kookkurrenz-Vektoren sind
- Lang (|V|= 20,000 - 50,000)
- Dünnbesetzt (viele Einträge bestehen aus Nullen)
Alternative: Vektoren lernen statt Kookkurrenzen zählen
- Kürzer (50-1000)
- Vollbesetzt (viele Einträge bestehen nicht aus Nullen)
tf-idf (oder PMI) Kookkurrenz-Vektoren sind lang und dünnbesetzt
Alternativen
- Dimensionsreduktion auf die wichtigste Bedeutungmerkmalen
(Vektorraum -> Semantischer Raum)
z.B. Singular Value Decomposition (SVD) und Latent Semantic Analysis (LSA)
- Static Embeddings: 1 Wort – 1 Embedding
z.B. Word2vec (skipgram, CBOW), GloVe
- Contextual Embeddings: 1 Wort im Kontext – 1 Embedding
z.B. ELMo, BERT
Was sind Embeddings?
Einbettungsvektoren
Welche Vektoren sind besser geeignet?
Kürzere, vollbesetzte Vektoren sind besser geeignet
• als Features für das maschinelle Lernen
• um Synonymie darzustellen
Wozu wird Word2vec Framework mit Skip-gram benötigt?
Vektoren Vorhersage (statt Kookkurrenzen zählen) mithilfe des Maschinelles Lernen
Was für Bedeutungsdimensionen sind in den Embeddings enthalten?
Es kommt auf die Fenstergröße an (Levy and Goldberg, 2014)
- k = 2: semantische Ähnlichkeit (+ POS)
e.g. Hogwarts → Sunnydale, Evernight, Blandings
- k = 5: semantische Verwandtschaft (Thema)
Hogwarts → Dumbledore, half-blood, Malfoy
-Glove (Pennington et al., 2014):
car,drive = 3
→ Kookkurrenzhäufigkeit in der Trainingsdaten integriert
- Ungesehene Wörter
können nicht repräsentiert werden
- Mögliche Lösung: sub-word models, z.B. fasttext (Bojanowski et al., 2017)
- <wh, whe, her, ere, re>
- Synonymie und Antonymie
höhe Ähnlichkeitswerte für Antonympaare
- Konzepte
Vektoren können in Clusters eingruppiert werden, um Konzepte zu repräsentieren
- Taxonomien
nicht “out-of-the-box” z.B. Hierarchic Clustering
- Mehrdeutigkeit: 1 Token (auch mehrdeutig) = 1 Vektor
Was sind Analogien und wofür wird das benötigt?
Parallelogramm-Modell des logischen Denkens
im semantischen Raum
A : B = A* : ?
-> -> -> ->
apple - tree + grape ≈ vine
Embeddings sind darin besonders erfolgreich
b.∗ = argmin distance (x,b - a + a∗)
x
- Funktioniert am besten für sehr häufige Wörter
# Das nächste Nachbarwort ist normalerweise eine morphologische Variation (cherry:red :: potato:x → potatoes)
- Embeddings reflektieren die Verzerrungen im Trainingsdaten
Welche Möglichkeiten gibt es, um die Verzerrungen zu verringern?
1. Entzerrungsmethoden
2. Datenentzerrung (Ausgleich im Datensatz)
Einführung in die maschinelle Sprachverarbeitung
Sie bleibt mit den Kindern zuhause / Er bleibt mit den Kindern zuhause
Welche Evaluierung gibt es in Embeddings?
1. Extrinsische (aufgabenbasierte) Evaluierung
z.B. (A) NER mit Embeddings vs. (B) NER ohne Embeddings
2. Intrinsische Evaluierung auf Test-Set
wie verhält sich das Modell auf ungesehenen Daten?
- Analogien
- TOEFL-Datenset
- Ähnlichkeitsurteile
Was bedeutet "Bias" ?
durch falsche Untersuchungsmethoden (z. B. Suggestivfragen) verursachte Verzerrung des Ergebnisses einer Repräsentativerhebung
Was ist der unterschied zwischen Phonetik und Phonologie?
Während die Phonetik Laute( Lautsystem einer Sprache (Sprachlaute)) als physiologisch-akustisches Ereignis untersucht, ist Phonologie die wissenschaftliche Untersuchung der sprachlichen Verwendung von Lauten, d.h. sie untersucht, in welcher Weise das universelle menschliche Lautbildungspotential in einzelnen Sprachen ausgeschöpft wird.
Was ist IPA ?
Das Internationale Phonetische Alphabet ist ein phonetisches Alphabet und somit eine Sammlung von Zeichen, mit deren Hilfe die Laute aller menschlichen Sprachen nahezu genau beschrieben und notiert werden können.
Was ist ein Spektrogramm?
Darstellung der Zusammensetzung
des Sprachsignals aus einzelnen
Frequenzen im zeitlichen Verlauf
Was ist ASR ?
Automatic Speech Recognition
Ermittlung von die wahrscheinlichsten Wortfolge auf der Basis der beobachteten Muster
maxW P(W|O)
Welche Herausfoderungen gibt es bei Automatic Speech Recognition ?
- Segmentierung
- Unterschiede zwischen SprecherInnen
- Ambiguitäten
(e.g. In Sekt vs. Insekt, so nett, Sonett)
- Neue, unbekannte Wörter
Wie ist die Modellierung bei Automatic Speech Recognition ?
- Die Wahrscheinlichkeit, dass eine Wortfolge in einer bestimmten Weise ausgesprochen wird(Akustisches Modell) P(O|W)
- Die Wahrscheinlichkeit einer bestimmten Wortfolge (Sprachmodell) P(W)
Was ist ein Wort?
- meist intuitiv definiert als
+ sprachliche Einheiten, als Folgen von Buchstaben zwischen Leerzeichen geschrieben
(orthographische / phonologische Kriterien)
+ Basiseinheit des Lexikons, kleinste Einheit der Bedeutung (semantische Kriterien)
Beschreiben Sie diese Formel
Type-Token-Ratio (TTR) -> Wortschatzskomplexität
- Vergleich zwischen Texten mittels Type-Token-Relation
- Grad der Komplexität im Wortschatz
-> Hohe TTR
Nicht nur viele Wörter werden benutzt, sondern auch verschiedene
-> Niedrige TTR
Der Wortschatz ist kleiner, die gleichen Wörter werden mehrfach benutzt
Wie wird die Wortbildung (Morphologie) gebildet ?
- Deklination und Konjugation, Pluralformen
- Komposita und Neologismen
Was sind offene Klassen ?
- man kann immer neue Wörter „kreativ“ bilden
- beschreiben Gegenstände, Tätigkeiten, Ereignisse
Was sind geschlossene Klassen ?
- gehören zur Grammatik der Sprache
- Beschreiben Beziehungen und Funktionen
Was ist das Zipfsches Gesetz / Zipf’s Law ?
Das Zipfsche Gesetz ist ein Modell, mit dessen Hilfe man bei bestimmten Größen, die in eine Rangfolge gebracht werden, deren Wert aus ihrem Rang abschätzen kann. Häufige Verwendung findet das Gesetz in der Sprachwissenschaft (Linguistik), speziell in der Korpuslinguistik und Quantitativen Linguistik, wo es zum Beispiel die Häufigkeit von Wörtern in einem Text zur Rangfolge in Beziehung setzt. Das Zipfsche Gesetz markierte den Beginn der Quantitativen Linguistik.
Was besagt das Zipfsches Gesetz in MSV ?
- Zwischen der Länge eines Wortes und seiner Auftretenshäufigkeit besteht ein umgekehrt proportionales Verhältnis
- Die am häufigsten gebrauchten Wörter(höchste Frequenz) sind meist sehr kurze, inhaltsleere Funktionswörter
- Warum?
+ Principle of Least Effort: Lange Wörter werden demnach auch häufig im Sprachgebrauch abgekürzt.
Beschreiben Sie die Stopwords / Stoppwörter
- auftreten sehr häufig
- vor allem grammatikalische/syntaktische Funktionen übernehmen
- wenig relevant für die Erfassung des Dokumentinhalts
- können aus dem Text entfernt werden
Was ist Tokanisierung?
einen Text in Tokens (logisch zusammengehörigen Einheiten) zerlegen
Tokanisierung ist die Aufgabe in der Verarbeitung natürlicher Sprache. Es kann damit ein Text in kleine Tokens aufgeteilt werden. Token können Wörter, Zeichen oder Unterwörter sein. Die gebräuchlichste Art Token aufzuteilen basiert auf Leerzeichen.
Was versteht man unter Lemmatization?
für jeden Token sein Lemma (Zitierform) finden
Unter Lemmatisierung versteht man das Zusammenfassen von flektierten Formen zu einer einzigen Grundform.
In Wörterbüchern gibt es feste Lemmatisierungsstrategien. Lemmatisierung verwendet den Kontext in dem das Wort verwendet wird. Die Lemmatisierung berücksichtigt die morphologische Analyse der Wörter. Dazu sind detaillierte Wörterbücher erforderlich, die der Algorithmus durchsuchen kann, um das Formular wieder mit seinem Lemma zu verknüpfen. Außerdem kann dasselbe Lemma Formen mit unterschiedlichen Stämmen entsprechen , und wir müssen sie als dasselbe Wort behandeln.
Was ist der Unterschied zwischen Stemming und Lemmatisierung?
Stemming arbeiten, indem sie das Ende oder den Anfang des Wortes abschneiden und dabei eine Liste gängiger Präfixe und Suffixe berücksichtigen, die in einem gebeugten Wort zu finden sind. Dieses wahllose Schneiden kann in einigen Fällen erfolgreich sein, aber nicht immer, und deshalb bestätigen wir, dass dieser Ansatz einige Einschränkungen aufweist.
Die Lemmatisierung hingegen berücksichtigt die morphologische Analyse der Wörter. Dazu sind detaillierte Wörterbücher erforderlich, die der Algorithmus durchsuchen kann, um das Formular wieder mit seinem Lemma zu verknüpfen.
Mit welchem Begriff wird eine Instanz der Klasse Language (nlp_en) erzeugt ?
Mit spacy.load()
Was ist eine Pipeline ?
Komponenten (Schritte) für die Verarbeitung eines Dokuments
Was wird mit dem Sprachmodell erstellt ?
Mit dem Sprachmodell erstellen wir aus einem Dokument eine Instanz der Klasse Doc
• die Annotationen (zb. Lemmas) werden gespeichert
• man kann auf die Annotationen zugreifen
-
- 1 / 77
-
Cartes-fiches
Was ist der unterschied zwischen Phonetik und Phonologie?
Während die Phonetik Laute( Lautsystem einer Sprache (Sprachlaute)) als physiologisch-akustisches Ereignis untersucht, ist Phonologie die wissenschaftliche Untersuchung der sprachlichen Verwendung von Lauten, d.h. sie untersucht, in welcher Weise das universelle menschliche Lautbildungspotential in einzelnen Sprachen ausgeschöpft wird.
Was ist IPA ?
Das Internationale Phonetische Alphabet ist ein phonetisches Alphabet und somit eine Sammlung von Zeichen, mit deren Hilfe die Laute aller menschlichen Sprachen nahezu genau beschrieben und notiert werden können.
Was ist ein Spektrogramm?
Darstellung der Zusammensetzung
des Sprachsignals aus einzelnen
Frequenzen im zeitlichen Verlauf
Was ist ASR ?
Automatic Speech Recognition
Ermittlung von die wahrscheinlichsten Wortfolge auf der Basis der beobachteten Muster
maxW P(W|O)
Welche Herausfoderungen gibt es bei Automatic Speech Recognition ?
- Segmentierung
- Unterschiede zwischen SprecherInnen
- Ambiguitäten
(e.g. In Sekt vs. Insekt, so nett, Sonett)
- Neue, unbekannte Wörter
Wie ist die Modellierung bei Automatic Speech Recognition ?
- Die Wahrscheinlichkeit, dass eine Wortfolge in einer bestimmten Weise ausgesprochen wird(Akustisches Modell) P(O|W)
- Die Wahrscheinlichkeit einer bestimmten Wortfolge (Sprachmodell) P(W)
Was ist ein Wort?
- meist intuitiv definiert als
+ sprachliche Einheiten, als Folgen von Buchstaben zwischen Leerzeichen geschrieben
(orthographische / phonologische Kriterien)
+ Basiseinheit des Lexikons, kleinste Einheit der Bedeutung (semantische Kriterien)
Beschreiben Sie diese Formel
Type-Token-Ratio (TTR) -> Wortschatzskomplexität
- Vergleich zwischen Texten mittels Type-Token-Relation
- Grad der Komplexität im Wortschatz
-> Hohe TTR
Nicht nur viele Wörter werden benutzt, sondern auch verschiedene
-> Niedrige TTR
Der Wortschatz ist kleiner, die gleichen Wörter werden mehrfach benutzt
Wie wird die Wortbildung (Morphologie) gebildet ?
- Deklination und Konjugation, Pluralformen
- Komposita und Neologismen
Was sind offene Klassen ?
- man kann immer neue Wörter „kreativ“ bilden
- beschreiben Gegenstände, Tätigkeiten, Ereignisse
Was sind geschlossene Klassen ?
- gehören zur Grammatik der Sprache
- Beschreiben Beziehungen und Funktionen
Was ist das Zipfsches Gesetz / Zipf’s Law ?
Das Zipfsche Gesetz ist ein Modell, mit dessen Hilfe man bei bestimmten Größen, die in eine Rangfolge gebracht werden, deren Wert aus ihrem Rang abschätzen kann. Häufige Verwendung findet das Gesetz in der Sprachwissenschaft (Linguistik), speziell in der Korpuslinguistik und Quantitativen Linguistik, wo es zum Beispiel die Häufigkeit von Wörtern in einem Text zur Rangfolge in Beziehung setzt. Das Zipfsche Gesetz markierte den Beginn der Quantitativen Linguistik.
Was besagt das Zipfsches Gesetz in MSV ?
- Zwischen der Länge eines Wortes und seiner Auftretenshäufigkeit besteht ein umgekehrt proportionales Verhältnis
- Die am häufigsten gebrauchten Wörter(höchste Frequenz) sind meist sehr kurze, inhaltsleere Funktionswörter
- Warum?
+ Principle of Least Effort: Lange Wörter werden demnach auch häufig im Sprachgebrauch abgekürzt.
Beschreiben Sie die Stopwords / Stoppwörter
- auftreten sehr häufig
- vor allem grammatikalische/syntaktische Funktionen übernehmen
- wenig relevant für die Erfassung des Dokumentinhalts
- können aus dem Text entfernt werden
Was ist Tokanisierung?
einen Text in Tokens (logisch zusammengehörigen Einheiten) zerlegen
Tokanisierung ist die Aufgabe in der Verarbeitung natürlicher Sprache. Es kann damit ein Text in kleine Tokens aufgeteilt werden. Token können Wörter, Zeichen oder Unterwörter sein. Die gebräuchlichste Art Token aufzuteilen basiert auf Leerzeichen.
Was versteht man unter Lemmatization?
für jeden Token sein Lemma (Zitierform) finden
Unter Lemmatisierung versteht man das Zusammenfassen von flektierten Formen zu einer einzigen Grundform.
In Wörterbüchern gibt es feste Lemmatisierungsstrategien. Lemmatisierung verwendet den Kontext in dem das Wort verwendet wird. Die Lemmatisierung berücksichtigt die morphologische Analyse der Wörter. Dazu sind detaillierte Wörterbücher erforderlich, die der Algorithmus durchsuchen kann, um das Formular wieder mit seinem Lemma zu verknüpfen. Außerdem kann dasselbe Lemma Formen mit unterschiedlichen Stämmen entsprechen , und wir müssen sie als dasselbe Wort behandeln.
Was ist der Unterschied zwischen Stemming und Lemmatisierung?
Stemming arbeiten, indem sie das Ende oder den Anfang des Wortes abschneiden und dabei eine Liste gängiger Präfixe und Suffixe berücksichtigen, die in einem gebeugten Wort zu finden sind. Dieses wahllose Schneiden kann in einigen Fällen erfolgreich sein, aber nicht immer, und deshalb bestätigen wir, dass dieser Ansatz einige Einschränkungen aufweist.
Die Lemmatisierung hingegen berücksichtigt die morphologische Analyse der Wörter. Dazu sind detaillierte Wörterbücher erforderlich, die der Algorithmus durchsuchen kann, um das Formular wieder mit seinem Lemma zu verknüpfen.
Mit welchem Begriff wird eine Instanz der Klasse Language (nlp_en) erzeugt ?
Mit spacy.load()
Was ist eine Pipeline ?
Komponenten (Schritte) für die Verarbeitung eines Dokuments
Was wird mit dem Sprachmodell erstellt ?
Mit dem Sprachmodell erstellen wir aus einem Dokument eine Instanz der Klasse Doc
• die Annotationen (zb. Lemmas) werden gespeichert
• man kann auf die Annotationen zugreifen
Was ist ein Tagger?
für jeden Token seine Wortart (Part Of Speech) und morphologische Erscheinung
(z.B. Kasus, Numerus, Genus, Verbform) finden
Wie funktioniert Tokenization mit spaCy ?
- Regelbasiert
- Kann nur mit neuen Regeln verbessert werden
Wie funktioniert Lemmatization mit spaCy ?
- Regelbasiert (neue Regeln möglich)
- hängt von der Ausgabe des Sprachmodells ab
Warum ist das Vorhersagen in MSV so wichtig?
Sprachmodelle sind wichtige Wissensquellen für
- Spracherkennung um die wahrscheinlichsten Wortfolge auf der Basis des Sprachsignal zu ermitteln
P(turn on the wiper) >> P(turn on the viper)
- Rechtschreibkorrektur
(The dog bit its own tail) >> P(The dog bit it’s own tale)
- Maschinelle Übersetzung
P(darf ich hier ein Foto machen) >> P(darf ich hier ein Foto nehmen)
- Summarization, Natural Language Generation, usw. um eine korrekte Wortfolge zu generieren
Was wird für die Modellierung einer Wahrscheinlichkeit einer Wortfolge benöltigt?
- Sprache
Sammlung gültigen Wortfolgen
- Korpus
Sammlung von Texten einer bestimmten Sprache, die „repräsentativ“ im statistischen Sinne für der Sprache betrachten wird
- Sprachmodell
berechnet die Wahrscheinlichkeit einer Wortfolge (Vorhersage der nächsten Wortform aufgrund ihrer Wahrscheinlichkeit)
- die Berechnung der Wahrscheinlichkeit eines Wortes in Abhängigkeit vom Kontext
Wie modelliert man die Wahrscheinlichkeit einer Wortfolge?
Lösung: n-Gramm-Modelle
N-Gramm-Modelle: jedes Wort ist statistisch abhängig von den vorgekommenen
Wörtern
- Wir schränken uns auf Kontexte der Länge 1-3 ein,
um genug Daten für jeden Kontext zu haben
Markov-Annahme
- P(w) abhängig nur von den letzten n-1 Wörtern und unabhängig von allen früheren
P(the|is in charge of) ≈ P(the|charge of)
Beschreiben Sie das n-Gramm-Modell ?
- n-Gramm
Folge von n Wörte
+ 2-Gram / Bigramm: Folge von 2 Wörte
(Es war, war einmal, einmal ein, ein gar, gar allerliebstes…)
+ 3-Gram / Trigramm: Folge von 3 Wörte
(Es war einmal, war einmal ein, einmal ein gar, ein gar allerliebstes…)
- n-Gramm-Modelle nutzen die Informationen über die Häufigkeit von n-Grammen,
um die Wahrscheinlichkeit einer Wortfolge zu bestimmen.
Beschreiben Sie das 0-Gramm-Modelle
- Alle Wörter sind gleichverteilt
P(“Es”) = P(“war”) = P(“einmal”) = …
- Relevanter Kontext: nicht mal das Wort selbst
- Wenn es N Wörter in der Sprache gibt, ist also
P(Xt = w) = 1/N für alle Wörter w
Beschreiben Sie das 1-Gramm-Modelle
- Häufige Wörter sollten häufiger erzeugt werden als seltene
+ P(“Es”) ≈ C(“Es”)
+ P(“einmal”) ≈ C(“einmal”)
- Relevanter Kontext: nur das Wort selbst
+ P(“es es es”)?
Wozu dienen Sprachmodelle (N-gram models) ?
- Sprachmodelle generieren wahrscheinliche Wortfolge
- um die Wahrscheinlichkeit einer Wortfolge zu modellieren…
+ wir verwenden Korpora, um die Wahrscheinlichkeit von Wortfolgen zu schätzen
+ wir nutzen die Informationen über die Häufigkeit der letzten n-1 Wörtern (n-Gramm-Modelle)
Was sind die Herausfoderungen von Sprachmodellen?
* Datenmangel
- Markov-Annahme: wir beschränken uns auf Kontexte der Länge 1-3 ein,
um genug Daten für jeden Kontext zu haben
* Unbeschränkte Abhängigkeiten
* Underflow (kleine Zahlen, Rundungsprobleme)
- Alles wird im log-Raum berechnet (addieren ist auch wenig rechneraufwendig)
* Ungesehene Daten
-Problematisch? Ja! Ziel: Generalisierung auf ungesehenen Daten
Wozu braucht man eine Evaluierung in der MSV?
Ziel: verlässliche Aussagen über zukünftige Performanz
- Wie gut funktioniert eine Methode? (im Vergleich mit anderen)
Welche Evaluierungen gibt es in der MSV?
- Training-Set (Optimierung der Methode)
- Test-Set (Testen: Performanz höher auf Training-Set als auf ungesehenen Daten)
- Dev-Set (Development- oder Validation-Set, Parameteroptimierung – nicht immer nötig)
Was muss bei den drei verschiedenen Evaluierungen beachtet werden?
Training-Set ≠ Dev-Set ≠ Test-Set
1. vergleichbar (aus derselben statistischen Population)
2. statistisch unabhängig (ggf. vor dem Splitting randomisiert)
3. 80% training, 10% development, and 10% test
Welche Evaluierung gibt es bei Sprachmodelle (N-gram models)?
1. Extrinsische (aufgabenbasierte) Evaluierung
z.B. (A) Spracherkennung mit SM vs. (B) Spracherkennung ohne SM
2. Intrinsische Evaluierung auf Test-Set
wie verhält sich das Modell auf ungesehenen Daten?
- Perplexität
Welches Ziel hat Perplexität: the Shannon Game?
- Ist das Modell in der Lage, das nächstes Wort (im Test-Set) vorherzusagen?
- Ziel: eine höhere Wahrscheinlichkeit den Wortsequenzen zuordnen, die im Test-Set wirklich vorkommen
- Ziel: Minimierung der Perplexität = Maximierung der Wahrscheinlichkeit
Welche Anwendungen gibt es bei Ungesehene Daten ?
- Add-One-Smoothing / Laplace Smoothing
Zu allen absoluten Häufigkeiten 1 dazu zählen
Wahrscheinlichkeitsmasse von beobachteten Ereignissen weggenommen
Alternativen:
- Add-k-Smoothing (z.B. k = .5; k = .1; k = .05; k =.01)
- Backoff: Verwende N-Gramme wenn möglich, sonst (n-1)-Gramme
- Interpolation
Welche Lösungen gibt es bei Datenmangel in N-Gramm-Modelle ?
- wir beschränken uns auf Kontexte der Länge 1-3 ein, um genug Daten für jeden Kontext zu haben
- Smoothing: wir schätzen positive Wahrscheinlichkeiten auch für ungesehene Ereignisse
Was versteht man unter Homonymie?
kein Bezug (mehr) zwischen Bedeutungen
z.B. Band (Gewebestreifen, Gruppe von MusikerInnen), Kiefer (Nadelbaum, Schädelknochen)
Was versteht man unter Polysemie?
gemeinsamer „Bedeutungskern“
z.B. Brücke: Bauwerk, Zahnersatz, Gymnastikübung
